글또 8기와 2022년 회고 및 23년 다짐

글또 8기를 시작하며

글또 8기

어느새 글또가 8기가 되었다. 커리어를 시작하면서 지금까지 계속 글또를 하고 있는데 벌써 4기수째이다. 글쓰는 것에 대한 압박감을 이겨내면서 배운 것을 정리해보자는 다짐으로 시작했는데, 부수적으로 좋은 글을 쓰는 법, 좋은 글을 구분하는 능력 등이 생긴 것 같아 기분이 좋다. 글은 생각보다 회사에서 도움이 된다. 글을 잘 쓰는 사람이 있는 반면, 글을 썼는데 도대체 무슨 내용을 적은건지 모르겠는 사람도 있다. 일을 같이 하고 싶은 쪽은 당연히 전자이다. 왜냐하면 그들이 작성한 문서를 보면 훨씬 커뮤니케이션 하기도 쉽고 일을 하면서 배우는 것도 많기 때문이다. 일을 하면 할 수록 이런 것을 더 많이 느끼고 있는데, 꾸준히 활동한 글또에 감사함을 느끼고 있다.

2022 회고

2022년에 대한 회고를 1월 1일에 잠시 했었던 적이 있었다. 간단히 무엇을 해왔는지 정리를 했었는데,

2022년 간단한 요약

• 새 회사에 왔다.
• 데이터 엔지니어로 새 시작을 했다.
• MLOps업무를 시작했다.
• 테니스를 배웠다.

2022년에 가장 큰 일은 새회사에 온 것이었다. 2021년에 이직을 하긴했지만 12월이었고 본격적으로 일을 시작한 것은 1월이라고 볼 수 있다. 이전 회사에서도 데이터 엔지니어 직무로 일을 하긴 했지만, 본격적으로 데이터 엔지니어로 회사에 면접도 보고 입사를 한 것은 처음이라 설레기도 하고 긴장되기도 했다. 너무 모르는게 많아서 걱정했지만, 차근차근 회사 데이터의 흐름을 알게되고 하나씩 살펴보면서 적응을 해나갔다. 이렇게 하던 와중에 MLOps 업무도 시작하게 되었다. K8s를 다루게 되면서 같이 하게 된 업무지만 회사에 꼭 필요한 시스템이었고, 고도화된 ML을 서비스하기 위해서 누군가는 해야할 업무였다. 다행히 하고 싶었던 업무였기도 해서 뚝딱뚝딱 만들어나가고 있다. 그리고 배우고 싶었던 테니스를 드디어 배웠다. 5-6개월 정도로 포핸드, 백핸드, 발리 를 배웠다. 보이는 것보다 훨씬 어렵고 정교한 운동이라고 생각되었다. 날씨가 풀리면 다시 해보고 싶다.

2022년의 목표는 무엇이었을까?

• 새 회사에 적응 잘하기
• 본격 데이터 엔지니어링 업무를 익히기
• 대용량 데이터 처리에 대한 경험
• Kubernetes를 다뤄보자
• MLOps 업무를 시작해보자
• 마라톤, 10km 뛰어보기

2022년의 목표를 정리해보니 위와 같았다. 너무 러프한 목표였을까 싶었지만, 목표때문에 스트레스를 받기는 싫었던 것 같다. 일단 첫번째로 새 회사에 적응은 잘 한 것 같다. 볼꼴 안볼꼴 다 봤기 때문에 어떤 회사인지 이해가 어느정도는 된 것 같다. 사람들도 너무 좋은 곳이다. 두번째로는 본격 데이터 엔지니어링 업무를 익히는 것이었는데, 나름 데이터 엔지니어로 회사의 데이터 파이프라인이 어떻게 돌아가는지, 각 툴들은 어떤 일을 하고있는지 모두 파악이 되었다. 파이프라인 고도화를 한다면 참여해서 이해도를 높이고 싶다. 세번째로는 대용량 데이터 처리에 대한 경험인데, 이전 회사보다 훨씬 많은 데이터를 다루게 되어서 고민할 부분이 많아졌다. 실 서비스로 나가기 위해 대용량 처리를 어떻게 해야하는지를 요즘 배우고 있다. 네번째는 쿠버네티스인데 하루에 한번은 꼭 다루게 될 일이 생기는 것 같다. 정말 좋은 툴이고 이 환경에 다른 앱들을 어떻게 관리할지, 쿠버네티스의 특징이 무엇인지 잘 알아야 관련 업무에 잘 활용할 수 있는 것 같았다. 배우면 배울수록 참 좋다고 느끼는 툴 중 하나이다. 다섯번째는 MLOps업무를 시작한 것인데, 그 시작으로 다뤘던 것이 GPU자원을 잘 쓸 수 있도록 한 것이다. 영광스럽게도 회사 테크블로그에도 올릴 수 있게 되었다. 마지막은 마라톤이다. 예전부터 오래 뛰는 것을 잘 못했다. 이상하게 축구는 잘하는데 오래뛰는 것만큼은 잘 안되더라. 그래서 작년의 목표를 정해놓고 일단 대회부터 신청했다. 연습할때도 10km는 뛰어본적이 없어 걱정했는데, 생각보다 뛸만했다. 2022년에 2개의 대회에 나갔던 것으로 기억하는데, 메달볼때마다 뿌듯하다.

감사한 일

• 올해는 크게 아픈 일이 없었던 것 같다.
  • 몸이 건강해서 정말 다행이다.
• 좋은 인연들을 많이 만난 것
• 멘토링 제안이나 강의제안을 받은 것
• K8s아무것도 몰랐는데… MLOps 플랫폼을 만들고 있다니…
• 다양한 DE툴들을 다뤄볼 수 있어서 좋았다.

2022년에 감사했던 일을 정리했는데, 올해는 크게 아픈 일이 없어서 감사했다. 코로나 때문에 난리였지만, 확진 판정을 받은 일은 없었다. 스치듯 지나간 것 같지만… 잘 지나간듯? 몸이 건강해서 너무 다행이지만, 운동을 못하다보니 점점 허리 등등이 아파오는 것을 느낀다. 다시 운동을 해야겠다. 그리고 좋은 인연들을 많이 만났다. 7기를 운영진으로 참여하면서 다른 분들과 친해졌는데, 모두 너무 좋은 분들이라 배울 점들이 참 많았다. 8기에도 참여하시는 분들이 있어서 자주 얘기하면 좋을듯?하다. 또 멘토링 제안이나 강의제안을 받았다. 이전에 잠깐 짧은 분량의 강의를 찍은적이 있었는데, 이 인연으로 멘토링까지 하게 되었다. 대상은 학생이 아니라 기업 임원들이었는데 나름 준비를 하고, 임원분들의 고민을 들으면서 실무적으로 어떤 부분을 신경써야될지를 더 생각해보게 된 것 같다. 정말 좋은 기회였다. 또 2022년이 끝나기 전에 강의 제안을 받았고 거절하기엔 너무 좋은 제안이라 일단 해보기로 했다. 강의자료 준비… 쉽지 않다.

또 작년에 k8s를 정말 많이 다뤘는데, 조금조금씩 발전하면서 MLOps 플랫폼을 만들고 있다. 좋은 툴들을 다 올려서 사용해보다가 안맞는 것들이나, 한 툴때문에 좋은 기능을 잃어버렸던 적도 있어서 절충해서 만들었다. 현재까지는 사용하시는 분들이 만족해하고, 분석해야 할때 로컬 notebook이 아니라 플랫폼의 notebook에 먼저 접속하셔서 사용하시는데, 사용감이 좋다가 하셔서 아주 뿌듯하다. 이를 통해서 다양한 DE툴들을 사용해보게 되었는데 현대 Data Engineering에서 다루는 것들을 대부분 사용해봐서 왜 이렇게 파이프라인을 구축 해야만 했는지에 대해서 이해를 할 수 있게 된 것 같다.

부족하다고 느낀 점

• DB에 대한 이해
• SQL을 많이 써보지 못했다.
• CS 및 네트워크
• ML 모델을 실서비스로 올려서 운영하는데까지 알아야 하는게 생각보다 많았다.
• Airflow 운영만 하고 자잘한 관리는 못했던 것 같다. 내가 좀 더 잘 쓰고 기능들을 세밀하게 알아둬야할 것 같다.
• 월별 회고를 계속해오다가 미적지근해졌다. 한달회고를 하려니 뭔가 잘 기억이 나지 않는다
  • 일주일별 기록을 할게 필요해질 것 같다.
  • 관련해서 생각날 때 만들어놔야겠다.

부족하다고 느낀점은 DE업무를 하면 할 수록 DB를 더 잘알아야 된다는 점이다. DB를 잘 알아야 실제 처리가 어떻게 되는지를 알 수 있었다. 팀 내에 DBA출신이신 분이 있어서 많이 배우지만, 스스로 더 많이 학습해야겠다고 느끼고 있다. 또 SQL을 다양하게 많이 사용하지 못했다. 단순 데이터 연동용으로는 많이 사용해봤지만, 좀 더 복잡한 쿼리를 다루고 이를 시스템에 녹여보려면 어떻게 해야되는지를 많이 고민해보지 못했다. 올해에는 더 많은 쿼리들을 해봐야겠다. 또 DE를 하면서 느끼게 되는 점 중 하나인데 기본기가 정말 중요한 것 같다. CS나 네트워크를 제대로 모르면 더 깊고 복잡한 시스템을 이해하는데 제한이 생겼다. 틈틈이 시간내서 이 부분을 보완해야할 것 같다. ML모델을 실 서비스로 올리는데 정말 많은 테스트들이 필요하다는 것을 깨닫았다. 이전 회사에서는 API만 올려놓으면 끝이었는데, 서비스의 안정성을 위해 망을 나누고 개발망에서 테스트하고 이것을 어떻게 운영에 올리고 개발팀과 협의를 해야하는지 등등의 프로세스가 있었다. 올해에 꼭 서비스를 올리고 이 내용들을 정리해봐야지.

Airflow 운영 업무만 거의 했던 것 같다. DAG를 더 많이 다루고 새 기능들을 테스트해봤어야 했는데 싶다. 앞으로 다룰 일이 많아질 것 같아서 기대가 된다. 마지막은 월별 회고에 대한 것이다. 작년에 월 별 회고를 해왔는데 제대로 유지가 되지 않았다. 생각보다 한 달에 있었던 것들이 기억이 잘 나지 않았다. 일주일 별 기록을 하면 좀 나아질 것 같긴한데, 음 너무 바빠지려나…

2023년에 하고싶은 것

• 강의 찍기
  • ElasticSearch 제대로 이해해보기
  • DIA 참고하기
• CS 스터디
• ML 실서비스 운영하기
  • Feature Engineering
• MLOps 레벨 올려보기
• 쿠버네티스 심화, Kubernetes에서 GPU제대로 사용해보기
• 블로그 공사 또는 이사가기
• 건강
  • 10km를 무리 없이 달릴 수 있게 만들자
  • 체지방률 19프로!

2023년 백로그들을 정리해봤더니 하고 싶은게 참 많았다. Elasticsearch를 사용하는데 제대로 이해를 하지 못한 상태에서 쓰는 것 같았다. 좀 더 공부를 해서 정확하게 사용하고 싶었다. 위에서 작성을 하긴 했지만 CS 스터디를 하고 싶다. 다양한 직군들이 모여서 하면 더 좋을 것 같고 학습할 개념에 대한 사례들을 풍부하게 얻을 수 있을 것 같다. 일단 4월까진 패스…

ML실서비스 배포를 하고 운영을 하고 싶다. 이에 대해서 Feature들을 다루고 엔지니어링까지 해서 본격적으로 관리를 해보고 싶다. 회사의 ML레벨 자체를 올리고 싶다. 실서비스 운영 준비를 하다보니 부족한 부분들이 눈에 띄기 시작했다. 이런 점들을 개선해서 더 높은 레벨의 ML 시스템을 가진 회사로 바꾸고 싶다. 다음은 쿠버네티스의 심화인데 GPU를 제대로 사용해보고 싶다. 복잡한 모델이 많아져야 이 부분을 다룰 수 있을 것 같은데, 그 기반 시스템을 먼저 다뤄보면 좋을 것 같다. 그리고 현재 사용하는 블로그가 너무 오래되어서 이사를 가고 싶다. hexo가 참 쉽고 좋은데 버전 충돌이 나는 일이 많고 에러 핸들링 하려면 중국말과 싸워야한다… 그게 좀 힘들어서 기회가 된다면 공사를 좀 해봐야겠다. 마지막은 건강이다. 근육을 키우는 것도 중요한데 체력은 심폐지구력에서 나오는 것 같다. 잘 뛰지 못해서 호흡이 되지 않을때 건강이 나빠지는 것을 급격하게 체감했다. 올해에도 10km 마라톤에 도전할 것이고 무리 없이 달려서 좋은 기록을 낼 수 있도록 해볼 것이다. 또 이번에는 체지방률을 20프로 미만으로 관리해보려고 한다. 무거운 몸이여 안녕!