글또 7기 시작하기

글또 7기 시작하기!

다짐글 내지 무엇을 작성할지 정리하기.

글또 7기

글또가 무려 7기이다. 3기였나 4기였나, 아무튼 19년 7월에 공부한 걸 정리하자는 목표로 시작했는데 벌써 거의 3년이 다 되어간다. 물론 3년의 시간동안 코로나가 갑자기 터져서 네트워킹은 좀 힘들었던 것 같다. 4기때 잠깐 데이터 분들이 모여서 얘기를 나눴던 것 이후로 오프라인으로 모임을 거의 할 수 없었다. 드디어 끝이 보이기 시작했고 오프라인 모임을 시작해보려고 한다. 7기에 운영진으로 참여하게 되었는데, 글또 시작부터 너무 하고 싶었던 오프라인 모임을 적극적으로 추진해보려고 한다. 확실히 많이 친해질수록 글을 더 자세히 읽게 되고 피드백 퀄러티도 높아지는 것 같았다. 크고 작은 모임을 통해서 사람들이 더 많이 영향을 주고받았으면 좋겠다.

뭘 해야할까?

글또 7기를 통해 해야할 것은 명확하다. 2주간의 기간동안 글 하나 이상을 제출하는 것이다. 하지만 이 커뮤니티에서 글 이상의 가치를 얻어가고 불어놓고 싶은 생각이 있다. 다양한 채널들이 생겼는데, 나보다 어떤 분야에 대해서 더 잘하시는 분이 있으면 더 배워보고, 내가 더 잘 아는 분야가 있다면 더 잘 알려주고 싶다. 그 전에 무엇을 주제로 글을 작성해야 할지, 6개월간 어떻게 살아볼지 정리를 좀 해봐야겠다.

새해의 초심

사실 1월부터 어떤 큰 계획을 세워놓고, 또 월 별로 회고를 해보고 있다. 노션에 정리 중이었는데, 블로그 자체를 노션으로 옮길까도 고민해보고 있다. 아무튼 예전에 정리했던 내용들을 한 번 살펴보자.

노션에는 Milestone이란 제목으로 작성해놨는데, 이 페이지는 크게 네 부분으로 나뉘어져있다. (생각보다 많네?)

장기, 년, 월, Not To Do 이다.

장기

• 45세 전에 원하는 만큼 일하고 생활할 수 있는 캐시플로우를 확보하기
• 몸과 마음의 건강
  • 독서와 운동
  • 독서모임을 통해 월 1권의 독서를 한다
  • 주 3회 이상 운동을 한다.
• 인생을 풍족하게 만드는 취미활동
  • 요리
    • 내가 한 요리를 기록해두자, 노션 페이지를 이용
    • 요리와 함게 곁들인 와인이나 음료들도 기록해두자
      • 인스타 와인 계정, 요리계정?
  • 제빵?
  • 독서
  • 테니스
  • 피아노

장기 계획으로 캐시플로우를 생각했다. 파이어족이란 단어를 막 들었을 때 였는데, 막상 내 인생 목표가 뭘까, 장기적인 목표를 뭘 세우면 좋을까 하다가 괜찮을 것 같아서 정해봤다. 좀 더 근사한 목표를 잡고 싶기도 했지만, 아직까진 좋아보인다.

두 번째는 몸과 마음의 건강이다. 일을 하면서 잃기 쉬운게 건강인 것 같다. 몸도 몸인데, 정신이 망가지고 있는 걸 깨닫기 참 힘들고 다시 올라오기도 힘든 것 같다. 물론 몸이 무너지면서 정신도 흐트러지는 것 같긴한데, 일단 관리할 대상을 두 가지로 정했다. 몸과 마음 둘 다 중요하다. 몸 건강이야 운동으로 챙기면 되는데 마음 건강은 어떻게 해야할까 하다가 책이 마음의 양식이라는 생각이 들었고 개발 도서 외에 책을 안 읽은지 오래됐다는 것을 느꼈다. 그래서 독서도 하고 독서모임도 해야지 하는 찰나에 6기에서 독서모임이 만들어졌고 지금까지 해오고 있다. 혼자 읽는 것보다 모여서 얘기를 나누니 머리에 더 잘 들어오는 느낌이라 좋다. 꾸준히 하고 싶다.

세 번째는 취미생활이다. 돈만 많이 번다고 행복할까?란 생각을 해봤는데 인생이 풍족해야, 또 즐길거리가 많아야 행복할 수 있을 것 같았다. 그래서 취미 생활도 여러가지를 해봐야겠다고 생각했다. 하고 싶은 취미들과 내가 잘하는 것들을 쭉 써봤다. 다 하기에는 시간이 없을 것 같았지만 최대한 추려봤다. 요리나 와인을 기록해야겠다고 생각한 건, 사진만으로는 기억에 잘 남지 않는 것 같았고 기록을 해놓고 정리를 해놔야 공유하기도 쉬울 것 같았기 때문이다. 특히 와인은 마시고 슥 지나가 버리기 마련인데, 이왕 돈 좀 쓴거 기록이라도 해놔야 돈이 덜 아까울 것 같았다. 그래서 와인 계정하나 만들었고 와인 마실일 있을 때마다 올리고 있다. 술 마시면서 올려야되는데, 나중에 올려야지 하다보니깐 귀찮아진다… 다시 올려야겠다.

최근에는, 테니스를 배우기 시작했다. 너무 배워보고 싶었던 운동이었는데, 생각보다 어렵다. 영상에서는 너무 쉬워보였는데, 축구나 농구, 배드민턴이랑 좀 다른 스포츠인 것 같다. 하지만 어려워서 한 번 잘 맞을때 희열이 있다. 6개월 내에 게임 뛰어보는게 목표다.

년

• 데이터 엔지니어로서 커리어를 강화하기
  • 데이터 플랫폼팀 업무에 적응한다
  • 연동 업무나 새벽 작업을 줄일 수 있도록 만든다
  • 누구나 원하는 데이터를 쉽게 얻을 수 있는 플랫폼을 구성한다
    • 기획자나 데이터 사이언티스트들의 불편함이 무엇일까?
  • 다른 엔지니어들의 고민은 무엇인지 공유하기
    • 글또나 다른 커뮤니티를 통해서
• ML 플랫폼 쪽 일을 같이 하면서 ml을 좀 더 쉽고 빠르게 할 수 있게 만들기
  • Kubernetes 익숙해지기
  • MLOps 관련 커뮤니티, 세션 꾸준히 참석
• 독서 모임 꾸준히 해보자
  • 개발
  • 그 외

22년에 할 것들을 생각해봤는데 이 주제는 다분히 커리어적이다. 21년 12월에 이직을 막 하기도 했고, 새 직장에서 뭘 해보고 싶은지, 어떤 커리어를 쌓아가고 싶은지를 정리해봤다.

먼저 기존 업무에 적응하는게 1순위였다. 지금은 많이 적응했고 어떻게 돌아가고 있는지 감이 잡힌 상태다. 직접 업무를 하나하나 해보고 싶긴 한데, 그 전에 키워야 할 스킬들이 필요한 것 같다.

데이터 플랫폼을 이용하는 다른 분들의 고민이 무엇인지 파악하고 싶었다. 좀 더 편하게 쓰고 불편함을 줄이고, 이런 시도들을 해야 매너리즘에 빠지지 않을 것 같았고, 계속 무엇인가를 배우고 성장시킬 수 있을 것 같았다. 연동업무를 많이 맡아야 이런 고민들을 더 해볼 수 있을 것 같은데, 7-8월 쯤 되면 충분한 기회가 올 것 같다.

ML플랫폼을 구축해나가고 있다. Feature Store나 FastAPI, Kubernetes 등 MLOps에 필요한 스킬들을 키워나가고 있다. MAB프로젝트에 참여하고 있고 ML Engineer분들과 일할 기회가 많아 이 파트를 맡게 되었다. 조금 더 다듬으면 운영 쪽에 배포할 수 있을 것 같은데, 얼른 마무리 하고 배포하고 싶다. 데이터 엔지니어지만 ML쪽을 놓고 싶지 않았는데, 참 다행이다.

월

월 별에서는 직장과 개인으로 나눠서 작성했다. 월 별로 직장에서 이루고 싶은 것과, 개인적으로 이루고 싶은 것을 나눠봤다. 나중에 지나고 나서 다시보면 참 재밌다. '와 이거 고민많이 했었는데, 이젠 어느정도 할 수 있게 됐네ㅎㅎ', '아 이건 아직도 못했네...' 란 생각이 교차하는데 다음 계획 세우기에 좋은 것 같다. 근데 3월까지밖에 못했다… 4월부터 좀 게을러진 것 같아서 반성하고 글또 시작과 함께 다시 습관을 들여야겠다.

(직장 관련 내용이 있어 1월달 내용에 일부 수정)

• 직장 - 성공적으로 온보딩 끝내고 실무투입
  • EKS 개발계 구성하기
    • JupyterHub 및 기타 컴포넌트 최적화(Subnet IP, MEM, CPU 등)
    • 업무 우선 순위에서 밀림, 일단 AA나 운영 airflow에 더 신경쓰기
    • 개선점 없을지 고민
      • Airflow PodOperator로 띄웠을 때 IP부족해지지는 않는지 확인
      • 연산최적화 - Ray, Faiss 등
  • 연동 작업 파악 및 실제 연동
    • 모니터링
    • 기타 다른 방안 있을지, 개선점은 없을지 고민
  • SageMaker 테스트
• 개인 - EKS, 쿠버네티스에 익숙해지기, EKS로 airflow 자유롭게 띄워보기, config 설정
  • EKS 관련된 블로그 글 작성하기 - 하나도 못씀
    • 쿠버네티스 개념 글
    • EKS로 Airflow 띄우기
    • mlFlow 띄우기
    • JupyterHub 띄우기
      • 문제점은 있음, helm chart 배포 필요
  • CDC 개념 파악
  • Deview, Kakao 세션에서 CDC, MLOps 관련 세션 정리

대충 이런 내용들이 있었다. Kubernetes를 써보고 싶었고 내가 운영하는 서비스를 하나 만들어보고 싶었는데, 2월 3월달 쯤 다시보니 너무 뿌듯했다. (4월 5월 내용도 회고를 했다. 요건 업무 적인 내용이 많아서 비밀)

Not To Do

• 유튜브만 보고 있기
• 하염없이 웹 서핑 및 핸드폰

얼마전에 대나무 숲 채널에도 올라온 것 같았는데, 너무 공감가는 내용이었다. 핸드폰을 너무 많이 보고 있다. Not To Do로 써놓고 나서 유튜브를 보다가 끄고 다른 할걸 해나갔었는데, 애플워치를 사고 나니… 폰을 많이 보게 되는 것 같다. 간만에 Not To Do를 확인 했으니, 자제 해야겠다.

다시 글또로… 뭘 써볼까?

이렇게 글또 7기에 들어가기 전에 어떻게 살아볼까하고 이전에 세워본 계획들을 살펴봤고 남은 6개월도 어떻게 살지 생각해봤다. 이제 뭘 작성할지 정리를 해봤다.

• 스터디
• Kubernetes
• MLOps
• 데이터 연동

크게 세 가지 내용이 주가 될 것 같다. 먼저 스터디는 회사에서 조직해보고 싶었다. 이전 회사에서도 스터디나 공유하는 문화를 통해 참 빠르게 성장할 수 있었던 것 같았다. 뭔가 같이 해보고 싶어하는 분들이 있어보였는데, 총대메고 싶지 않아하는? 총대메면 더 열심히 참여할 수 밖에 없다는 걸 알기에 같이 해보자고 했고, 스터디 리딩을 하면서 끝까지 가보려고 한다. Data Intensive Application, 데이터 중심 애플리케이션 책으로 시작을 했는데 첫 스터디를 마쳤고 시작이 좋은 것 같다. 이 내용들도 정리해서 공유할 예정이고, 다른 스터디원들 분에게도 공유해서 글 작성을 권유해볼 생각이다.

Kubernetes 는 써야지 써야지 하고 하나도 안썼다. 개념적인 내용을 공부하면서 노션에 작성하긴 했지만 글로 쓸 정도의 완성도가 아니라 메모 정도의 수준이라 다시 정리를 해야할 것 같다. 전체적인 이론 내용을 쭉 보고 업무를 하면서 사용하는 개념만 계속 쓰는데, 그래서 낯선 개념이 등장하면 다시 기억이 잘 나지 않고 있다. 대표적으로 3월인가 4월쯤에 K8S에 장애가 났는데 Pod Description에 Cordon이라는게 나왔다. 어디서 봤는데 하다가 이전에 정리한 걸 보니 정리한 게 있었다. 역시 글로 남기지 않으니 머리에 잘 남지 않는다. 처음부터 다시 보고 완성도 있게 정리를 해봐야겠다.

MLOps는 최근에 많이 맡아서 하고 있는 부분이다. Kubernetes 클러스터를 구성해서 다양한 것들을 올려보고 있는데, 이런 앱들을 어떻게 올려야 하는지, 어떻게 잘 사용해야 하는지를 작성해보고 싶다. 기본적으로 Airflow나 MLflow, JupyterHub을 다뤄보고 싶고, Feature Store의 필요성과 Feast를 정리해보고 싶다. 아마 다른 회사들에서도 비슷한 고민을 갖는 엔지니어들이 있는데, 설치 방법이 잘 나와있는 곳이 없어서 시간을 많이 소모하는 것 같았다. 엔지니어 특징 중 하나가 정리를 귀찮아 한다는 건데, 역시 한 분야에 깊게 갈수록 잘 정리된 내용이 별로 없다. 내가 인터넷을 통해 도움을 받았듯, 나도 베풀 차례이지 않을까?

데이터 연동 은 데이터 엔지니어로서 가장 많이 다뤄야 하는 부분이다. 이 연동 작업을 하는데에 있어 부족한 점이 있는 게 느껴져서 이걸 보완하는 기술적인 내용을 주로 다뤄볼 생각이다. Java를 공부한 내용을 써봐야 되나 싶긴한데, 너무 재미없을 것 같아서… Java를 통해 재밌는 사이드 프로젝트를 하나 만드는 게 더 좋아보인다. 뭐든 하나 만들어봐야 내 것이 되는 것 같다. 회사의 자원을 빌려서 하고 싶은 걸 좀 해봐야겠다ㅎㅎ.

이렇게 쓰고 보니 글 쓸게 너무 많다. 2주에 하나? 한 네 개를 작성해야 목표한 걸 다 쓸 수 있을 것 같은데… 적당히 몸과 마음의 건강을 생각하면서 차근차근 써봐야겠다. 사실 글 작성 외에도 글또에 정말 훌륭하신 분들이 많아서 그 분들의 글을 보고 좋은 내용은 팀원들에게 공유하면서 이건 어때요 저건 어때요 하면서 회사에서든 글또에서든 많은 토론을 이끌어내고 싶다. 가만히 앉아서 수동적으로 정보를 수용하려고 하면 배움의 한계가 있는 것을 느꼈다. 처음이었던 3기 4기때 아는 사람도 없고 낯을 가리면서 적극적으로 정보를 공유하지 못한 것 같은 아쉬움이 있다. 다른 분들의 글을, 다른 채널에 있는 분들의 글도 잘 챙겨보고 더 많은 참여를 통해 더 많은 걸 얻어나가고 싶다. 이번 7기, 6개월간 더 많이 성장해보자!