2021년 회고

다사다난한 2021년 한 해를 보내면서, 회고하기

2022년이 되었다.

해가 지날수록, 나이를 먹을수록 시간이 더 빠르게 지나가고 있다. 21년은 사실 힘든 일이 더 많이 기억에 남았던 달이었던 것 같은데, 정리가 되려니까 벌써 2022년이 되어버렸다. 뭘 해왔었는지 기억이 잘 안나는데, 블로그나 기록하는 일에 대해서 이 맘 때쯤 다시 한번 고마움을 느낀다. 겨우겨우 글또를 통해서 반 강제적으로 글을 쓰고 있는데, 이를 통해서 어떤 생각을 해왔고 어떤 걸 하고 있었는지 기억이 난다. 이번 글또에서는 좀 더 글을 많이 작성하고 싶었지만, 여러 일이 겹치다 보니… 계획을 실천할 수 없었다. 패스권 2장을 최대한 안써보려고 했지만, 빠르게 소진해버렸고? 다행히도 예치금 차감없이 마무리 지을 수 있을 것 같다. 정말 빠르게 21년이 흘러왔는데, 무슨 일이 있었는지 한 번 생각해 봐야겠다.

2021년에 대하여

• 21년에 작성한 글 목록
  • 2021-12-19 kafka 첫번째, 개념 정리
  • 2021-12-04 linux top 10 명령어들을 정리해봤다
  • 2021-11-18 이직의 과정, 그리고 얻은 것
  • 2021-11-03 EKS-workshop
  • 2021-10-07 Docker hub pull limit이 발생했다면?
  • 2021-09-12 Airflow와 야근하기
  • 2021-09-04 sparton
  • 2021-08-28 Airflow Workers on ECS Fargate
  • 2021-08-11 yml 파일을 잘 다뤄보자
  • 2021-08-01 글을 왜 써야 할까? - 고민과 정리의 시간
  • 2021-05-02 글또 5기를 끝내고, 회고하기
  • 2021-04-18 AWS_Immersion_DAY, 추천 파이프라인
  • 2021-04-04 Airflow Clusterization
  • 2021-03-07 Apriori와 FP-Growth. 추천 시스템 시리즈
  • 2021-02-21 Airflow Basic. 두 번째
  • 2021-01-24 AWS 비용관리의 서막, EMR

글또 5기부터 시작해서 6기까지 쭉 흘러오다 보니 21년이 다 가버렸다. 작성한 글들을 보니 주로 업무에서 발생한 일들을 작성한 것 같다. 그 외에 이직을 한 내용, 워크샵에서 배운 내용, 회고 글, 하루를 열심히 살았던 스파르톤에 대해서 글을 작성했다.

21년 초

21년 초에는 데이터 엔지니어로 전향하고 인수인계 받은 일에 대해서 적응하는 기간이었다. 그 기간에 갑자기 EMR비용이 상승한 일이 있어서 이를 위해서 Cloud FinOps개념을 공부했고, 적용하기 위해서 노력했다. 덕분에 데이터 사이언스 팀에서 발생하는 비용을 측정하고, 관리함으로써 비용을 어느정도 줄일 수 있었다. 하지만 동시에 한계도 느껴졌다. 결국 AWS를 쓰는 모든 사람들이 합의를 하는 어떤 룰을 만들고 지켜나가야할 것 같은데, 혼자 열심히 해봤자 전체적인 관리가 안될 것이 너무 뻔했다. 체계를 잡고 싶었지만 이런 체계를 어디서부터 잡아야 할지, 어떤 자료를 찾아봐야할지, 그리고 실제 팀에서 따라올 수 있을지 감이 잡히질 않았다. 가뜩이나 과중한 업무가 치고들어오는 마당에, 전 조직을 위한 체계는 결국 잡지 못했다. 결국 다른 일을 할 수 밖에 없었다.

21년 중

한 차례 전쟁을 치룬 후에는 Airflow 고도화 작업에 착수했다. 특정 작업을 하는 Airflow는 버전도 낮았고, 싱글구조로 돌아가고 있었는데, 워커에 부하가 계속 걸리고 있는 상태였기 때문에 Clsuter화 시켜주는 작업이 필요하다고 생각했다. 그렇게 하다보니, 이 구조를 Kubernetes에 옮겨서 깔끔하게 관리하고 싶다는 생각도 하게 되었다. 하지만 이 당시에는 학습이 많이 부족해서 아이디어만 갖고 있다가 8월 쯤부터 ECS로 옮기고 나서 이것을 Kubernetes로 옮겨보자 라는 목표를 세우게 되었다. ECS까지는 성공했는데, kubernetes는 조금 아쉽다. 이직생각이 없었고 회사에 열점이 더 남아있었다면, 데이터 사이언스 팀 인프라를 모두 Kubernetes상에 옮겨놓고 장에 없이 운영할 수 있을 것 같았는데, 조금 아쉽다. 7-8월쯤 회사에 정이 떨어지니 어떤 작업도 하기 싫어졌다.

이 맘 때쯤 BigQuery도입을 위해서 설득을 하고 있었다. 의사결정권자분들께 이게 왜 필요하고, 어떻게 확장이 가능한지를 설명했다. 결국 POC를 승인 받았고 작업을 이제 막 하려고 했다. 그런데 데이터를 받는 부분은 개발팀 소관이었고, Pub/sub으로 데이터를 받아야 하기에 도움을 청했다. 자바 소스에 publisher하나 붙이면 되는 간단한 작업으로 생각했는데, 감감 무소식이다가 결국은 할 수 없다는 답변을 받았다. 그리고 이걸 시작으로 다양한 일들이 일어나기 시작하면서 더 이상 회사를 위해 어떤 일도 스스로 나서서 하기 싫어졌다. 2년동안 설득에 설득을 하면서 필요한 것들을 발전시키고 있었는데, 바닥을 보고 나니 어떤 열정이 다 사그러지는 느낌이었다. 조직은 계속 같은 일만 반복하고, 발전이 없어보였고, 이 잔잔한 물결에 나조차도 고여버리고 있는 느낌이 들기 시작했다.

회사에 데이터 관련 인력으로 맨 처음 들었을때는 참 재미있었다. 아무것도 없었기 때문에 물론 힘들었지만, 하나하나씩 만들어내고, 발전해나가는 모습이 너무 좋았었다. 다른 조직에서 하고 있는 기술들도 가져와서 써보고 토론하면서, 나름 데이터 조직이 제대로 구성되고 있다는 생각을 했었다. 하지만 여기까진 것 같았다. 발전과 성장에 목마른 사람들은 몇 명 남아있지 않았고, 그 불씨도 다 꺼지고 있었다. 힘을 받아서 해야했던 시기에 불씨가 다 꺼져버렸었다.

그래서 이때부터 이직준비를 했던 것 같다. 예전과 같이 빠르게 성장하는 조직에서 전 처럼 치고 받으면서 모르는 부분을 헤쳐나가고 싶었다. 이직준비를 하게 되면서 글또에 올리는 글이 퀄러티가 급 떨어지는 게 너무 느껴졌었다… 항상 완성도 높은 글을 작성하고 싶었는데, 이직에 회사에 글까지 신경쓰면 부서질 거 같아서 조금 놓아버렸다…ㅠㅠ

추가로 이때 처음으로 강의를 해보게 됐다. 이직시기와 맞물려서 할까말까 고민했지만, 거절할 수 없는 금액이었다… 엘리스쪽에서 제안을 해주셨는데, 가이드도 잘해주셔서 무리없이 잘 끝낼 수 있었다. 마이크까지 제공받아서 녹음을 해봤는데, 나름 재밌었다. 다음에 기회가 된다면 또 해보고 싶다.

21년 말

10월과 11월에는 이직 면접과 그 과정의 마무리에 있었다. 6개정도의 회사와 컨택을 했고 최종 두 회사에 합격을 했다. 주위에 여러 분들이 도와주신 덕에 신중하게 회사를 선택할 수 있었고 그 결과에 만족을 하고있다. 이직도 이직이지만, 회사를 고르는 것도 쉽지 않다는 것을 느꼈다. 새 회사에 합격을 해서 마음은 놓았지만… 남은 다른 분들이 걱정이 되어 마냥 좋지만은 않았다. 능력에 대해서 다시 한번 생각하게 되었는데, 만약 내가 능력이 정말 출중했다면 팀 단위로도 회사를 옮길 수 도 있지 않았을까? 이런 생각도 해봤다. 정말 다행히도 남은 분들도 컬리 근처의 회사에 합격을 하셔서 자주 볼 수 있을 것 같다. 이직하는 시간이 길어질수록 이직이 쉽지 않았을 것 같다고 느꼈어서, 내가 나간 후에 바로 이직을 하게 되셔서 참 다행이라고 생각했다. 물론 전 회사는 많이 착잡하겠지만, 그 동안 계속 이야기해온 걸 조금이라도 들어줬더라면… 조금이라도 더 있지 않았을까 했지만…

최근

새 회사에 적응 중이다. 전 보다 규모가 엄청나게 크다보니, 적응이 잘 되지 않고, 보안 규칙도 너무 어색하고, 처음 써보는 것들이 너무 많아서 어렵다. 특히 개발 규모와 하루에 가용하는 데이터 양이 예전에 작업하던 거에 비해, 아니 비교할 수 없을 정도라 작업 실수에 대한 부담이 좀 있다. 예전에는 DB에 직접 접근하고, 권한을 나누지 않고 사용했었는데, DBA님께 쿼리에 대한 허가를 받고 작업을 하는 구조가 이제야 이해가 가기 시작했다. 가파른 성장을 해가고 있고, 다양한 시도를 하고 있는 회사에 입사하게 되어서 참 좋다고 생각하고 있다. 일단 가장 먼저는 EKS와 Rancher 사용법을 빠르게 익혀야 될 것 같다. 1월까지 기한인 일이 몇 개 되어서…(입사한 지 2주밖에 안됐는데!ㅠㅠ) 빠르게 EKS쪽 일에 익숙해지고, CDC쪽을 살펴봐야 할 것 같다. 이쪽에서 사용하는 게 처음이라 또 적응하는데 고생할 것 같지만, 차근차근 테스트를 하면서 몸에 익혀야겠다. 카프카는 아마 CDC쪽 일을 하면서 더 공부할 것 같다. 일단은 EKS를 공부하느라… 카프카 글을 1편 써놔서 빨리 2편을 쓰고 싶지만, 당분간은 업무와 관련된 것을 더 보고 작성해봐야지!

또 요즘 느끼는 것은, 전체 아키텍쳐를 크게크게 보는 법을 배워야 되겠다는 것이다. 거대한 서비스가 돌아가는 것을 처음봐서 어떻게 뭐가 돌아가는지 이해하는데 오래걸리는 것 같다. 시니어 분들은 어떤 문제를 콕 집어서 이게 이렇게 문제가 되니, 개선이 필요하다고 하시는데 아직 그게 어떤 문제가 되는지 잘 이해가 가지 않는다. 이와 관련된 개발서적을 좀 찾아보고 공부해야겠다. 2022년도 열심히 성장해보자!