또 다시 한해가 가고.. 25년의 회고를 작성해본다.
25년의 가장 큰 변화는 이직이었다. 24년 회고의 말미를 보면-
25년에는 이렇게 일하고(일하는 환경에 있고) 싶다.
•
보다 주체적으로 결정하고 일하기
•
나만의 강점 기술적 깊이 쌓기
•
빨리 가기보다 제대로 하기
올해는 단순히 바쁘게 일하는게 아니라 어떻게 하면 더 의미있게 일할 수 있을지 고민하는 해가 될 것 같다.
라는 글이 있었는데 결과적으로 이 문장이 희망사항이 아니라 실제 일하는 방식으로 이어진 해였다.
이직: 환경의 변화
첫 경력 이직이라 부담이 어느정도 있었는데, 확실히 신입 때와 달랐다. 적응이 훨씬 빨랐고, 무엇보다 내가 공부해온 방향과 회사에서 요구하는 데이터 엔지니어의 역할이 맞아서 좋았다. 전 회사에서는 데이터 엔지니어라고 부르기엔 업무 범위가 넓고 불명확한 부분이 많아 혼자 따로 데이터 엔지니어링 영역을 공부해왔다. 이직 후 업무가 보다 명확해져서 훨씬 적극적으로 일할 수 있었다.
특히 이전에는 요구사항이 명확히 정리되어 있지 않으면 일하기 힘들었는데, 지금은 모호한 상황에서도 스스로 정리하고 계획을 세우고 대안을 제시하는 쪽으로 바뀌었다. 일을 받아서 처리하는 것만으로 벅찼던 시절을 지나 스스로 문제를 파악하고 생각해서 개선할줄 아는 사람이 되었다.
방통대 입학
비전공자로서 늘 기초 지식이 부족한게 아닐까 라는 불안에 시달리고 있던 차, 동료 직원의 추천으로 방송통신대학교 컴퓨터학과에 편입했다. 온라인 수업이지만 일하면서 듣기에 생각보다 빡빡했던 지난 일년..
전공 지식은 현업에 당장 도움이 된다기보다 폭 넓은 사고를 할 수 있게 도와준다. 데이터베이스시스템이나 운영체제, 자료구조 같은 수업이 어떠한 선택을 내려야 할 때, 시스템의 로우레벨에서 생각할 수 있는 힘을 길러주었다. 내년에 필수 전공들 마저 듣고 무사히 졸업하는 것이 목표이다.
꾸준한 블로그 작성
블로그는 작년 말부터 주 1회 포스팅 스터디를 하며 꾸준히 써와서 꽤 많은 글이 쌓였다.
처음에는 시간이 지나면 까먹는 것들을 기록해두는 정도로 시작했다. 솔직히 이게 도움이 될까 싶었는데 여러가지 주제가 쌓이다보니 내가 무슨 작업을 했었는지 저절로 성과 정리와 회고가 되고, 또 비슷한 작업이 필요할때 다시 찾아볼 수도 있어 유용했다. 회사에서 어떤걸 의논하거나 결정할 때 이 주제 정리해둔게 있는데 하고 보여주면서 설명할 수 있었다.
내년에는 양보다 질로, 현업에서 겪은 일 위주로 더 밀도 있게 작성하는게 목표다.
기술적 성장
기술부채 해소
이제 막 스타트해서 새로운 피쳐 위주로 개발하던 전직장과 달리, 현직장은 이미 파이프라인이 어느정도 구축되어있고 기술 부채가 많이 쌓여있던 상황이라 이걸 개선하는 작업 위주로 진행했다.
1.
데이터 파이프라인에서 발생하던 에러 케이스와 알람을 정리하고 수정해, 상시 발생하던 노이즈를 제거했다.
2.
코드구조의 문제점을 개선했다. 모든 설정 값, 경로 변수, 쿼리, 커넥션 등 하나의 파일의 하나의 함수 안에서 실행이 되는 형태를 역할별로 분리하고 공통화하며 리팩토링했다. 단순 코드 스타일이 아니라 변경이 좀 더 쉬워지고 유지보수가 가능해지는 방향으로 만들기 위해 노력했다.
3.
태블로 flow 데이터를 dbt로 데이터마트화 하는 작업을 시작했다. dbt와 데이터 모델링, 도메인 데이터를 더 깊이있게 공부할 수 있어 좋았다. 다만 이건 양이 너무 많아 하나씩 꾸준히 정리해나가는 쪽으로 가야할 것 같다.
데이터를 제품처럼 바라보기
예전에는 요구사항이 오면 그에 맞춰 빨리 개발하고 배포하면 일을 잘해냈다고 생각했다. 지금은 요구사항을 받으면 이걸 왜 해야하는지, 어떤 방향이 맞는지, 어떤 솔루션이 적절한지부터 고민한다. 처음 설계를 잘못하면 운영 중에 뭔가를 바꾸는 것이 얼마나 어려운지 이젠 잘알기 때문이다. 그래서 최대한 유지보수하기 쉬운 구조, 운영 방식, 모니터링, 인프라 관리까지 자연스럽게 신경쓰게 됐다.
데이터를 한번 만들어 놓고 끝내는 것이 아니라 지속적으로 제공되고 관리되어야하는 제품으로 여기는것이 무엇인지 이제야 이해한 느낌이다. 단순히 데이터를 수집하는 것을 넘어서 데이터를 제품으로 제공하기 위해 어떻게 해야할지로 관점이 넓어졌다.
문화적 성장
예전에는 솔직히 개발 외적인 부분에는 관심이 거의 없었다. 그런데 이제는 이런 부분까지 챙겨야 더 나은 개발 환경이 만들어진다는 걸 알게됐다.
가장 대표적인 건 팀 노션 페이지 개편과 개발 문서 템플릿이었다. 23년 이후로 데이터팀 노션에 업로드된 문서가 손에 꼽을 정도라서 히스토리 파악이 매우 어려웠다. 개발 문서가 없다 보니 코드만 읽고 모든 걸 추리해야 했다. 그래서 노션 팀페이지를 카테고리화해서 갈아엎고, 개발 문서 템플릿을 만들어 데이터베이스 형태로 이력을 남길 수 있게 했다.
개발문서 뿐 아니라 인프라 세팅, 서버 운영방법, 의사결정의 이유, 장애 대응 등 작업한 거의 모든것을 문서화해서 남겨 내가 아니더라도 다른 사람들이 참고 할 수 있게 만들었다.
재밌는 것은 구두로 문서화하자고 팀 동료에게 제안했을때는 반응이 애매했는데, 직접 구조를 만들어두니 같이 문서를 추가해주기 시작했다. 때로는 말보다 행동이 중요하다는 것을 배웠다.
아쉬운 것과 내년 방향
체력과 스트레스관리
올해는 성장한 만큼 체력도 많이 소모했다. 이직 후 빠르게 성과를 내야 한다는 압박과 2학기 막판 기말고사 등등 여러가지가 겹치면서 약간의 번아웃 가까운 상태가 됐고, 운동도 두 달을 쉬어버렸다. 새해에는 다시 생활 리듬와 체력을 관리해야겠다.
남아있는 기술부채
테스트가 미비하다. 뭉쳐진 코드로 인해 테스트 코드가 전무한 상황이다. 때문에 무언가 변경할때 안심하고 변경할 수 가 없고 매번 mock 세팅을 직접해야 테스트를 할 수 있다. 또한 데이터 품질에 대한 테스트도 미비해서 배포 후 값이 안맞는 이슈가 몇번 있었다. 특히 코드 개선을 하며 대량 리팩토링을 하다보니 놓치는 부분이 한둘 발생했는데, 이는 개인이 실수 안하길 바라는것보다 시스템 레벨에서 안전장치를 마련해야하는게 필요다고 느꼈다. 내년에는 이 부분을 더 단단하게 만들고 싶다.
그리고 궁극적으로는 데이터팀이 모든 일을 직접 떠안지 않아도 되도록, 데이터 플랫폼을 제공하는 형태로 진화시키고 싶다. 인프라 관리, 신규 파이프라인 개발/운영, 데이터 확인 요청까지 둘이서 다 하다 보면 무조건 병목이 생기기 때문이다. 귀찮은 일은 가능하면 자동화하고, 사람이 해야 하는 일에 더 집중할 수 있는 구조를 만들고 싶다.
AI 활용 더 잘하기
올해는 정말 눈부신 AI 툴들의 발전이 있었다. 클로드 코드와 노션, 지라 mcp 같은 것들을 사용해보니 매우 편리하고 생산성이 정말 많이 올라간다고 느꼈다. 팀에서도 더 잘 사용할 수 있도록 정리해서 적용하려고 하고 있다. 이번 한해도 새로운 기술에 계속 관심을 갖고 트렌드에 뒤쳐지지 않도록 주의를 기울이고 있어야겠다.
25년은 주체적으로 일하고 싶다는 바람이 실제 행동으로 바뀐 해였다. 단순히 기술스택을 익히는데 그치지않고 운영과 문화까지 조금씩 시야가 넓어졌다. 그럼에도 내가 커리어를 잘 관리하고 있는걸까 불안감은 항상 있는 것 같다. 다른 사람들은 어떻게 하고 있는지 참고하면서도, 한편으로는 나만의 기준과 가치관으로 중심을 지키는 것이 쉽지만은 않다. 내년에는 더 많은 경험을 하고 기반을 단단하게 다져 팀과 회사에 더 좋은 영향을 주는 사람이 되고싶다.