하마일기

 Day 2 화요일 화요일 목요일은 유일하게 사무실에 출근하는 날들이라 평소보다 미팅이 많이 잡힐 때가 많다. 오전 8시 반쯤 사무실에 도착해 메일과 모니터링을 체크하고, 팀 미팅을 하기 전 논의할 것이 있는지 점검한다. 팀내 업데이트 화요일 아침 9시는 주간 팀 미팅으로 시작한다. 우리 팀은 데이터 엔지니어인 나와 data scientist, data analyst, market analyst, 그리고 매니저로 구성되어 있다. 각자 일주일동안 무엇을 했는지를 공유하면서 다른 팀이나 이사진들과 있었던 중요한 이야기나 조금 더 장기적인 비전 혹은 목표에 대한 이야기도 오가기 때문에 엄청 테크니컬 하지는 않다. 특히 애널리스트들이 이야기 할 때에면 나는 금융이나 무역쪽 도메인 지식이 부족해서 어렵게 들리기도 하지만, 대략적으로 내가 해온 것들이 어떻게 쓰이고 있는지, 혹은 현재 수작업으로 하고 있는 것들이 추후에 우리 데이터 플랫폼을 통해 어떻게 개선될 수 있을지를 파악하려고 하며 듣는 편이다. 프로젝트 아키텍쳐 디자인/조언 팀 미팅이 끝나고 쉴 새 없이 다음 미팅이 있는 곳으로 향했다. 다른 팀의 데이터 애널리스트, 엔지니어와 함께 프로젝트 아키텍쳐 디자인 한 것을 더 의논하고 컨펌하기 위해서였다. 다른 팀에서 관리하는 소스에서 데이터 플랫폼으로 어떻게 데이터를 ingest 할 지, 어떤 툴을 사용하여 transform하고 어떻게 output을 처리할지, 전체 파이프라인은 어떻게 trigger 할지 장단점과 특정 툴이나 방법을 선택한 정당성을 설명한다.  해당 팀 엔지니어는 가끔 필요하지 않은데 과하게 컴포넌트를 추가하려고 하는 경향이 있어 (예를들어 storage에 파일을 생성할때 파이프라인을 트리거 하도록 할 수 있는데 굳이 메시지 브로커를 사용하려 한다거나, 어차피 하루에 한번 배치로 처리하면 되는 프로세스 아웃풋을 유저가 pull 하도록 하면 간편한데 굳이 push하려 한다거나, 그렇다고 유지보수나 모니터링이 잘 돼있지도 않다ㅠㅠ) 이를 ...

나는 현재 네덜란드의 한 무역회사에서 데이터 엔지니어로 일을 하고 있다.  데이터 엔지니어링이라는 직무가 사실 생긴지 얼마 되지 않아 회사마다 정의하는 방식이 다르기도 하고, 다루는 업무도 천차만별이다. 우리 회사의 경우 데이터 팀이 생긴지도 얼마 되지 않아 규모가 작지만, data-driven 조직이 되기 위한 목표와 전략이 명확하고, 회사 서포트도 빵빵하고, 각기 다른 데이터 관련 직무(데이터 엔지니어, 사이언티스트, 애널리스트)와 역할 분담이 나름 체계적으로 구성되어 있는 편이다. 데이터 엔지니어가 이론적으로 어떤 일을 하는지는 이미 잘 쓰여진 글들이 많으니 생략하고, 일주일 동안 내가 데이터 엔지니어로서 어떤 일을 하고 있는지를 하루 하루 기록해볼까 한다. 이번주를 예시로 Day1 - Day5까지 작성을 해보려고 한다.  참고로 이를 작성하고 있는 이번주는 시기적으로 바쁜 프로젝트가 끝나고 새로운 프로젝트가 오기 전이라 비교적 한가한 시기에 속한다. Day 1 월요일 이메일/모니터링 확인 월요일, 오늘은 재택근무를 하는 날이다. 9시쯤 책상에 앉아 이메일을 확인한다. 다행히 플랫폼이나 데이터 관련 모니터링에 알람이 온 것은 없다. data scientist와 협업 시차가 있는 아시아 지사에서 일하는 데이터 사이언티스트가 머신러닝 모델 아웃풋 스키마 변경 작업이 끝났다는 이메일이 왔다. 저번주에 이 분이 머신러닝 모델 아웃풋을 보내왔는데 이미 스키마 변경을 두번이나 했고 추후에 또 바뀔 여지가 있었다. 스키마를 변경하게 되면 ML framework 쪽 뿐만 아니라 아웃풋을 처리하는 파이프라인도 계속 스키마를 업데이트 해줘야 하기 때문에, 더 static 하게 관리할 수 있도록 다른 스키마를 제안했고, 해당 작업이 끝났다고 알려온 것이다.  나는 칸반보드에 이 테이블에 의존하는 다른 파이프라인을 업데이트 하도록 티켓을 생성했다. 스크럼 9시 반에는 매니저와 스크럼 미팅이 있어, 지난주 금요일에 한 일을 업데이트 하고, 오늘 무엇을 ...