데이터 엔지니어의 하루 2

 Day 2 화요일

화요일 목요일은 유일하게 사무실에 출근하는 날들이라 평소보다 미팅이 많이 잡힐 때가 많다.

오전 8시 반쯤 사무실에 도착해 메일과 모니터링을 체크하고, 팀 미팅을 하기 전 논의할 것이 있는지 점검한다.

팀내 업데이트

화요일 아침 9시는 주간 팀 미팅으로 시작한다. 우리 팀은 데이터 엔지니어인 나와 data scientist, data analyst, market analyst, 그리고 매니저로 구성되어 있다. 각자 일주일동안 무엇을 했는지를 공유하면서 다른 팀이나 이사진들과 있었던 중요한 이야기나 조금 더 장기적인 비전 혹은 목표에 대한 이야기도 오가기 때문에 엄청 테크니컬 하지는 않다. 특히 애널리스트들이 이야기 할 때에면 나는 금융이나 무역쪽 도메인 지식이 부족해서 어렵게 들리기도 하지만, 대략적으로 내가 해온 것들이 어떻게 쓰이고 있는지, 혹은 현재 수작업으로 하고 있는 것들이 추후에 우리 데이터 플랫폼을 통해 어떻게 개선될 수 있을지를 파악하려고 하며 듣는 편이다.

프로젝트 아키텍쳐 디자인/조언

팀 미팅이 끝나고 쉴 새 없이 다음 미팅이 있는 곳으로 향했다. 다른 팀의 데이터 애널리스트, 엔지니어와 함께 프로젝트 아키텍쳐 디자인 한 것을 더 의논하고 컨펌하기 위해서였다. 다른 팀에서 관리하는 소스에서 데이터 플랫폼으로 어떻게 데이터를 ingest 할 지, 어떤 툴을 사용하여 transform하고 어떻게 output을 처리할지, 전체 파이프라인은 어떻게 trigger 할지 장단점과 특정 툴이나 방법을 선택한 정당성을 설명한다. 

해당 팀 엔지니어는 가끔 필요하지 않은데 과하게 컴포넌트를 추가하려고 하는 경향이 있어 (예를들어 storage에 파일을 생성할때 파이프라인을 트리거 하도록 할 수 있는데 굳이 메시지 브로커를 사용하려 한다거나, 어차피 하루에 한번 배치로 처리하면 되는 프로세스 아웃풋을 유저가 pull 하도록 하면 간편한데 굳이 push하려 한다거나, 그렇다고 유지보수나 모니터링이 잘 돼있지도 않다ㅠㅠ) 이를 최소화 하기 위해 설득을 하고, 우리 팀에서 운영하는 부분 만큼은 내가 리드를 할 수 있도록 이야기를 마무리 했다. 프로젝트나 기술적 관점과 경험치가 다른 다른팀과 협업하는 일은 개인적으로 일하면서 제일 힘든 부분이다. 하지만 이런 커뮤니케이션 부분도 일하면서 중요한 부분이기 때문에 열심히 배워나가고 있는 중이다..

analyst와 협업 / 데이터 검증

미팅이 끝난 후 또 다른 애널리스트와의 미팅으로 향한다. 어제 업데이트 하고 PR만 생성해 놓은 코드의 데이터를 함께 검증하기 위해서다.

내가 업데이트 한 데이터의 syntactic한 부분은 내가 검증할 수 있지만, 결국 사용자는 애널리스트와 비지니스 쪽이기 때문에, semantic한 부분의 검증을 위해 중요한 부분은 한번 더 컨펌을 하는 편이다. 애널리스트에게 변경된 코드를 설명해주고, 내가 테스트한 데이터를 보여주고, tableau에서 한번 더 직접 검증할 것을 요청한 뒤, 문제 없다 하여 PR을 병합했다.

점심시간

내리 미팅을 하고 조금 티켓 정리를 하다보니 어느덧 점심 시간이 되었다.

다른 IT팀 팀원들과 함께 점심을 먹으며 주말에 뭐했는지, 브로콜리 수프를 얼마나 좋아하는지, 휴가 계획은 어떤지 등등을 이야기 한다. 점심을 먹은 뒤에는 보통 산책을 가는데, 나는 불편한 신발을 신고 와서 이날은 스킵하기로 한다. 

transformation pipeline 업데이트

드디어 연속적인 미팅에서 해방되고 내 할 일을 할 수 있는 시간이 되었다. 데이터를 transform할 때 업데이트 해야할 로직이 있어 해당 작업을 한다. 생각보다 빨리 끝나 애널리스트에게 작업이 완료됨을 알리고, 업데이트된 로직에 따라 데이터 모니터링 로직도 변경해준다.

매니저와 1:1 미팅

매주 화요일 오후에는 매니저(팀장이자 상사)와 1:1 미팅이 있다. 보통 이렇게 매주 1:1로 미팅이 있는 곳은 매우 드물다고 하니 이렇게 자주 소통할 수 있는 환경에 감사하다. 이 시간에는 얘기하고싶은 것이 있으면 아무것에 대해서나 할 수 있다. 업무 뿐만 아니라 휴가, 인사, 개인적인 부분 아무거나. 이 날은 오전에 다른팀과의 미팅에서 얘기했던 프로젝트에 대해 이야기를 많이 나눴다. 협업하는 부분에 있어 우려가 많이 되지만, 우리가 ownership을 갖고 리드를 해야한다 대충 이런 이야기들이었다. 

새로운 데이터 수집

외부 API를 사용한 새 데이터를 수집하기 위해 파이프라인을 만든다. ingestion, transformation을 거쳐 애널리스트가 접근할 수 있는 데이터베이스에 데이터를 넣는 것 까지 하고, 새로운 데이터라 어느정도 살펴 볼 시간이 필요하기 때문에 우선 애널리스트에게 데이터는 준비됐으니 확인을 해보라고 메시지를 보냈다. 이 작업을 마무리 하니 5시가 되었고 슬슬 퇴근할 준비를 한다.