하마일기

 Day 2 화요일 화요일 목요일은 유일하게 사무실에 출근하는 날들이라 평소보다 미팅이 많이 잡힐 때가 많다. 오전 8시 반쯤 사무실에 도착해 메일과 모니터링을 체크하고, 팀 미팅을 하기 전 논의할 것이 있는지 점검한다. 팀내 업데이트 화요일 아침 9시는 주간 팀 미팅으로 시작한다. 우리 팀은 데이터 엔지니어인 나와 data scientist, data analyst, market analyst, 그리고 매니저로 구성되어 있다. 각자 일주일동안 무엇을 했는지를 공유하면서 다른 팀이나 이사진들과 있었던 중요한 이야기나 조금 더 장기적인 비전 혹은 목표에 대한 이야기도 오가기 때문에 엄청 테크니컬 하지는 않다. 특히 애널리스트들이 이야기 할 때에면 나는 금융이나 무역쪽 도메인 지식이 부족해서 어렵게 들리기도 하지만, 대략적으로 내가 해온 것들이 어떻게 쓰이고 있는지, 혹은 현재 수작업으로 하고 있는 것들이 추후에 우리 데이터 플랫폼을 통해 어떻게 개선될 수 있을지를 파악하려고 하며 듣는 편이다. 프로젝트 아키텍쳐 디자인/조언 팀 미팅이 끝나고 쉴 새 없이 다음 미팅이 있는 곳으로 향했다. 다른 팀의 데이터 애널리스트, 엔지니어와 함께 프로젝트 아키텍쳐 디자인 한 것을 더 의논하고 컨펌하기 위해서였다. 다른 팀에서 관리하는 소스에서 데이터 플랫폼으로 어떻게 데이터를 ingest 할 지, 어떤 툴을 사용하여 transform하고 어떻게 output을 처리할지, 전체 파이프라인은 어떻게 trigger 할지 장단점과 특정 툴이나 방법을 선택한 정당성을 설명한다.  해당 팀 엔지니어는 가끔 필요하지 않은데 과하게 컴포넌트를 추가하려고 하는 경향이 있어 (예를들어 storage에 파일을 생성할때 파이프라인을 트리거 하도록 할 수 있는데 굳이 메시지 브로커를 사용하려 한다거나, 어차피 하루에 한번 배치로 처리하면 되는 프로세스 아웃풋을 유저가 pull 하도록 하면 간편한데 굳이 push하려 한다거나, 그렇다고 유지보수나 모니터링이 잘 돼있지도 않다ㅠㅠ) 이를 ...

나는 현재 네덜란드의 한 무역회사에서 데이터 엔지니어로 일을 하고 있다.  데이터 엔지니어링이라는 직무가 사실 생긴지 얼마 되지 않아 회사마다 정의하는 방식이 다르기도 하고, 다루는 업무도 천차만별이다. 우리 회사의 경우 데이터 팀이 생긴지도 얼마 되지 않아 규모가 작지만, data-driven 조직이 되기 위한 목표와 전략이 명확하고, 회사 서포트도 빵빵하고, 각기 다른 데이터 관련 직무(데이터 엔지니어, 사이언티스트, 애널리스트)와 역할 분담이 나름 체계적으로 구성되어 있는 편이다. 데이터 엔지니어가 이론적으로 어떤 일을 하는지는 이미 잘 쓰여진 글들이 많으니 생략하고, 일주일 동안 내가 데이터 엔지니어로서 어떤 일을 하고 있는지를 하루 하루 기록해볼까 한다. 이번주를 예시로 Day1 - Day5까지 작성을 해보려고 한다.  참고로 이를 작성하고 있는 이번주는 시기적으로 바쁜 프로젝트가 끝나고 새로운 프로젝트가 오기 전이라 비교적 한가한 시기에 속한다. Day 1 월요일 이메일/모니터링 확인 월요일, 오늘은 재택근무를 하는 날이다. 9시쯤 책상에 앉아 이메일을 확인한다. 다행히 플랫폼이나 데이터 관련 모니터링에 알람이 온 것은 없다. data scientist와 협업 시차가 있는 아시아 지사에서 일하는 데이터 사이언티스트가 머신러닝 모델 아웃풋 스키마 변경 작업이 끝났다는 이메일이 왔다. 저번주에 이 분이 머신러닝 모델 아웃풋을 보내왔는데 이미 스키마 변경을 두번이나 했고 추후에 또 바뀔 여지가 있었다. 스키마를 변경하게 되면 ML framework 쪽 뿐만 아니라 아웃풋을 처리하는 파이프라인도 계속 스키마를 업데이트 해줘야 하기 때문에, 더 static 하게 관리할 수 있도록 다른 스키마를 제안했고, 해당 작업이 끝났다고 알려온 것이다.  나는 칸반보드에 이 테이블에 의존하는 다른 파이프라인을 업데이트 하도록 티켓을 생성했다. 스크럼 9시 반에는 매니저와 스크럼 미팅이 있어, 지난주 금요일에 한 일을 업데이트 하고, 오늘 무엇을 ...

지난 포스팅 에서는 네덜란드에서의 일하는 모습은 어떤지 좋은점을 위주로 작성을 해봤다. 이번 포스팅에서는 아쉬운 점들에 대해 적어보려고 한다. 물론 매우 개인적인 견해이기 때문에 이렇게 느끼지 않거나, 이것들이 단점이 아니라 생각하는 사람들도 있겠지만, 네덜란드에서 일하는 것을 고려하고 있다면 알고 있는 것이 좋다고 생각한다. 천하태평 마인드셋 워라밸 좋은 것과 약간 트레이드오프가 있는 부분이다. 기본적으로 일에 대한 압박감이 있는 한국이나 업무 환경 자체가 경쟁적인 미국에 비해 네덜란드를 비롯한 유럽 회사들은 대부분 굉장히 chill하다. 덕분에 개인 삶이 존중되고, 휴가도 마음껏 쓰고 하는 것이겠지만, 가끔은 이 부분이 본인이 해야할 일을 제대로 해내지 않거나 책임감 없는 모습으로 이어지기 때문에 답답하고 짜증이 날 때가 있다. 나의 경우 유럽연합에 속한 국적이 아닌 외국인이라 계약서 작성 후 워크 비자를 신청해야 하는데 (보통 회사에서 알아서 해준다), 입사일 1주일 전까지도 비자에 관한 아무런 연락이 없길래 불안해서 문의를 했다. 그랬더니 아니나 다를까, 인사 담당자가 당시에 휴가중이었는데 인수 인계가 잘 안돼서 비자 신청 하는 것을 까먹었다는 것이다. 게다가 이 천하태평함은 공무원에도 적용되기 때문에 비자 신청하고 나오기까지는 한참이 걸린다. 회사에서는 엄청 미안해하며 비자가 아무래도 제때 나오지 않을 것이기 때문에 첫 월급을 두번째 달에 같이 줘도 되겠냐 하고 말을 하는데 나는 그냥 이렇게 중요한 문제가 제때 처리되지 못했다는 사실이 너무 화가 났다. 다행히 IND(네덜란드 이민국) 측에서 사정을 봐 줬는지 입사일 부터 비자가 유효하게 나오긴 했지만, 8월15일 입사한 나는 10월 말이 되어서야 새 거주증을 받아볼 수 있었다.  내가 운이 안좋았던가 라고 생각을 했지만, 비슷한 문제는 여기저기서 찾아볼 수 있었다. 다른 유럽 국가에서 온 내 동료 중 한명은 세금 감면 (30% ruling) 을 위한 어떤 절차가 필요해 인사팀에 이것저것 문의를...

세계 최대 규모의 튤립 축제가 열린다는 Keukenhof 에 올해 드디어 다녀왔다. 보통 3월 말에서 5월 초, 중순까지 축제가 열리는데, 너무 일찍 가면 꽃이 아직 피지 않아 봉오리만 보게 되고, 너무 늦게가면 꽃이 다 시들어 버리는 수가 있으니 최대로 즐기고 싶다면 시기를 잘 맞춰서 가는 것도 중요하겠다. 내가 갔던 날은 4월 22일, 나름 젤 만개한 피크 타임이었다. 전날 플라워 퍼레이드가 있었는데 나는 플라워 퍼레이드는 못봤지만 여전히 사람이 바글바글했다. 매진됐던 전날은 얼마나 사람이 많았던걸까.. 공원에 튤립들이 전시되어 있는 형태인데 꽤나 크기 때문에 한참 걸었던 것 같다.  안쪽으로 들어가다보면 이렇게 운치있게 나무와 호수를 배경삼아 튤립을 심어놓은 곳도 있고, 네덜란드를 테마로 나막신과 풍차를 활용해 아기자기하게 꾸며 놓은 곳도 있었다. 보트를 탈 수 있는 곳도 있는데 물론 티켓은 따로 구입해야한다. 그리고 그 보트타는 개울을 너머서는 거대한 튤립밭이 있는 것을 볼 수 있었는데 이곳은 축제 구역 밖이었다는 점. 풍차 전망대에도 올라갈 수 있었으나 뷰가 아주 좋지는 않았고 바람이 많이 불어 해가 저렇게 쨍쨍한데도 혼자 추워서 벌벌 떨고 있었다. 나는 개인적으로 결론부터 말하자면 튤립은 예뻤지만 축제는 조금 실망스러웠다.  튤립으로 하나의 아트를 구성한게 아닌, 서로 다른 튤립 회사들이 각자 자기 튤립들 홍보하기 급급하여 너무 따로 노는 느낌이 들었달까. 걸어도 걸어도 비슷한 튤립들이 비슷하게 전시되어 있어 입장료 값을 못하는 것 같아 조금 아쉬웠다..  남자친구도 거대한 튤립 밭이 있거나 한 것을 예상했는데 그렇지 못해 실망스럽다고 했다. 정작 거대한 밭은 축제장 밖에, 그리고 오는길에 있었으니.. 하지만 좋은 경험이었고, 다음부턴 꽃구경은 가까운데서 하는 걸로!ㅎㅎ 티켓 예매하기 keukenhof 웹사이트에서 티켓을 구매할 수 있다. https://keukenhof.nl/en  특히 플라워 퍼레이드가 있는 날은...

작년 여름, 네덜란드에서 학부를 무사히 졸업 하고 8월부터 데이터 엔지니어로 일을 시작했다.  학생 시절 한국에 있는 스타트업에서 첫 인턴은 약 7개월, 두번째는  방학때는 풀타임, 학기중에는  원격 파트타임으로 3년 이상 일한 경험이 있다. 두 회사 다 IT 스타트업이었기에 자유로운 분위기에 빠르게 성장할 수 있는 감사한 시간이었고 매우 만족하며 근무를 했었다.  하지만 네덜란드 회사를 다니다 보니 역시 워라밸이나 기업 문화에 있어서는 비교가 되지 않는 부분들이 있고, 다시 한국가면 숨이 막혀서 일을 할 수 있을까 싶기도 하다. 물론 장점만 있는 것은 아니고 네덜란드에서도 단점이나 답답한 부분들도 많이 있다. 어딜 가나 완벽한 곳은 없으니. 본인 성향에 따라 어디가 더 잘 맞을지를 결정하는 것이 좋다고 생각하고, 나는 그저 다른 문화를 경험할 수 있음에 감사할 따름이다. 네덜란드 회사  내가 현재 일하고 있는 회사는 (본사기준) 90% 이상 네덜란드인으로 구성된 네덜란드 회사이지만 전세계에 지사를 두고 있기 때문에 영어만 사용하는 데에도 전혀 불편함이 없다.  출근시간은 보통 9-5시 이지만 조금 일찍 혹은 늦게 출근, 퇴근해도 전혀 눈치가 보이지 않는다.  보통은 주 40시간 근무를 하지만, 동료 중에 주 36시간으로 계약을 해서 금요일에는 오전만 일을 하는 사람도 있다. 출근 복장은 완전 자유는 아니고 business casual 인데, 남자 직원들은 보통 수트를 차려입지만 청바지에 셔츠 정도도 괜찮은 분위기이고 (무역 회사라 특히 trader들은 꼭 수트를 차려입는다), 여자 직원들은 원피스나 블라우스에 치마나 바지를 입는 것 같다. 금요일은 캐주얼하게 입어도 된다 해서 다들 티셔츠에 바지를 막 입고 오는 모습을 볼 수 있다. 사실 아주 자유로운 분위기의 IT 스타트업에만 있었던 나는 이 점이 매우 적응이 되지 않았지만, 요즘에는 주 2회만 출근, 나머지는 재택을 하고 있어서 부담이 많이 덜어...

한국어 블로그를 개설했다! 본래 있던 영어 기술 블로그 글을 끄적이다가 뭔가 글도 잘 안써지고 답답함에 충동적으로 마음껏 글을 쓸 수 있는 블로그를 개설하게 됐다. 내 일상, 일, 취미 아무거나 모든것을 포스팅 해볼까 한다. 얼마나 자주 포스팅 할 수 있을지 모르겠지만,  열심히 기록을 하다보면 나중에 잘했다 싶겠지!