토스페이먼츠 Data Engineering Team을 소개합니다!
Data Engineering Team에 대해 꼭 알려드리고 싶은 정보를 담아보았어요.
지속적으로 업데이트 될 예정이니 많은 관심 부탁드려요! (last updated: 23.05.16)
Table of Contents
토스페이먼츠 Data Engineering Team 소개
목표•
정확한 답을 줄 수 있는 데이터를 제공해요.
•
누구나 쉽게 데이터를 활용하는 환경을 만들어요.
•
효율적이고 가용성 높은 인프라를 구축하고 운영해요.
액션 아이템•
데이터를 분석하고 활용할 수 있는 플랫폼을 구축해요.
•
데이터를 관리(데이터 확인, 기능, 구현, 정제, 운영, 데이터 설명)해요.
•
데이터 제품(솔루션)을 개발해요.
자주묻는 질문 소개
적재된 데이터란 무엇일까요? 데이터 팀은 최근 어떤 일을 담당했을까요? 직무 간 담당하는 업무에는 어떤 차이가 있나요? 토스페이먼츠 Data Engineering Team에는 어떤 분들이 모여있나요?
토스페이먼츠 Data Engineering Team 구성원
토스페이먼츠의 Data Engineering Team은 다음과 같은 포지션으로 구성되어 있어요.
•
분석가와 밀접하게 협업하며 데이터 활용을 위한 추출, 마트/지표 설계, 모델링, 시각화 작업을 해요.
•
DB 논리 모델을 검수하고, Data Quality를 책임져요.
•
제품을 이해하고 제품에 필요한 데이터 활용 방안을 제시하고 실현해요.
•
토스페이먼츠의 전사 데이터를 자체 개발한 빅데이터 플랫폼에서 처리할 수 있도록 여러가지 데이터 도구를 구현해요.
•
누구나 쉽게 데이터를 활용할 수 있는 환경을 제공하기 위해 인프라를 개선하고 업무를 자동화해요.
•
데이터 활용을 위한 도구를 개발하고 운영해요.
•
안정적이고 효율적인 데이터 파이프라인(입수/적재/스트리밍)을 개발하고 운영해요.
•
대용량 실시간 데이터를 수집하고 활용하기 위한 기반을 만들어요.
•
데이터 분석 및 플랫폼 운영을 위한 다양한 데이터 어플리케이션을 개발해요.
•
동료들의 안정적이고 효율적인 데이터 분석 환경을 지원해요.
Data Architect
•
토스페이먼츠가 데이터를 정말 잘 쓰는 기업으로 발전하는데 필요한 모든 데이터 정합성의 의사결정 권한을 가져요
•
논리/물리 모델링(ERD)를 통해 효율적인 데이터 분석, 내부 서비스 제품간 데이터를 일관성 있게 활용 할 수 있는 구조를 설계해요.
•
전사 데이터 거버넌스와 데이터 보안, 제품을 위한 전략적 데이터 요구 사항을 해결해요.
•
데이터의 Lifecycle(생성, 수정, 삭제)을 관리하고 제품 변화를 DW까지 자연스럽게 연결해 제품과 데이터의 흐름을 맞춰요.
현업자가 말하는 토스페이먼츠
토스페이먼츠 Data Engineering Team에 합류하게 된 배경은 무엇인가요?
: 토스페이먼츠는 방대한 결제 트랜잭션을 중계하는 데이터의 허브일 거라고 생각했어요.
제가 가지고 있는 데이터 역량으로 사용자의 실생활을 책임지는 데이터 프로덕트를 만들고, 관리 체계를 설계하고 구현하고 싶었어요. 토스의 문화를 경험 하면서, 멋진 일을 할 수 있다는 가장 큰 매력입니다.: B2B 데이터이면서 묘하게 B2C스러운, 다양한 데이터를 경험하고 싶었어요.
직무 인터뷰 때, 면접 시간이 짧게 느껴져 아쉬울 만큼 재밌었어요. 이렇게 함께 고민하고 이야기를 나눌 수 있는 환경에서 일하고 싶다는 생각이 들어 첫 인터뷰를 마치고 2차 인터뷰를 보기도 전에 언제 출근하면 되는지 물어봤어요
한 팀원은 게임사 한 곳에서만 일 하다가 이직 하셨어요. 안정적인 데이터 환경에서 해야 할 일이 정해져 있다 보니 새로운 데이터나 업무를 접해보고 싶었다고 해요. 토스커뮤니티 가운데 토스페이먼츠를 선택한 건 이곳 저곳 비교하며 저렴하게 온라인 쇼핑을 하는 게 취미인 자신의 일상과 가장 가깝다고 느껴서라고 해요.토스페이먼츠 Data Engineering Team에서 근무하며 가장 만족스러운 건 무엇인가요?
: 팀원 사이의 깊은 신뢰를 바탕으로 스스로 판단하고 내 생각을 구현할 수 있다는 거예요.
팀원들과의 긴밀한 대화를 통해 빠르게 데이터 제품을 만들고, 개선하는 경험을 할 수 있어 너무 만족스러워요. 동료를 위해 기꺼이 자신의 지식을 나누는 팀원과 함께하는 과정을 통해 재미는 물론이고, 스스로를 한 번 더 돌아볼 수 있어요. 제가 만나본 최고의 팀이라고 자부할 수 있어요. : 비즈니스 측면에서의 장점은 다양한 데이터를 볼 수 있고 데이터로 할 수 있는 모든 일을 할 수 있다는 것이에요.
토스페이먼츠는 토스의 유일한 B2B 사업인데요, 다른 기업과 비교해 특별한 부분은 결제한 고객과 가맹점 대표와 담당자의 정보 같은 B2C스러운 데이터를 다룰 수 있다는 점이에요.
저희는 오랫동안 축적한 데이터와 함께 새로 만들어지는 데이터를 다루고 있습니다. 이로 인해 데이터로 할 수 있는 모든 일을 하고 있는 것 같아요. 다양한 DB를 직접 보고, DQ 작업과 관련한 세세한 케이스까지 확인해요. 심지어 정보처리기사 시험에서나 봤을 다양한 정규화 유형에 대해서도 생각해 보게 됩니다. 개발자분들과 친밀하게 일하기 때문에 다양한 입장에서 모델링에 대해 고민하고 있습니다 토스페이먼츠 Data Engineering Team에 함께하고 싶은 사람은 어떤 사람일까요?
: 데이터와 팀을 사랑하는 분과 함께하고 싶어요.
직무 지식과 데이터 제품에 대한 호기심 그리고 열정이 있는 분이면 대환영이에요. 특히 말보다 행동으로 자신의 실전 경험을 팀에 녹일 수 있는 분이면 최고라고 생각해요. 저희 팀원들은 한 목표를 바라 보며 누군가 어려움에 빠졌을 때 불쑥 튀어나와 도와주는 열정이 가득한데요, ‘어? 나도 그런데?’ 라고 생각하는 분이 있다면, 과감하게 지원하세요! 실력 있는 팀원과 내가 가진 경험과 지식을 공유하며 함께 성장하는 게 뭔지 느낄 수 있어요.
마지막으로, 자신의 주장만 일방적으로 내세우기보다는 팀원들과 빠르게 논의하고 검증하는 과정의 필요성을 아는 분이라면, 토스페이먼츠와 더할 나위 없이 잘 어울린다고 생각해요. : 물음표를 갖고 일하는 사람이요!
누가 시키는 대로, 누가 필요하다고 해서 하는 게 아니라 항상 ‘왜? 어떻게?’ 라는 질문을 갖고 일하는 분이 오시면 재미있으실 거예요. 특히 Data Engineer(Analytics/BI)에게 중요한 건 이해도와 커뮤니케이션 부분인데요, 다양한 직군과 팀의 업무를 함께 하기 때문에 처음 접하는 업무나 시스템에 대한 이해도가 좋아야 해요. 또 커뮤니케이션 능력도 필요합니다. 개발 전문가만큼 기술적인 능력이 뛰어나지는 않아도 되지만, 이 기술 기반으로 만든 시스템을 이해하기 위해서는 다양한 경험이 필요해요! 나만의 강점이 있고, 다양한 부분에 열정과 호기심을 갖고 계신 분을 언제나 환영합니다.토스페이먼츠 Data Engineering Team의 팀 문화를 소개해주세요.
: 데이터를 온 회사에 흐르게 하는 토스페이먼츠의 ‘심장’ 같은 팀이에요.
팀원 모두가 이런 목표를 가지고 일 하고 있어요. 토스페이먼츠 고객의 성공을 위해 큰 규모의 빅데이터 처리 플랫폼을 만들고, 원하는 시점에 원하는 형태로 데이터를 제공합니다. 토스페이먼츠 팀원들이 원하는 형태로 데이터를 가공하고 시각화하는 과정까지 함께 합니다. 데이터에 관한 여러 난제를 높은 책임감과 실력으로 해결하고 있어요. : 각자 업무에 최선을 다하면서도 서로 조율하며 최고의 팀워크를 발휘해요
매주 한 번 위클리를 통해 서로 진행 중인 프로젝트의 상황과 수행해온 업무에 대해 이야기를 나눠요. 특히 이번 분기부터 Data Engineer(Analytics)들은 주 1회 DW DAY를 계획하고 있는데요! DW DAY에는 서로 집중하고 싶은 업무와 점검이 필요하다고 생각하는 일을 공유할 거예요. 지금 시장에서 정확하게 정해진 기준이 없는 DW 엔지니어의 기준을 저희가 만드는 미래를 꿈꾸며 DW DAY를 진행할 예정이에요.토스페이먼츠 Data Engineering Team에 합류하면 어떤 기회를 만날 수 있을까요?
: 성장과 도전을 돕는 동료와 일하며 성장의 가속도를 체감할 수 있어요.
데이터 팀에는 빅데이터 에코 시스템과 관련한 오랜 실전 경험을 가진 팀원, 많은 도구를 놀라운 속도로 다루는 멋진 팀원이 있어요. 그래서 성장과 도전을 원할 때, 최고의 동료들이 주변에서 지원해줄 수 있어요. 또 자동화가 일상이 된 팀의 문화도 경험할 수 있습니다. 과감한 도전이 두렵지 않고, 성장 과정에서 벽을 만난 것 같다면 토스페이먼츠 Data Engineering Team에서 한 단계 더 성장할 수 있어요. : 결제 산업에 대한 최고의 이해도를 쌓을 수 있어요.
요즘 저희는 사람이 해야 할 일과 사람이 하지 않고 처리할 수 있는 일에 대해 고민하고 있어요. 최저가 상품을 손쉽게 찾는 방법 같은 재밌는 일도 할 수 있다고 해요. 이런 과정에서 하나의 기술에 얽매이지 않고, 다양한 기술을 접할 수도 있어요!토스페이먼츠 Data Engineering Team에서 사용하는 기술
Data Engineer
중요도 | 사용빈도 | |
Python(w/ web) | 상 | |
SQL | 상 | |
Kubernetes | 중 | |
Spark | 중 | |
Frontend | 하 | |
Java/Scala | 중 | |
Data Engineer (Analytics/BI)
중요도 | 사용빈도 | |
SQL(Presto, MySQL) | 상 | |
Data Modeling | 상 | |
jenkins | 중 | |
Python | 중 | |
Tableau | 중 | |
Data Engineer (Platform)
중요도 | 사용빈도 | |
Spark | 상 | |
Trino/Presto | 상 | |
AWS environment | 중 | |
Kafka | 상 | |
Kubernetes | 상 | |
Linkedin-Datahub | 하 | |
Python | 하 | |
jenkins | 중 | |
Apache ranger | 하 | |