공학적 관점으로 데이터 분석 프로세스 만들기
💬 이 글의 원문은 당근 테크 블로그에 업로드 된 ‘공학적 관점으로 데이터 분석 프로세스 만들기’ 입니다.
당근 데이터 분석 시리즈 모아보기
당근 팀과 데이터 분석
1주 1개 실험하는 프로덕트 팀이 되는 여정
파워 유저 커브(스마일 커브)
공학적 관점으로 데이터 분석 프로세스 만들기
거래 후기 실험을 통해 따뜻한 거래 경험 만들기
신뢰할 수 있는 지표 만들기
신뢰할 수 있는 지표 만들기 2 : KarrotMetrics 기술편
100+ 팀원의 의사결정에 영향을 주는 Data Scientist, Decision : 실험플랫폼
안녕하세요. 당근마켓 데이터 가치화팀에서 데이터 사이언티스트, 디시전으로 일하고 있는 Theo예요.
당근마켓 데이터 가치화팀은 당근마켓 데이터를 더 가치있게 만들어서 당근마켓 팀원들이 매일 데이터를 통해 사용자를 위한 의사결정을 할 수 있는 것을 목표로 하는 팀이에요.
당근마켓은 매월 1800만 명이 사용하는 서비스로, 매일 동네와 지역 사회에 대한 엄청나게 많은 데이터가 오가고 있어요. 당근마켓은 이 데이터들이 단순한 하나의 숫자에 그치지 않고, 사용자를 위한 의사결정의 근거가 될 수 있도록 많은 노력을 하고 있어요. 그중에서도 당근마켓 데이터 가치화 팀은 사용자들이 서비스를 어떻게 사용하는지, 또 무엇에서 가치를 느끼는지 분석하기 위해 노력하고, 이 분석을 더 쉽게 잘하기 위한 방법들을 고민하고 있어요.
오늘은 그 고민들 중 하나인, 당근마켓에서 공학적 관점으로 데이터 분석을 바라보기를 소개해드리고자 해요.
체계적인 데이터, 체계적이지 못한 데이터 분석
당근마켓에서 데이터 분석 업무를 하면서 몇 가지 문제의식을 가지고 있었어요. 경험적으로 데이터 분석 업무는 대부분 인사이트가 필요한 특정 순간이나 문제가 발생한 순간, 혹은 성장에 대한 도무지 답이 없는 특정 순간에 일회성으로 현상을 파악하거나, 아이디어를 발굴해내는 방식으로 이뤄졌어요.
우리가 흔히 좋은 데이터라고 하는 것은 잘 구조화되고 체계적으로 정리된 정보들을 뜻하는데, 막상 우리의 데이터 분석 업무는 순간순간의 기지에 의해 발휘되는 창의력 작업에 가깝게 진행되고 있다는 문제 의식이 들었어요.
그러다보니 분석 업무의 과정이나 결과물이 분석을 진행한 사람의 개인 역량이나 특정 주제에 대한 관심도, 개인의 도메인 지식, 개인이 분석에 활용할 수 있는 여유 리소스에 따라 너무 많은 편차를 가지고 있다는 생각도 들었어요. 결국 이 편차를 줄이고, 누구나 숨 쉬듯이 매일 같이 분석을 할 수 있어야 서비스와 사용자의 가치가 폭발적으로 증가할 수 있게 될 것이라고 생각했어요.
데이터 분석 업무에도 공학적 사고가 필요하다
당근마켓에서 분석 업무는 1)문제의식을 가지고 2)상황을 관찰하여 3)진짜 문제가 무엇인지 질문하고 4)질문을 바탕으로 가설을 도출하고 5)가설을 바탕으로 솔루션을 도출하는 과정으로 진행돼요.
이 과정은 사실 스타트업의 본질과 크게 다르지 않다고 생각해요. 스타트업 자체가 시장의 문제를 정확히 파악하고 해결하는 업이기 때문이에요. 그래서 당근마켓에 있는 사람이라면 누구나 손쉽게, 비교적 균일한 퀄리티의 분석을 진행하여 결론을 도출할 수 있어야 한다고 생각했어요. 
그리고 이러한 목표를 달성하기 위해서는 데이터 분석 업무에도 공학적 사고를 도입할 필요가 있다고 생각했어요. 공학적 사고란 재생산성, 확장 가능성, 효율성 등을 기본으로 하여 업무가 체계적으로 진행되어야 한다는 것을 의미하고, 이를 위한 모듈화, 기능화, 절차화하는 과정을 의미해요. 분석 업무를 공학적 사고로 접근한다면 우리는 보다 체계적이고 일관적인 방식으로 분석을 진행할 수 있고, 이를 통해 더 큰 가치를 창출할 수 있는, 더 신뢰도 높은 분석을, 더 자주 할 수 있겠다는 기대를 가지게 되었어요.
공학적 사고로 데이터 분석 업무 바라보기
데이터 분석 결과가 하나의 제품(Product)라고 생각하고 분석 과정이 제품을 만드는 과정이라고 생각하면 이 제품을 만들기 위한 일련의 절차와 모듈이 존재한다라고 생각할 수 있어요. 데이터 분석을 위해서 반드시 거쳐야 하는 과정이 있고, 이 각각의 과정은 하나씩 모듈화되어 기능화될 수 있어요.
이것과 가장 비슷한 과정을 거치는 일이 흔히 말하는 PRD와 Tech Spec 이에요. 제품 또는 기술 개발을 해본 적 없는 사람도 PRD와 Tech Spec 양식을 따라가는 것만으로 표준화된 과정을 거쳐서 업무를 진행하여 업무 가시성과 효율성을 챙겨갈 수 있고, 이를 통해 개발 과정의 퀄리티 자체를 전사에서 끌어올릴 수 있어요.
또 다른 예시로는 디자인 시스템도 예시로 들 수 있어요. 가장 창의적인 영역이라고 생각되는 디자인 영역도 디자인 시스템을 통해 모듈화 시키고 표준화하여, 디자인을 잘 모르는 엔지니어와 PM분들도 손쉽게 디자인을 이용하여 제품을 개발할 수 있게 해요. 디자인 시스템 역시도 업무 효율성과 함께 제품 개발 과정의 퀄리티의 하한선을 끌어올릴 수 있어요.
이러한 예시를 살펴보았을 때, 데이터 분석 역시 표준화된 프로세스를 만들고 모듈화시킬 수 있고 이를 통해 데이터 분석을 더욱 체계적으로 만들어낼 수 있다고 생각해요.
공학적 사고로 데이터 분석 업무 개선하기
데이터 분석 업무를 개선하기 위해 할 수 있는 일이 굉장히 많지만 그중에서도 당근마켓 데이터 가치화 팀은 데이터 분석 업무를 프로세스로 만드는 것부터 해보기로 하였어요.
데이터 분석 과정 정의
데이터 분석 업무를 일관된 프로세스로 만들기 위해서는 우선 이상적인 데이터 분석 과정을 정의할 필요가 있어요.
당근마켓 데이터 가치화 팀이 정의한 이상적인 데이터 분석 과정은 다음과 같아요.
문제의식 → 상황파악 → 진짜 문제에 대한 질문 → 가설 도출 → 분석 계획 수립 → 데이터 모델링 → 분석 진행 → 액션플랜 도출
1. 문제의식
모든 분석의 시작은 ‘지금 어떠한 문제를 겪고 있다’, ‘지금 어떠한 것 때문에 힘든 상황이다’와 같은 문제의식에서 출발해요. 문제의식이 뾰족하지 않은 분석은 결국엔 해도 좋고, 안해도 좋고에 그칠 가능성이 높아요. 우리가 불편을 느끼는 부분에서 우리의 행동 의지가 발생하기에 문제의식은 매우 중요해요.
2. 상황파악
내가 생각한 문제가 현재 얼마나 문제인지 살펴봐요. 살펴보는 과정은 숫자로 이루어진 어떤 데이터를 탐색할 수도 있고, 사용자를 직접 인터뷰해서 얻어낼 수도 있어요. 방법이 무엇이 됐건, 중요한 것은 정말로 문제가 실재하느냐를 알아내는 것이고, 실제로 문제가 존재한다는 것을 공감시킬 수 있어야 다음 분석 과정으로 넘어갈 수 있어요.
3. 진짜 문제에 대한 질문
우리가 생각한 문제의 진짜 본질이 무엇인지 다시 한 번 질문해요. 예를 들어, DAU가 감소하고 있다는 문제의식은 표면적으로는 활성 사용자가 감소하고 있는 문제를 의미해요. 하지만 한 번 더 생각해보면, 우리가 비즈니스적으로 레버리지해야할 트래픽이 준다는 것이 문제라는건지, 컨텐츠 생산에 필요한 참여자의 감소가 문제라는건지 등 여러 질문이 나올 수 있어요. 우리가 풀어야하는 진짜 문제를 찾아야 제대로 된 분석과 행동을 취할 수 있어요.
4. 가설 도출
두루뭉술한 가설은 ‘이것도 봐보고, 저것도 봐보고’ 와 같은 발산식 과정을 가져올 가능성이 커요. 분석을 통해 불가능한 가능성들을 소거하고, 뚜렷한 가능성 하나를 향해 수렴하기를 기대해요.
5. 분석 계획 수립
많은 분석 업무들이 이 방법도 써보고, 저 방법도 써보고, 이 데이터도 써보고, 저 데이터도 써보는 과정을 거쳐요. 명확하지 않은 문제와 가설로 인해 잘 맞지 않는 방법론을 쓰게 되기도 하고, 내가 잘 써보지 않은 방법론을 선택함으로써 많은 시행착오를 겪기도 해요. 사전에 분석 계획을 수립하고 검토하여 실제 분석 과정에 진입하여서는 최대한 단순하면서도 간결한 분석 과정이 진행될 수 있게해요.
6. 데이터 모델링
분석 업무의 많은 부분이 데이터를 분석에 알맞은 방식으로 전처리하는 과정이에요. 이 과정 역시도 분석 업무에 들어가기 이전에 내가 필요로 하는 데이터 모델링을 계획하고, 이를 토대로 미리 데이터를 구조화함으로써 실제 분석 과정에 소모되는 리소스와 시행착오를 줄여요. 또한 이 과정을 가급적 코드로 진행하고 모듈화하여 데이터의 재생산성과 협업 가능성을 개선해요.
7. 분석 진행
앞선 과정들이 잘 진행되었다면, 분석 과정 자체는 간결하고 기계적인 업무가 될 것이라고 기대해요. 분석 결과의 의미를 추론하는데 더 많은 시간을 보내고, 이 결과를 여러 이해관계자와 공유하며 더 나은 해석을 추론하는데 많은 시간을 쓸 수 있게끔 해요.
8. 액션플랜 도출
기능 개발이 되었든, 의사결정이 되었든 어떠한 행동으로 이어지지 않은 분석은 그 의미를 가지지 못한다고 생각해요. 따라서 분석 과정에서 반드시 액션플랜을 포함시켜요. 앞선 문제정의와 계획이 충분히 잘 정의되었다면 액션플랜 역시 자연스럽게 따라올 것이라고 기대해요.
이와 같은 데이터 분석 과정은 현재 기준에서 당근마켓 데이터 가치화 팀이 이상적이라고 생각하는 과정이에요. 당근마켓의 상황과 시장의 트렌드가 바뀌면 과정 역시 언제든 바뀔 수 있다고 생각해요.
표준화된 자산으로 만들기
정의한 데이터 분석 과정을 누구나 생각없이 따라갈 수 있는 템플릿으로 만들어요. 템플릿은 과정을 잘 따라올 수 있게 하는 유용한 도구로서, 당근마켓 구성원 모두가 이 템플릿을 따라 작성하는 것만으로 더 효율적이고 임팩트 있는 데이터 분석 업무를 진행할 수 있으리라 기대해요.
뿐만 아니라 템플릿에 의해 만들어진 데이터 분석 문서들은 당근마켓에서 가장 귀중한 지적 자산이 되어요. 당근마켓 데이터 가치화 팀은 분석 문서 하나하나를 각각의 논문처럼 여기고 있어요. 잘 다듬어진 프로세스 내에서 만들어진 분석 과정과 결과이기에 당근마켓 내에서 가장 신뢰할 수 있는 자료로 여겨지고, 미래의 분석은 이 분석 문서들을 레퍼런스로 삼아 창조되기를 기대하고 있어요.
분석 문서들을 통해 당근마켓 구성원들이 과거와 현재의 구성원들이 고민한 문제와 그를 해결하기 위한 사고방식을 체계화된 방식으로 습득하고, 더 이상 휴먼 레거시에 의존하지 않고 신규입사자도 기존 구성원도 모두 같은 지적 자산을 공유할 수 있기를 기대해요.
체계적인 리뷰 시스템 만들기
아무리 프로세스를 따라 만들어진 분석이라 하더라도, 다양성 측면에서 여러 사람의 관점과 생각을 반영하는 것은 더 높은 가치의 분석으로 이어져요. 따라서, 분석 프로세스의 모든 과정마다 분석에 관련된 이해관계자와 다른 데이터 분석가들의 충분한 리뷰를 거칠 수 있도록 시스템을 만들어요. 당근마켓 데이터 가치화 팀은 분석 업무를 위해 지라 티켓을 만들면 하위 티켓으로 각각의 과정에 대한 티켓과 그것에 대한 리뷰 티켓을 생성해요.
리뷰 티켓의 담당자가 지정되면 슬랙을 통해 자동으로 리뷰 담당자에게 알람이 가요. 불특정 다수가 리뷰에 지정되어 애매하게 티켓이 열려있기보다는, 최소 한 명을 리뷰어로 지정하여 적정한 수준의 책임과 데드라인을 정하여 원활한 리뷰가 진행될 수 있게 해요.
리뷰 과정 시에는 가급적 git을 이용한 코드리뷰 및 협업을 지향하고 있고, 문서로만 가능한 리뷰는 여러 채널에 흩어져서 휘발되지 않게 한 문서에 통합하여 관리해요.
우리의 데이터 분석은 얼마나 좋아졌을까
데이터 가치화 팀이 가야할 길은 아직 많이 남았어요. 데이터 분석 업무를 위해 필요한 여러 기능도 다양하게 기능화 시켜야하고, 데이터 분석 업무에 필요한 데이터도 더 잘 구조화해서 모듈화해 놓아야 해요. 다양한 방법론과 프레임워크도 잘 구조화하여 누구나 쓸 수 있는 형태로 만들어두는 일도 필요해요.
그럼에도 불구하고, 데이터 분석 업무를 프로세스로 만든 것만으로도 데이터 가치화 팀의 데이터 분석 업무의 효율과 생산성은 크게 개선되었어요. 지난 분기 분석 프로세스를 통해 업무를 진행하면서 분석 프로젝트 당 소요되던 시간을 50% 이상 감소시킬 수 있었고 (평균 2주 → 1주), 그 중 실제 액션플랜으로 이어진 분석도 2배 이상 증가하였어요. 아직 분석 결과가 레퍼런스로 쓰인 추가 분석이나 기능 개발에 대해서는 확인할 수 없었지만, 이 역시 개선되었으리라 기대하고 있어요.
그리고 무엇보다도, 이러한 노력들을 통해 당근마켓에서 함께 데이터 분석을 진행할 모든 분들이 더 쉽고 빠르게 데이터 분석을 할 수 있는 가능성을 발견했다는 점에서 큰 의미가 되었어요. 당근마켓 데이터 사이언티스트, 디시전은 데이터가 더 가치 있게 활용되어 사용자를 위한 의사결정으로 이어질 수 있는 모든 일에 관심을 가지고 있어요.
당근마켓의 데이터 가치화 여정에 관심이 생기셨다면, 채용 공고에 함께해주세요!
Data Scientist, Decision | 당근 채용


A 대시보드와 B 대시보드에 있는 지표 값이 다른데 어떤 값을 봐야 하나요?

신뢰할 수 있는 지표 만들기

conversion_type

시리즈 내 순서

conversion_text

멤버 전용

대표 이미지

공개 가능

작성일

예상 읽기 시간

전환 텍스트

글쓴이

시리즈

상단 노출

전환 유형

요약

제목

당근마켓의 파워 유저 커브는 어떤 모양을 그릴까?

파워 유저 커브(스마일 커브)

체계적인 데이터, 체계적이지 못한 데이터 분석

데이터 분석 업무에도 공학적 사고가 필요하다

공학적 사고로 데이터 분석 업무 바라보기

공학적 사고로 데이터 분석 업무 개선하기

우리의 데이터 분석은 얼마나 좋아졌을까

분석 프로세스 덕분에 프로젝트 당 소요되던 시간을 50% 이상 감소시킬 수 있었고, 그 중 실제 액션플랜으로 이어진 분석도 2배 이상 증가했어요.

공학적 관점으로 데이터 분석 프로세스 만들기

Contents

함께 읽어보면 좋은 글

리텐션 (1) Classic Retention

푸시 메시지 타이밍 찾기

매출 분석 (3) LTV(고객 생애 가치), LTR(고객 생애 매출) 왜 필요하고 어떻게 계산할까?

데이터 분석 소식을
한 달에 한 번 받아보세요