안녕하세요, 토스뱅크 Data Analyst 김경민입니다.<a href="https://datarian.io/blog/data-analysts-thinking-about-strategy-and-direction-for-data-products" target="_blank">지난 글</a>에서 토스뱅크 Data Analyst가 어떤 커리어 목표를 가지고 어떻게 업무하고 있는지에 대해 소개해드렸는데요, 이번 글에서는 실제 임팩트가 있었던 프로젝트에 대해 소개드리려 해요. 프로젝트의 A부터 Z까지를 담아보았으니 실제 토스뱅크에 Data Analyst로 합류하시면 어떻게 업무 하는지를 상상하실 수 있을 거에요.저는 현재 Personal loan Squad라고 부르는 개인대출 스쿼드에서 Data Analyst로 근무하고 있어요. 주로 스쿼드의 상품 혹은 서비스 출시부터 운영의 과정에서 필요한 데이터 분석을 하고, 지표 개선이나 사용자 경험 개선을 위한 실험 분석도 맡고 있습니다.이번 아티클에서는 개인대출 스쿼드에서 진행한 ‘매달 이자만 갚기 상품* 퍼널에 튜토리얼 추가하여 실행률 높이기’ 실험에 대해 소개해드릴게요. *‘매달 이자만 갚기’란 원리금균등 분할상환방식의 대출을 보유한 고객에게 만기일시 상환방식의 대출로 갈아탈 수 있도록 한 상품이에요. 매달 원금과 이자를 내는 것이 부담스러운 고객에게 상환 부담을 덜어주기 위해 출시한 상품으로, 해당 상품으로 갈아타면 매달 이자만 내고 만기일자에 원금을 상환할 수 있어 부담을 덜 수 있어요. 경제적인 부담을 겪는 고객들을 배려하는 배경에서 출시하게 되었어요.<h1 id="290fad0a26b84bd99ede7a8c9a99a25c">문제정의</h1>대출 상품을 분석할 때는 1️⃣ 심사율(진입 → 심사), 2️⃣ 승인율, 3️⃣ 실행률을 주요 지표로 확인하고 문제를 정의합니다.예를 들어<ol><li>심사율의 경우, 퍼널 이탈률을 확인하거나 진입 과정에서 문제가 있는 것은 아닌지(서버 이슈로 인해 유입이 되지 않는 경우는 없는지) 파악해요.</li><li>승인율의 경우, Product Owner, Product Manager, Risk Manager와 의도한 대로 승인/거절이 되고 있는지 등 승인기준이 합당한 지에 대해 논의해요.</li><li>실행률의 경우, 퍼널 이탈율 지표를 확인하고 설문조사 등을 통해 조건 불만족에 의한 이탈인지 혹은 퍼널 문제인지에 대한 원인을 파악해요.</li></ol>문제가 있다고 판단되는 지점이 있다면 1차적으로 데이터를 통해 현황을 파악하고, PO, PD와 문제 정의 및 해결방안을 논의합니다.<h1 id="62cd5742393c4c1991e6e8433cde7df7">문제 발굴</h1>‘매달 이자만 갚기’ 서비스를 오픈한 시점에는 진입부터 실행까지 <code>10% 이상</code>의 전환율을 기대했어요. 신용도가 낮은 고객에게 선오픈했기 때문에 승인율이 낮을 것을 감안한 수치였죠. 하지만 오픈 첫날, 진입부터 실행까지의 전환율은 <code>단 2%</code>였어요. 심사율과 승인율이 낮은 것이 가장 큰 원인이었어요.우리는 여기서 문제를 발굴하기 시작했어요.<blockquote>왜 심사단계까지 가지 않는 걸까? 왜 대출이 승인됐는데도 실행을 하지 않을까?</blockquote>문제의식은 있었지만 원인을 명확히 파악할 방법이 없어, 이탈 시점 설문조사와 UT를 통해 고객으로부터 문제를 발굴하게 되었어요. Product Designer와 UT를 통해 승인 후 고객들이 왜 이탈하는지 확인해 보니, 1️⃣ 상품에 대한 가치 전달 부족 2️⃣ 대출 실행 후 1년 뒤 대출 연장이 되지 않을 것 같은 불안함 때문이었어요.<figure data-type="image-block" data-src="https://attachments.datarian.io/production-ce855bbf-aa90-423d-96fb-cbd8b8faf984-sVH8ppbrnoX4oz-0Op60R-znrff1lAz1QK5XJ4dYjDw.png" data-align="center" data-width="528" style="width: 528px; max-width: 100%"><img src="https://attachments.datarian.io/production-ce855bbf-aa90-423d-96fb-cbd8b8faf984-sVH8ppbrnoX4oz-0Op60R-znrff1lAz1QK5XJ4dYjDw.png" width="528" /></figure>그래서 Product Designer와 저는 상품에 대한 이해도를 높이고, 대출기간이 짧은 것에 대한 불안함을 잠재울 수 있도록 상품의 가치와 연장승인비율을 담은 튜토리얼 페이지를 퍼널에 심는 실험을 진행하게 되었어요.<h1 id="37d033335d864c58a8d27ece140f3d0f">가설 및 실험 설계</h1>튜토리얼 페이지는 ‘매달 이자만 갚기’ 상품의 value를 담은 페이지인데요. ‘어느 단계에 있는 고객에게 가장 도움이 될까?’라는 물음에서 가설을 설정했어요.<ol><li>상품 인트로 뒤 튜토리얼: ‘매달 이자만 갚기’ 상품 페이지 진입 직후 튜토리얼을 통해 value를 알려주면 이후 실행까지 쭉 이어져서 실행률이 높아지지 않을까?</li><li>대출 심사 결과 전 튜토리얼: ‘매달 이자만 갚기’ 심사 약관동의까지 한 고객은 상품에 대한 관심이 많은 고객이니, 이런 고객에게 튜토리얼을 통해 value를 알려주면 실행까지 쭉 이어져서 실행률이 높아지지 않을까?</li></ol>가설에 맞춰 세 그룹으로 나누어서 실험 및 분석을 진행했어요.<ol><li>기존과 동일하게 튜토리얼이 없는 버전</li><li>상품 인트로 뒤에 튜토리얼이 있는 버전</li><li>대출 심사 결과 직전 튜토리얼이 있는 버전</li></ol><h1 id="4c37d4f98308415c9008021974450327">검증</h1>분석 결과, 인트로 뒤 튜토리얼 화면을 보는 그룹의 대출 실행률이 가장 높게 나타났어요.비록 통계적으로 유의한 차이는 없는 것으로 나타났지만, 퍼널이 늘었음에도 실행률이 소폭 개선됐다는 점에서 “고객들은 퍼널이 늘어도 유용한 정보가 있으면 이탈하지 않는구나, 그 정보를 믿고 진행하게 만드는구나!”라는 러닝을 얻을 수 있었어요.<figure data-type="image-block" data-src="https://attachments.datarian.io/production-f7c4681b-9d49-4276-802f-9e4f432bbc0f-zwxkiZ7sGQYFK0NaSvmNAnHNftwB0kViO15ONnh15u8.png" data-align="center" data-width="528" style="width: 528px; max-width: 100%"><img src="https://attachments.datarian.io/production-f7c4681b-9d49-4276-802f-9e4f432bbc0f-zwxkiZ7sGQYFK0NaSvmNAnHNftwB0kViO15ONnh15u8.png" width="528" /></figure><figure data-type="image-block" data-src="https://attachments.datarian.io/production-1ec979a7-aaf8-42a2-851c-11b1108fa144-Bt3D8FdysSuuxebaOtD3f08h0c8FlOGRswzU9IlbnxU.png" data-align="center" data-width="100%" style="width: 100%; max-width: 100%"><img src="https://attachments.datarian.io/production-1ec979a7-aaf8-42a2-851c-11b1108fa144-Bt3D8FdysSuuxebaOtD3f08h0c8FlOGRswzU9IlbnxU.png" /></figure>처음에 정의한 문제를 해결한 것처럼 보이지만, 위 실험에서는 해결 못한 문제가 있었어요.바로 연장 부결에 대한 불안함을 확실히 낮추는 것이었어요. 연장에 대해서 ‘가능성’으로 풀지 않고 확실히 보장해주기 위해서 ‘전략’을 수정하는 방법을 생각해냈어요. 이후 전략팀분들과 논의 후 연체, 부도 등의 절대거절사유가 아니라면 최대 10년까지 연장 보장이 되도록 개발했고, 튜토리얼 내용을 “최대 10년까지 연장 할 수 있어요(연장 승인율이 98% 예요)”에서 “최대 10년 무조건 대출 연장 보장해드려요”로 변경하였어요.<figure data-type="image-block" data-src="https://attachments.datarian.io/production-3405f425-d582-4c53-be81-c67c6584b5dc-o9v_Oath_z-A-35RKMQ1rqPKDmXAKBprwq_QWLThtY0.png" data-align="center" data-width="100%" style="width: 100%; max-width: 100%"><img src="https://attachments.datarian.io/production-3405f425-d582-4c53-be81-c67c6584b5dc-o9v_Oath_z-A-35RKMQ1rqPKDmXAKBprwq_QWLThtY0.png" /></figure>그 결과, 대출 실행률은 약 4%p(29% → 33%) 증가했고 건당 실행금액도 약 2백만 원 상승했어요. 해당 데이터를 통해 대출 금액이 큰 고객들도 연장 가능함을 인지하고 실행이 늘었다는 분석 결과를 얻을 수 있었어요.<h1 id="9e1a735af9164bcf9c1225f9a7c92001">회고</h1>여신(대출) 서비스는 도메인의 특성상 니즈가 명확한 고객이 인입되는 비율이 높기 때문에, 상품의 조건이 메리트가 있다면 실행까지 이어지는 비율 또한 높아요. 그래서 그동안은 다양한 상품을 개발하는 것과 마케팅 채널을 늘리는 것에 좀 더 집중했었고, 부스팅에 크게 리소스를 쏟지 않아도 꾸준히 기대했던 목표를 달성했었죠.하지만 ‘매달 이자만 갚기’의 경우에는 일반적인 신규 고객과는 행동 양상이 달랐어요. 그동안의 부스팅과는 달리, 진입 수와 실행률과 같은 지표가 일반 신규고객 대비해서 크게 낮았거든요.그래서, ‘왜 고객들이 잘 안 할까?’, ‘어떻게 해야 고객들이 상품의 매력을 잘 이해할 수 있을까?’, ‘개선할 부분이 무엇일까?’ 등의 의문점을 가지고 고객의 목소리를 들으려고 노력했고, 그동안 진행하지 않았던 다양한 실험을 설계할 수 있었어요.보통 ‘퍼널이 늘어나면 이탈률이 늘어난다’라는 가설은 정설처럼 여겨지곤 하는데요. 과거의 경험에 기반한 생각에서 벗어나, UT, 퍼널 개선, 정책 변경 등 작업과 더불어 개선점을 찾기 위해 집요하게 매달린 결과, 고객들에게 큰 가치를 제공할 수 있어 기억에 많이 남아요.<h1 id="7e98e9ef027e4e0cb48ec08fac17fa27">맺으며</h1>토스뱅크에서 상품을 출시하면, Data Analyst는 출시한 시점부터 진입~실행까지의 데이터를 다양하게 모니터링하고, 이 과정에서 개선점이나 부스팅 방법을 찾아서 액션을 취하곤 합니다.‘매달 이자만 갚기’ 프로젝트는 다양한 문제가 얽혀 있는 상품이었기에, 특히 문제 정의 및 해결방안의 우선순위를 정하는 것과 개선 방향 정하는 것에 집중하여 진행했어요. 단순히 데이터를 추출하고 분석하는 것이 아니라 기민하게 데이터를 모니터링하고, 상황에 따라 실험을 제안하고 개선 지점을 빠르게 잡아갔죠. 팀원들의 동의를 얻기 위해 데이터로 설득하고, 의사결정을 빠르게 이끌어내는 과정에서 의사결정 역량과 합리적인 문제 해결 역량이 크게 향상되었다고 생각해요.오늘도 더 좋은 프로덕트를 위해 치열하게 노력하는 모든 Data Analyst 분들께 제 사례가 도움이 되었기를 바라며, 토스뱅크와 함께 성장하고 싶으신 분들의 도전을 기다립니다.토스뱅크 Data Analyst 채용 공고 확인하기<div data-type="bookmark" data-url="https://toss.im/career/job-detail?job_id=4103438003" data-title="토스 채용" data-description="공고 자세히 보기" data-icon="https://static.toss.im/tds/favicon/favicon-196x196.png" data-cover="https://static.toss.im/assets/career/tosscareers-og.jpg?v=2"></div><div data-type="callout" data-emoji="✍🏻" data-background-color="rgba(235, 236, 237, 0.3)" style="background-color: rgba(235, 236, 237, 0.3);">Editor 선미’s comment이 글의 원문은 토스 채용에 업로드 된 “<a href="https://toss.im/career/article/tossbank-data-analyst-interview2" target="_blank">끊임없는 실험으로 고객에게 큰 가치를 제공하는, 토스뱅크 Data Analyst</a>”입니다.</div>

1,600만 MAU면 이미 너무 많은 것 아니야? 여기서 어떻게 더 성장해?

그로스 도메인이 토스를 성장시키는 방법

돈이 흐르는 길목에서 일을 하다 보니 금융에 대한 지식을 쌓을 수 있는 점도 큰 장점이에요

데이터로 프로덕트의 전략과 방향성을 고민하는, 토스뱅크 데이터 분석가

고객들은 퍼널이 늘어도 유용한 정보가 있으면 이탈하지 않는구나!

끊임없는 실험으로 고객에게 큰 가치를 제공하는, 토스뱅크 데이터 분석가

토스가 데이터를 바탕으로 의사결정을 내리는 과정 속에서, 데이터 분석가가 어떤 역할을 하는지 소개합니다.

진짜 A/B 테스트: 토스의 푸시 생태계를 데이터로 재설계한 방법

토스뱅크 합류 이유부터 데이터/ML이 바꿀 금융의 미래, 그리고 리더로서의 철학까지. 토스뱅크 Head of Data의 이야기를 들어보았어요.

데이터로 금융의 미래를 만들어 나가요 - Head of Data

치열하게 고민하고 협업하며, 정답이 없는 문제를 풀어가고 있는 토스플레이스 Data Analyst의 이야기를 담았어요.

데이터 분석을 넘어, 문제 정의와 해결로 오프라인 결제 시장의 변화를 주도하는 사람들 – 토스플레이스 Data Analyst

질문 하나로 시작하는 데이터 문화 혁신

토스플레이스 데이터봇 ‘판다(PANDA)’를 소개합니다 : 모든 팀원이 데이터 전문가처럼 일하는 방법

토스의 Data Platform Tribe는 데이터가 생성되는 순간부터 활용되는 순간까지, 전 과정을 설계하고 운영하고 있습니다.

Data First를 가능하게 하는 사람들, 토스 Data Platform Tribe

데이터 기반 의사결정과 데이터를 바탕으로 비즈니스의 성장을 설계하고 실행하는 조직, Data Analytics Tribe를 소개합니다.

데이터로 비즈니스 방향을 만드는 사람들, 토스 Data Analytics Tribe

이번 달, 우리에게 매출을 발생시킨 Business Customer는 몇 개인가요?

사업자 데이터 리터러시 높이기: BC Monthly Report 발행기

토스플레이스에서는 왜 Metric Review를 시작했고, 어떻게 운영하고 있으며, 실제로 어떤 변화를 만들었는지 공유해 드릴게요.

Metric Review, 실행을 이끌다

토스 코어에서 자체 개발한, 그리고 의사 결정에 활발히 사용되고 있는 새로운 지표에 대해 소개해 드릴게요.

끊임없는 실험으로 고객에게 큰 가치를 제공하는, 토스뱅크 데이터 분석가

Contents

데이터 분석 소식을
매월 받아보세요

토스 아티클 모아보기

함께 읽어보면 좋은 글

데이터 분석가가 되려면 개발 공부를 먼저 하는 게 좋을까요?

이탈 기준 정하기

마케팅은 데이터 분석을 통해 완성됩니다

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요

끊임없는 실험으로 고객에게 큰 가치를 제공하는, 토스뱅크 데이터 분석가

Contents

데이터 분석 소식을 매월 받아보세요

토스 아티클 모아보기

함께 읽어보면 좋은 글

데이터 분석가가 되려면 개발 공부를 먼저 하는 게 좋을까요?

이탈 기준 정하기

마케팅은 데이터 분석을 통해 완성됩니다

데이터 분석 소식을 매월 받아보세요데이터 분석 소식을 받아보세요

데이터 분석 소식을
매월 받아보세요

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요