송혜정
3월 세미나 [데이터 분석가는 어떤 일을 하나요?] 실시간 질의응답
월간 데이터리안 3월 세미나의 주제는 퍼널 분석과 사용자 행동 데이터 분석이었습니다. 두 명의 연사분께서 미리 준비해주신 강연 내용을 들으며 실시간으로 질의응답을 진행해보았는데요. 현업에서 분석을 하시는 분들께서 많이 참석해주셔서 그런지 공감되는 질문들, 좋은 질문이 많이 나왔습니다.
- 민주 “알아두면 쓸데 있는 Funnel 잡학사전”
- 보민 “사용자 행동 데이터 분석의 기쁨과 슬픔”
각각의 강연에서 참가자들과 연사들이 어떤 이야기들을 나누었는지 확인해볼까요?
[알아두면 쓸데 있는 Funnel 잡학사전] QnA
Q1. 퍼널 지표 단계 중 설정한 지표 수치가 상위 단계보다 수치가 커서 좁아지는 형태가 아닌 경우는 가장 문제가 되는 구간을 어떤 식으로 결정할 수 있을까요? 예를 들면 커머스 사이트에서 구매가 일어나기 위해서 사이트 방문을 하고 랜딩페이지를 보고 상품페이지를 보는 단계로 지표로 설정할 경우. 랜딩페이지 수보다 상품페이지의 수가 많아서 수치가 더 커지게 되는 상황입니다.
민주 : 그렇다면 퍼널 구성을 랜딩페이지 → 상품페이지로 하는 게 맞는지 다시 한번 점검해보셔야 합니다. 랜딩페이지 말고도 상품페이지로 들어오는 루트가 더 있다거나 여러 가지 이유로 말씀하신 상황이 나타날 수 있을 것 같은데 애초에 어떤 이유로 퍼널이 그런 모양이 된 건지 확인이 필요해 보이네요.
발표 초반부에 말씀드린 것처럼 스타트 지점에서 목표지점까지 사용자가 더 많이 도달하게 하는 방법을 찾을 때에 사용할 수 있는 분석 방법으로 퍼널 분석을 소개해드린 거라고 이해해주시면 될 것 같아요. 스타트 지점에서 목표 지점까지 가는 동안 단계를 통과할수록 자연스럽게 사용자 수가 줄어들기 때문에 퍼널 형태가 되는 거고요.
Q2. 퍼널 분석 할 때 목표 수치는 어떤 기준으로 정하셨나요?
민주 : 목표 지표는 보통 기존 지표를 기준으로 해서 얼마나 올릴 수 있을지를 정합니다. 발표에서 얘기한 셰어하우스를 예로 들면, 지점이 여러 군데였는데 전환율이 가장 높은 지점을 기준으로 해서 전환율이 낮은 다른 지점들의 전환율을 높이는 걸 목표로 해볼 수도 있을 것 같아요.
Q3. 퍼널을 줄이고 늘리는 건 서로 상충되는 전략인데 실제로 퍼널 단계를 늘렸을 때 성과가 개선된 사례가 있으실까요?
민주 : 네, 상충되는 전략이에요. 퍼널 단계를 줄이는 게 먼저이고, 퍼널 단계를 늘리는 건 좀 더 신중하게 진행해야 합니다. 이전 회사에서 분석했던 것 중에, 첫 구매 전에 특정 기능을 경험해본 유저들의 구매전환율이 더 좋아서 퍼널로 추가해본 경우가 있었습니다.
[사용자 행동 데이터 분석의 기쁨과 슬픔] QnA
Q1. 앞에서 발표한 ‘Funnel 분석’도, 사용자 행동 데이터로 분석하는 건가요?
보민 : 퍼널 분석을 할 때에는 필요에 따라 사용자 행동 데이터와 서비스 데이터를 섞어서 분석합니다. 민주 님의 발표 예시에서 나왔던 웹사이트 방문 기록 같은 데이터는 대표적인 사용자 행동 데이터입니다.
Q2. (사용자 행동 데이터를 통해 위치에 따른 배너의 효율을 체크하는 예시에서) 광고를 보고 상품페이지로 유입이 됐는데 이탈률이 높은 경우에는 어떤 데이터를 보고 가설을 세워보면 좋을까요?
선미 : 저 같으면 어느 정도 스크롤을 내려보고 이탈하는지, 페이지 체류 시간이 얼마나 되는지를 먼저 좀 봐요. 스크롤을 하나도 안 내려보고 이탈했다면 화면 중에서도 첫인상을 주는 영역의 개선이 필요하거나, 광고 소재가 전달하는 메시지와 서비스 페이지가 주는 메시지가 일치하지 않는 경우일 수 있고요. 스크롤을 끝까지 내려보고도… 이탈했다면 서비스 페이지 전체의 설득력이 좀 떨어지는 게 아닌가 생각해 봐야 돼요.
Q3. (사용자 행동 데이터를 통해 위치에 따른 배너의 효율을 체크하는 예시에서) 배너 위치가 원인 변수라는 것을 확신할 수 없을 때는 추가적으로 어떤 정보들을 획득하나요? 예를 들어서 배너 위치보다는 광고가 매력적이어서 더 많이 클릭했을 수도 있을 것 같아서요! 이런 문제를 해결하려면 추가로 어떤 조사를 하는 게 좋을지 궁금합니다.
선미 : 같은 광고를 여러 위치에 노출해보는 식으로 실험을 해볼 수 있습니다.
보민 : 최대한 확신할 수 있는 조건으로 데이터를 확인해야겠죠? 제가 발표에서 말씀드린 예시에서는 배너의 콘텐츠와 디자인 등이 모두 똑같을 경우 위치만 다르게 노출했을 때, 클릭률을 비교하여 위치에 따른 효율을 판단해볼 수 있겠다고 말씀드렸던 거예요.
그러니까 한 페이지에서 서로 다른 콘텐츠의 배너가 랜덤으로 노출되는 경우라면 배너의 노출 위치뿐만 아니라 어떤 콘텐츠, 어떤 디자인의 배너가 노출이 되었는지도 알아야 하죠. 콘텐츠도 다르고 위치도 다른 데이터가 있다면 그 두 데이터는 서로 비교하면 안 되고요. 같은 콘텐츠, 같은 디자인의 배너인데 위치만 다르게 노출되었을 때 클릭률 데이터를 확인해본 후 클릭률이 특정 위치에서 유독 높게 나온다면, 그건 위치 때문에 클릭률이 달라졌다고 생각할 수 있습니다.
Q4. 현업에서는 사용자들의 행동 데이터를 주로 수집하는 도구가 GA라고 봐도 될까요? 앰플리튜드 등 새로운 툴이 많이 생긴 거 같아서 여쭤봅니다. GA가 데이터를 샘플링한다고 들었는데요. 보통 기업들은 유료 버전을 써서 그런 문제가 없는지도 궁금하네요!
선미 : GA가 대표적이고요. 말씀하신 것처럼 앰플리튜드 같은 툴들이 많이 생기고 있습니다. 국산 툴들도 생기는 추세더라고요.
보민 : 모든 회사가 GA 유료 버전을 쓰지는 않습니다. 무료 버전 쓰는 회사에서는 데이터가 샘플링되는 것을 감안하고 참고용으로 보는 것 같아요.
Q5. 실무에서 정말로 개발자분들이 ’이 데이터 꼭 필요한가요?’라고 질문을 하시나요?
보민: 아까 울고 계시던 분석가분들 다 어디 가셨죠...
민주 : 네… 저런 질문 많이 들어요. 꼭 필요한 거에요? 자매품으로는 급한 거에요?
참가자 1 : 급한 거예요? ← 이거 진짜..
참가자 2 : 급한 건가요 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
참가자 3 : 왜 필요한지를 설명했는데, 그래서 왜 필요한거냐고 물어보시기도 해요....
참가자 4 : 리드 타임 일 년 두고 요청드리지는 않을거 아니에요!! (속마음)
Q6. 혹시 연사님들께서 경험하신 여러 회사중에서 사용자 행동 로그 데이터가 아예 없는 경우도 있었을까요?
선미 : 제가 경험한 회사 중에는 사용자 행동 데이터 없는 회사는 없었어요… 쿠팡은 업계에서도 데이터 분석 많이 하기로 유명한 회사고요. 다른 두 개 회사도 데이터가 많아서 문제였지 적었던 적은 없었습니다. 아, 데이터리안이 있었네요... 사용자 행동 데이터 없었던 회사. 데이터리안은 한동안 사용자 행동 데이터 없었어요.
보민 : ㅋㅋㅋ 데이터리안 사용자 행동 데이터는 다 저희가 쌓았습니다. 한 땀 한 땀...
선미 : 처음부터 끝까지… 저희가 쌓고 분석하고 액션하고 하고 있습니다.
민주 : 저희 안에서도 그런 질문 나옵니다… 이 데이터 꼭 필요해요?
선미 : 제가 주로 물어보는데요... ‘이 데이터 꼭 필요해요?’ 나머지 세 분들은 필요하다고 하고.. 그럼 회의 한 시간씩 해요.
보민 : 아예 없는 곳도... 데이터리안 처럼 있을 수 있고요. 사실 분석할 만큼 충분한 데이터가 없는 경우가 훨씬 많이 있는 것 같아요. 뭐랄까 페이지 뷰는 있는데 클릭은 없다던지?
민주 : 결제 완료는 있지만 결제 버튼 클릭은 없다든지.
보민 : 오 노우..
선미 : 저는 데이터는 다 잘 쌓여있는 회사 다니다가 사실 데이터리안 창업하고 나서 이게 다 사람이 하는 일이구나 깨닫고 있거든요. 그래서 개발자님들 마음 백 퍼센트 이해됩니다. 데이터 좀 없을 수도 있고… 부정확할 수도 있죠! (배신자인가요 이렇게 말하면)
Q7. 서비스 제공자는 사용자 행동데이터를 수집할 때에 사용자의 동의를 얻어야 하는건가요?
보민 : 사용자 행동 데이터를 수집하는 정책은 사용하는 디바이스, 브라우저마다 조금씩 다릅니다. 그러나 전반적인 업계 동향을 보면 기존에는 ‘사용자들이 플랫폼을 사용한다 = 데이터를 사용할 수 있다’라는 암묵적인 동의가 있는 걸로 생각을 했고요. 요즘에는 사용자들이 직접 데이터가 기록되는 것을 인지하고 활용 동의를 해야 데이터를 얻을 수 있게끔 하는 방향으로 변화하고 있어요.
실제로 구글이나 애플 같은 빅 테크 기업에서는 사용자들의 정보를 점점 제한적으로 보내주도록 로직을 변경하고 있습니다. 구글의 쿠키 정책의 변화 같은 걸 찾아보시면 좀 더 많은 내용들을 아실 수 있을 거예요. 그러나 이런 정책을 모든 플랫폼에서 100% 반영하고 있는 건 아니라서, 많은 경우 사용자들의 동의를 얻지 않아도 데이터를 쌓을 수는 있습니다.
