이보민월간 데이터리안 3월 [데이터 분석가는 어떤 일을 하나요?] 세미나에서 발표한 내용을 재구성한 글입니다.
이전 글 ‘사용자 행동 데이터 분석 (2) 넷플릭스와 아마존은 어떻게 데이터 분석을 하고 있을까요?’에서 넷플릭스와 아마존의 사례를 통해 사용자 행동 데이터 분석이 실제 비즈니스에서 어떤 임팩트를 낼 수 있는지까지 알아보았습니다. 현업에 계신 분들은 사용자 행동 데이터 분석 지금 당장 해보고 싶다고 생각하실 수도 있을 텐데요. 실제 회사에서 사용자 행동 데이터 분석을 할 때는 주의할 점이 몇 가지 있습니다.
사용자 행동 데이터를 분석할 때 주의할 점 4가지
1. 사용자들은 우리가 원하는 대로 서비스를 쓰지 않는다
사용자 행동 데이터를 분석하다 보면 내가 생각한 대로 데이터가 안 나오는 경우들이 빈번하게 있습니다. 디자이너가 예쁘게 직각 맞춰서 길을 만들어놓아도 사람들은 편하고 빠른 지름길을 만들어 내잖아요. 웹서비스에서도 마찬가지예요. 기획자나 개발자가 이렇게 사용하겠지라고 생각하고 만들어놓은 기능, 단계들을 사용자들이 그대로 정확하게 사용할 거라는 생각은 잠시 접어두시는 게 좋을 겁니다.
사용자들은 언제나 예상치 못한 방법으로 서비스를 사용하기 때문에 데이터를 살펴볼 때에도 실제 사용자들의 행동은 우리 예상과는 다를 수 있다는 것을 항상 염두에 두고 열린 마음으로 분석을 하는 자세가 필요합니다.
2. 데이터가 기록되는 방식을 정확하게 이해해야 한다
첫 번째 주의사항에서는 실제로 사용자들이 예상치 못한 패턴으로 행동하는 경우가 있으니 주의해야 한다고 말씀드렸습니다. 그런데 가끔은 사용자들은 예상한 대로 서비스를 잘 사용하고 있지만 데이터가 쌓이는 시점이나 형식이 내가 생각한 것과 달라서 분석 내용에 오류가 발생하는 경우도 발생합니다. 어떤 서비스에 회원가입을 하는 상황을 한번 가정해서 이야기를 해보도록 할게요.
로그인 화면에서 회원가입을 클릭한 후 → 회원 정보를 기입하고 → 이메일 인증을 한 후 → 회원가입이 완료되는 프로세스인데요. 이 과정에서 ‘Signup’ 데이터를 쌓는다고 생각을 해볼게요. 회원가입 프로세스 단계 중에서 어떤 시점에 ‘Signup’ 데이터가 쌓이는 게 맞다고 생각하시나요?
예를 들어 저는 이메일 인증까지 완료한 후에 최종적으로 서버에 회원 정보가 등록될 때, ‘Signup’ 데이터가 저장되는 걸로 알고 있었어요. 근데 알고 보니까 실제 데이터가 기록되는 시점은 로그인 화면에서 회원가입하기를 누른 시점, 회원가입을 시작한 시점인 거예요.
이렇게 되면 저는 ‘Signup’ 데이터로 본 사용자 수를 회원가입 완료 사용자 수라고 해석하고 있었을 텐데요. 실제로는 회원가입 완료 사용자 수가 아니고 회원가입을 시작한 사용자의 수라고 해석하는 게 정확하겠죠.
사실 회원가입 프로세스에 별다른 이상이 없고 회원가입을 시작한 사람이 모두 회원가입 완료를 한다고 하면, 이 시점의 차이가 크게 문제가 되지 않을 수도 있어요.
그런데 어느 날 이메일 인증 과정에서 문제가 생겼다고 한다면, 데이터 분석을 할 때도 이슈가 생기겠죠. 회원가입 시작할 때의 데이터만 쌓이고 있다면, 회원가입 시작한 이후 이메일 인증 과정에 문제가 생기더라도 ‘Signup’이라고 하는 데이터의 수치에는 문제가 전혀 없을 수 있거든요. 그렇게 되면 이제 이메일 인증에 문제가 있다는걸, 나중이 되어서야 알게 될 수 있는 거죠.
이렇게 데이터로 문제 상황을 바로 알아채지 못하는 경우 이미 많은 유저들이 불편함을 느낀 이후에야 문제를 파악하고 개선하게 됩니다. 실제 현업에서도 빈번하게 일어나는 일이라서 꼭 주의해야 하는 부분이에요.
3. 데이터는 언제나 잘못 기록될 가능성이 있다
사용자 행동 데이터를 기록하는 방식은 여러 가지가 있는데요. GA, 앰플리튜드 등의 서드파티 툴을 사용하는 방식, 자체 로깅 시스템을 사용하는 방식 등 회사에서는 각자 사정에 맞게 여러 가지 방법으로 사용자 행동 데이터를 쌓고 있습니다.
모든 플랫폼에서 사용자 행동 데이터를 완전히 똑같은 매커니즘으로 쌓을 수 있다면 참 좋을 텐데요. 데이터를 쌓는 플랫폼마다 사용자 행동 데이터가 쌓이는 조건이 조금씩 다를 수 있습니다. 그래서 똑같은 페이지뷰, 클릭 데이터를 보더라도 플랫폼별로 기록되는 방식이 달라 수치에 오차가 발생할 수 있고요. 특정 플랫폼에서 의도치 않게 데이터가 중복으로 쌓인다든지 하는 일도 충분히 발생할 수 있습니다. 앞서 사용자 행동 데이터의 특징에서 이야기했던 것처럼, 사용자 행동 데이터는 서비스 데이터에 비해 비교적 신뢰도가 낮은 데이터이기 때문에 분석을 할 때 항상 데이터의 정합성을 의심하며 살펴보는 습관이 필요해요.
실제로 현업에서 업무를 할 때에는 데이터의 신뢰도를 확보하기 위해, 엔지니어와 분석가들이 데이터 QA를 열심히 합니다. 웹사이트를 운영하는 경우 데이터 QA를 위해 크롬 확장 프로그램인 Omnibug를 사용하여 데이터가 잘 들어가고 있는지 눈으로 확인해 보기도 하고요. 이렇게 많은 사람들이 사용자 행동 데이터가 정확하게 들어갈 수 있게 많은 사람들이 노력을 하지만, 그럼에도 불구하고 사용자 행동 데이터는 신뢰도에 문제가 발생하지 않게끔 하는 게 굉장히 어렵습니다.
4. 데이터를 조회할 때 주의가 필요하다
마지막으로 사용자 행동 데이터는 짧은 기간에도 굉장히 많은 데이터가 쌓이기 때문에 조회할 때 주의가 필요합니다. 아주 작은 서비스라고 하더라도 짧은 기간 사이에 사용자 행동 데이터는 굉장히 많이 쌓일 수 있기 때문인데요. 결제는 한 사람이 하루에 100번 하기 어렵겠지만, 클릭은 백 번, 천 번도 할 수 있거든요.
때문에 사용자 행동 데이터가 저장되어 있는 데이터 베이스에 쿼리를 잘못하면 데이터베이스에 과부하가 걸리고 되어 심한 경우 서버가 다운될 수도 있기 때문에 주의가 필요해요.
- 사용자 행동 데이터를 분석할 때 주의할 점 4가지
