이보민
이 글은 스티비 2023 이메일 마케팅 리포트 세미나에서 발표한 내용을 정리하여 기록한 글입니다.
이 글은 스티비 2023 이메일 마케팅 리포트 세미나에서 발표한 내용을 정리하여 기록한 시리즈의 두 번째 글입니다. ‘뉴스레터 오픈율, 클릭률 이 정도면 좋은 건가요?’라는 질문에 대한 데이터 분석가의 답변이 궁금하신 분들은 뉴스레터 오픈율, 클릭률 이 정도면 좋은 건가요? 글을 먼저 읽어주세요.
어느 요일, 몇 시에 메일을 보내야 할까요?
뉴스레터 보내시는 분들이라면 대체 어느 요일 몇 시에 메일 보내야 하는지 한 번쯤은 고민해 보셨을 텐데요. 스티비 2023 이메일 마케팅 리포트를 꼼꼼히 보신 분들은 사실 이 질문 별로 안 궁금하실지도 모르겠습니다. 리포트와 관련해서 참고해 볼 만한 데이터가 수록되어 있기 때문인데요.
아마도 그냥 이 데이터 보고 잘 오픈, 클릭률 나오는 금요일에 보내면 되는 거 아닌가 생각한 분들도 분명히 있을 거라고 생각합니다. 물론 그게 틀렸다는 건 아니고요. 조금만 더 생각해 보면 좋을 만한 지점이 있어서 그 부분에 대해 이야기해 보겠습니다.
앞서 뉴스레터 오픈율, 클릭률 이 정도면 좋은 건가요? 글에서 평균값으로 알 수 없는 것들도 있다고 말씀드렸습니다. 이번 질문에서도 마찬가지인데요. 여기서는 평균값에 들어있는 여러 가지 변수들에 대해 생각해 보겠습니다.
“평균적으로 금요일에 발송한 뉴스레터의 오픈율 클릭률이 높다”, “월요일에 발송한 뉴스레터의 오픈, 클릭률이 낮다”는 말은 “금요일에 뉴스레터를 보내면 오픈 클릭율이 높을 것이다” 또는 “월요일에 뉴스레터를 보내면 오픈, 클릭률이 낮을 것이다” 라는 말과 동일하다고 할 수 없어요.
어느 요일에 보내도 오픈율이 높은 뉴스레터가 발송인 스케쥴에 따라 금요일에 뉴스레터를 보내기로 결정을 했기 때문에 금요일 데이터가 높게 나오는 것일 수도 있고요. 반대로 월요일에 발송되는 뉴스레터가 다른 요일에 비해 월등히 많은데 그중에 오픈, 클릭률이 낮은 뉴스레터들도 많이 섞여 있어서 전체적으로 평균이 떨어져 보이는 것일 수도 있기 때문입니다. 또 지금까지 별다른 요인 없이 금요일에 보내는 뉴스레터들이 오픈율, 클릭률이 높았다고 해도 앞으로 우리 구독자들에게 뉴스레터를 보냈을 때도 똑같은 결과가 나올 거라고 장담하긴 어렵습니다.
여기까지 들으시면 여러분은 “아니 그럼 어떤 요일, 시간에 뉴스레터를 보내는 게 좋은지는 도대체 어떻게 알 수 있는데요?”라고 묻고 싶으시겠죠. 물론 이런 것들을 모두 감안하더라도 아무런 데이터를 참고하지 않는 것보다는 이런 벤치마크 지표라도 참고해 보는 것이 좋습니다.
하지만 조금 더 정확하게 확인하고 싶다면, 요일별로 시간대별로 내 뉴스레터 구독자들을 대상으로 오픈율, 클릭률이 어떻게 달라지는 지를 직접 테스트해 보는 게 좋습니다. 앞서 오픈율, 클릭률에 정답이 없다고 말씀드리면서 설명했던 것과 마찬가지로 다른 뉴스레터가 오픈이 잘 되는 시간이라고 해서 우리 뉴스레터도 그때가 오픈이 잘 되는 시간이라는 보장은 없거든요. 그러니까 가장 정확한 건 A/B 테스트 기능을 이용해서 우리 구독자들을 대상으로 직접 실험해 보는 것 일거에요.
스티비에서 뉴스레터 A/B 테스트하기
이번에 스티비 2023 이메일 리포트 데이터 분석하면서 흥미로웠던 것 중 하나는 A/B 테스트 기능을 사용해 본 분들이 제 생각보다 적었다는 점이었습니다.
A/B 테스팅이란 서비스 방문자를 임의로 두 집단으로 나누고, 한 집단에는 기존 서비스를 보여주고 다른 집단에게는 개선된 서비스를 보여준 다음 두 집단 중 어떤 집단이 더 높은 성과를 보이는지 측정하여 개선된 버전이 기존 버전에 비해 좋은지를 정량적으로 평가하는 방식을 말합니다. 이렇게 얘기하면 무슨 말인지 잘 모르시겠죠.
예를 들면 이런 겁니다. 데이터리안에서는 SQL 데이터 분석 캠프, GA4 데이터 분석 캠프를 수료한 수강생들에게 과정을 마친 뒤 3개월째 되는 달에 캠프에 대한 피드백을 요청하는 메일을 발송합니다. 이때 발송하는 메일의 발송자 이름이 ‘데이터리안’일 때와 강사 이름(‘보민’)일 때 오픈율이 달라지는지 궁금합니다. 이런 경우 A/B 테스트를 활용하면 구독자들을 나누어 각각의 옵션으로 메일을 보내보고 어떤 옵션일 때 오픈이 더 많이 되는지를 확인해 볼 수 있습니다.
위에서 언급했던 예시처럼 저는 메일을 발송할 때 스티비에 있는 A/B 테스트 기능을 종종 써보고 있는데요. 스티비에서는 간단하게 제목이나 발송자 이름, 발송 시간을 테스트해 볼 수 있어서 편리합니다.
위 화면에 보이는 페이지에서 안내해 주는 대로 쭉 설정하면 간단히 테스트를 세팅할 수 있습니다. 먼저 어떤 항목을 테스트할지, 이메일 제목을 다르게 해서 테스트해 볼건지, 발신지 이름을 다르게 해서 테스트해 볼 건지, 발송 스케줄을 다르게 해서 테스트해 볼 건지 먼저 고른 후 테스트 그룹에 몇명을 넣을지를 설정합니다.
그냥 전체 구독자를 대상으로 테스트해도 됩니다만, 그렇게 되면 성과가 안 좋은 버전의 메일도 구독자의 절반이나 보게 됩니다. 더 좋은 버전으로 많이 보내면 좋은 건데 안 좋은 버전으로 메일을 많이 보내버리면 너무 아깝잖아요. 그래서 스티비에는 일부 구독자들을 대상으로 테스트를 먼저 해보고 성과가 좋은 버전으로 나머지 구독자들에게 발송을 해주는 시스템이 갖춰져 있습니다.
예를 들어 전체 구독자 1,000명인 뉴스레터에서 이메일 제목 테스트해 보기 위해 테스트 그룹으로 100명을 설정하고 발송 그룹으로 900명을 설정했다면, A 제목으로 뉴스레터를 받아보는 구독자가 50명이고, B 제목으로 메일을 받아보는 구독자가 50명이 되는 겁니다. 나머지 900명에게는 두 테스트 그룹 결과 중 나은 오픈율을 보인 옵션으로 발송이 됩니다.
마무리
어떠신가요? A/B 테스트 참 쉽죠? 개인적으로 웹서비스, 앱서비스에서 A/B 테스트해 보려면 복잡하게 인프라도 구축하고 해야 하는데, 뉴스레터 A/B 테스트는 스티비가 모두 해주니까 너무 편리하다고 느꼈습니다. 물론 분석가 입장에서 아직 아쉬운 부분들이 없지는 않아요. 클릭률이 중요한 메일이 있을 수도 있는데, 오픈율로만 A/B 테스트 성과를 계산할 수 있다거나 하는 부분들이요.
그래도 이 정도면 테스트 해볼 만하지 않나요! 혹시 A/B 테스트하는 거 엄청 어렵겠지 생각했던 분들, 또는 A/B 테스트는 데이터 분석가나 하는 거 아니야 하는 분들 계셨다면 이번 기회에 A/B 테스트 기능 한 번 사용해 보시면 좋겠습니다.
특히 이메일 제목 같은 건 오픈율에 영향을 많이 준다고들 알려져 있습니다. 오픈율을 어떻게 높일까 고민 많으셨던 분들이라면 제목에 들어가는 문구로 먼저 테스트해 보시는 것도 좋겠습니다.
글을 읽다가 데이터 분석 또는 데이터리안의 콘텐츠에 관심이 생기셨다면 ‘월간 데이터리안 뉴스레터’ 구독해 보시는 건 어떨까요? 매월 첫 번째 화요일 오전 8시에 만나요. 지난 뉴스레터가 보고 싶다면, 여기를 클릭해 주세요.
