이보민BigQuery란?
구글 빅쿼리란 구글에서 제공하는 클라우드 데이터 웨어하우스입니다. 부분적으로 무료로 사용할 수 있으며, 무료 제공되는 스토리지, 쿼리량에 상한이 정해져있고 그 이상으로 활용하시는 경우에는 과금이 될 수 있습니다. 신규 고객에게는 처음 90일 동안 사용할 수 있는 300달러 크레딧이 제공되고, 매월 10GB 스토리지, 최대 1TB의 쿼리가 무료로 제공됩니다.
데이터 웨어하우스란?
데이터 웨어하우스란 여러 소스에서 가져온 데이터를 분석하고 보고하는 데 사용되는 데이터 관리 시스템을 뜻합니다.
특히 구글 애널리틱스를 이용해 데이터를 쌓고 있는 회사의 경우에는 GA 데이터를 빅쿼리에 연동해서 보는 경우가 많습니다. GA 보고서에서는 데이터의 요약값만 제공하기 때문에 데이터를 개별적으로 뜯어보기가 어려운데요. SQL 쿼리를 이용하여 GA의 개별 데이터를 분석하고 싶을 때 빅쿼리를 연동해 사용하면 개별 데이터를 추출해서 볼 수 있습니다.
물론 구글 애널리틱스를 사용하지 않아도 빅쿼리만 단독으로 사용할 수 있어요. BigQuery에 CSV 데이터를 업로드하거나, 구글에서 제공하는 데이터셋을 연결하여 쿼리 해보고 분석 해 볼 수도 있습니다.
BigQuery 프로젝트 만들기
빅쿼리에서 데이터를 보기 위해서는 먼저 프로젝트를 만들어야 합니다. 프로젝트는 데이터 테이블을 담는 폴더 같은 역할을 한다고 생각하시면 됩니다.
- 구글 클라우드 콘솔에 접속해 로그인을 합니다.
- 상단 네비게이션 바에서 프로젝트 선택을 클릭합니다.
- 프로젝트 선택 창이 뜨면 우측 상단의 새 프로젝트를 클릭 합니다.
- 프로젝트 이름을 설정합니다.
- ‘BigQuery에서 쿼리 실행’ 버튼을 눌러 빅쿼리 콘솔을 실행합니다.
- 아래와 같이 페이지가 표시된다면 프로젝트가 잘 만들어진 것입니다.
빅쿼리 샌드박스(무료 프로젝트) 사용 시 주의점
- 매월 활성 스토리지 10GB, 쿼리 데이터 1TB 제공
- 데이터 세트 내 테이블, 파티션 데이터는 60일 후 삭제*됩니다.
- 그 외 자세한 내용은 BigQuery 샌드박스 사용 설정 문서를 참고해 주세요.
*무료 계정으로 만들었던 테이블 데이터를 60일 이상 유지하고 싶으신 경우, 유료 계정으로 변경 후 테이블 별로 Table expiration을 변경해 주셔야 합니다.
BigQuery에 데이터를 연결하는 3가지 방법
빅쿼리에서 데이터를 연결하는 방법은 크게 세 가지가 있습니다. 아래 세 가지 방법 중 여러분의 상황에 적합한 방법을 찾아 차근차근 따라 해보시면 아주 쉽게 빅쿼리에서 데이터를 보실 수 있을 거예요.
- Google에서 제공하는 공개 데이터(Google Merchandise Store) 연결
- CSV 데이터 BigQuery에 직접 업로드
- GA4 데이터 BigQuery에 연결
따로 준비된 데이터는 없지만 구글에서 제공하는 샘플 데이터를 보면서라도 빅쿼리 사용법을 알아보고 싶다 하시는 분들은 ‘Google에서 제공하는 공개 데이터(Google Merchandise Store) 연결하기'를 따라 해보시면 되고요. CSV 파일로 된 데이터가 있다 하시는 분들은 ‘CSV 데이터 BigQuery에 직접 업로드하기’를 참고해 보시면 됩니다. 마지막으로 GA4로 데이터를 볼 수 있는 웹사이트를 운영하시는 분들은 ‘GA4 데이터 BigQuery에 연결하기’ 파트를 참고해 보시면 좋을 것 같아요.
1. Google에서 제공하는 공개 데이터(Google Merchandise Store) 연결하기
Google Merchandise Store 데이터란?
Google Merchandise Store는 Google 브랜드의 상품을 판매하는 전자상거래 사이트입니다. Analytics Hub에서 제공하는 Google Merchandise Store 데이터 셋에서는 트래픽 소스 데이터, 콘텐츠 데이터, 거래 데이터를 볼 수 있습니다.
- 구글에서 제공하는 샘플 데이터 셋을 빅쿼리에서 사용하기 위해서는 먼저 구글에서 제공하는 데이터 교환 플랫폼인 Analytics Hub API를 활성화해야 합니다. BigQuery 탐색 메뉴에서 Analytics Hub를 클릭합니다.
- Analytics Hub API 사용 버튼을 클릭합니다.
- Analytics Hub가 활성화 되었으면 다시 SQL 작업공간으로 돌아갑니다.
- 본격적으로 샘플 데이터를 추가하기 위해 탐색기에서 데이터 추가를 클릭합니다.
- 드롭다운 메뉴에서 Analytics Hub 살펴보기를 클릭합니다.
- Analytics Hub 왼쪽 필터들을 이용하여 원하는 데이터 셋을 고를 수 있습니다. 이번 글에서는 Google에서 제공하는 Google Merchandise Store 데이터를 가져와보도록 하겠습니다.
- 가운데 검색 창에 Merchandise Store라고 검색해줍니다.
- 결과로 나온 데이터를 클릭합니다.
- 프로젝트에 데이터 세트 추가를 클릭합니다.
- 데이터 세트 이름을 특별히 지정할 필요가 없다면 그대로 저장 버튼을 클릭합니다. 만약, 데이터 세트의 이름을 변경하고 싶은 경우에는 ‘연결된 데이터 세트 이름’ 항목을 변경해 줍니다.
- 기존에 만들어두었던 프로젝트 하위로 구글 샘플 데이터 세트가 새롭게 생성된 것이 보인다면 데이터 세트 연결이 잘 된 겁니다.
2. CSV 데이터 BigQuery에 업로드 하기
- 빅쿼리에 업로드할 CSV 데이터를 준비합니다. 따로 준비된 CSV 데이터가 없다면 아래 샘플 데이터를 다운로드합니다. 아래 데이터는 Waiter’s Tips 데이터를 일부 샘플링한 데이터로 Waiter's Tips 데이터의 원본은 여기이며, CC0 Public 1.0의 적용을 받습니다.
- CSV 데이터를 업로드하기 위해서는 기존에 만들어둔 프로젝트 하위에 데이터 세트를 먼저 만들고 그 안에 테이블을 만들어 주어야 합니다. 먼저 프로젝트 오른쪽에 있는 더 보기 버튼을 클릭하여 데이터 세트 만들기를 선택합니다.
- 데이터 세트 만들기 창에서 데이터 세트 ID, 데이터 위치를 지정해 주고 만들기 버튼을 클릭합니다. 거주지 위치와 데이터의 위치가 다를 경우 과금 정책상 요금이 추가될 수 있으니, 데이터 위치는 거주지와 가까운 지역을 선택하는 것이 좋습니다. 선택하는 데이터 위치에 따라 과금 정책이 조금씩 달라질 수 있으니, 데이터 위치와 위치별 가격 책정 방법에 대한 정확한 설명은 빅쿼리 공식 문서를 참고해 보세요.
- 프로젝트 하위에 데이터 세트가 잘 만들어졌다면, 해당 데이터 세트를 클릭해 줍니다. 데이터 세트 정보 열람 창이 뜨면 오른쪽 상단에 위치한 테이블 만들기 버튼을 클릭합니다.
- 테이블 만들기 창이 뜨면 상단에 테이블 만들 소스란에서 업로드를 선택해 줍니다.
- 파일 선택란 우측의 찾아보기 버튼을 눌러 업로드할 CSV 파일을 찾아줍니다.
- 파일 불러오기를 마쳤다면 파일 선택이 잘 되었는지, 파일 형식은 올바르게 맞춰졌는지 확인합니다.
- 프로젝트, 데이터 세트가 잘 설정되었는지 확인한 후 데이터를 저장할 테이블명을 작성합니다.
- 데이터 스키마를 설정해 줍니다. 특별히 컬럼명, 데이터 타입 수정이 필요한 것이 아니라면 자동 감지를 체크해 주면 됩니다. 컬럼명, 데이터 타입 수정이 필요한 경우에는 스키마 수동 지정 기능(텍스트로 편집, 필드 추가)을 이용합니다.
- 기타 고급 옵션에서는 쓰기 환경설정, 필드 구분 기호 설정, 건너뛸 헤더 행을 설정할 수도 있습니다. 특별하게 설정해 주고 싶은 항목이 없다면 고급 옵션은 따로 설정하지 않아도 됩니다.
- 모든 항목이 채워졌다면 테이블 만들기를 클릭합니다. 아래와 같이 테이블이 만들어졌다면 성공입니다.
3. GA4 데이터 BigQuery에 연결하기
- 빅쿼리와 연결할 구글 애널리틱스 4 계정 관리자 화면에 접속합니다.
- 속성 탭에서 제품 링크 > 빅쿼리 링크를 찾아 클릭합니다.
- 빅쿼리 링크 창이 열리면 연결 버튼을 클릭합니다.
- 연결 설정 창의 BigQuery 프로젝트 선택 항목에서 BigQuery 프로젝트 선택하기를 클릭해 주세요.
- 프로젝트 선택 창에서 기존에 만들어놓은 빅쿼리 프로젝트를 선택하고, 확인을 눌러주세요.
- 설정 구성에서는 빈도를 설정할 수 있습니다. 무료 계정이신 분들은 ‘매일’을 선택해 주세요.
- 매일 : 무료 계정 사용 가능, 하루에 한번 전날 모아진 데이터를 한꺼번에 전송.
- 스트리밍 : 유료 계정만 사용 가능, 실시간 데이터 전송. 몇분 이내에 당일 데이터를 사용할 수 있음.
데이터 전송 빈도
- 이제 GA4 데이터를 빅쿼리에서 볼 수 있습니다! 24시간 이후 빅쿼리에서 프로젝트를 확인해 보시면 아래와 같이 데이터를 확인하실 수 있습니다.
자 이제, 빅쿼리에서 데이터를 볼 준비는 모두 마쳤습니다. 다음 글에서는 빅쿼리에서 SQL을 사용하여 데이터를 확인하는 방법에 대해 알아보겠습니다.
지금 혹시 GA4 콘솔로 원하는 데이터를 보기 어려워서 빅쿼리 연결하는 방법 찾아보셨나요?
마케팅 성과 분석부터 퍼널 분석, 프로덕트 데이터 분석까지 GA4 콘솔만 이용해도 할 수 있는 분석이 정말 많습니다. 현업 데이터 분석가들은 GA4를 이용해서 어디까지 데이터 분석을 하고 있는 지 궁금하시다면, “내일 당장 써먹을 수 있는 GA4 활용법” 세미나를 들어보세요.
