Google BigQuery (1) 빅쿼리에 데이터를 연결하는 3가지 방법

🔖

Google BigQuery 시리즈 모아보기

빅쿼리에 데이터를 연결하는 3가지 방법

UNNEST의 필요성과 사용법

BigQuery란?

구글 빅쿼리란 구글에서 제공하는 클라우드 데이터 웨어하우스입니다. 부분적으로 무료로 사용할 수 있으며, 무료 제공되는 스토리지, 쿼리량에 상한이 정해져있고 그 이상으로 활용하시는 경우에는 과금이 될 수 있습니다. 신규 고객에게는 처음 90일 동안 사용할 수 있는 300달러 크레딧이 제공되고, 매월 10GB 스토리지, 최대 1TB의 쿼리가 무료로 제공됩니다.

💡

데이터 웨어하우스란?

데이터 웨어하우스란 여러 소스에서 가져온 데이터를 분석하고 보고하는 데 사용되는 데이터 관리 시스템을 뜻합니다.

특히 구글 애널리틱스를 이용해 데이터를 쌓고 있는 회사의 경우에는 GA 데이터를 빅쿼리에 연동해서 보는 경우가 많습니다. GA 보고서에서는 데이터의 요약값만 제공하기 때문에 데이터를 개별적으로 뜯어보기가 어려운데요. SQL 쿼리를 이용하여 GA의 개별 데이터를 분석하고 싶을 때 빅쿼리를 연동해 사용하면 개별 데이터를 추출해서 볼 수 있습니다.

물론 구글 애널리틱스를 사용하지 않아도 빅쿼리만 단독으로 사용할 수 있어요. BigQuery에 CSV 데이터를 업로드하거나, 구글에서 제공하는 데이터셋을 연결하여 쿼리 해보고 분석 해 볼 수도 있습니다.

BigQuery 프로젝트 만들기

빅쿼리에서 데이터를 보기 위해서는 먼저 프로젝트를 만들어야 합니다. 프로젝트는 데이터 테이블을 담는 폴더 같은 역할을 한다고 생각하시면 됩니다.

구글 클라우드 콘솔에 접속해 로그인을 합니다.

상단 네비게이션 바에서 프로젝트 선택을 클릭합니다.

프로젝트 선택 창이 뜨면 우측 상단의 새 프로젝트를 클릭 합니다.

프로젝트 이름을 설정합니다.

‘BigQuery에서 쿼리 실행’ 버튼을 눌러 빅쿼리 콘솔을 실행합니다.

아래와 같이 페이지가 표시된다면 프로젝트가 잘 만들어진 것입니다.

💡

빅쿼리 샌드박스(무료 프로젝트) 사용 시 주의점

매월 활성 스토리지 10GB, 쿼리 데이터 1TB 제공

데이터 세트 내 테이블, 파티션 데이터는 60일 후 삭제*됩니다.

그 외 자세한 내용은 BigQuery 샌드박스 사용 설정 문서를 참고해 주세요.

*무료 계정으로 만들었던 테이블 데이터를 60일 이상 유지하고 싶으신 경우, 유료 계정으로 변경 후 테이블 별로 Table expiration을 변경해 주셔야 합니다.

BigQuery에 데이터를 연결하는 3가지 방법

빅쿼리에서 데이터를 연결하는 방법은 크게 세 가지가 있습니다. 아래 세 가지 방법 중 여러분의 상황에 적합한 방법을 찾아 차근차근 따라 해보시면 아주 쉽게 빅쿼리에서 데이터를 보실 수 있을 거예요.

Google에서 제공하는 공개 데이터(Google Merchandise Store) 연결

CSV 데이터 BigQuery에 직접 업로드

GA4 데이터 BigQuery에 연결

따로 준비된 데이터는 없지만 구글에서 제공하는 샘플 데이터를 보면서라도 빅쿼리 사용법을 알아보고 싶다 하시는 분들은 ‘Google에서 제공하는 공개 데이터(Google Merchandise Store) 연결하기'를 따라 해보시면 되고요. CSV 파일로 된 데이터가 있다 하시는 분들은 ‘CSV 데이터 BigQuery에 직접 업로드하기’를 참고해 보시면 됩니다. 마지막으로 GA4로 데이터를 볼 수 있는 웹사이트를 운영하시는 분들은 ‘GA4 데이터 BigQuery에 연결하기’ 파트를 참고해 보시면 좋을 것 같아요.

1. Google에서 제공하는 공개 데이터(Google Merchandise Store) 연결하기

💡

Google Merchandise Store 데이터란?

Google Merchandise Store는 Google 브랜드의 상품을 판매하는 전자상거래 사이트입니다. Analytics Hub에서 제공하는 Google Merchandise Store 데이터 셋에서는 트래픽 소스 데이터, 콘텐츠 데이터, 거래 데이터를 볼 수 있습니다.

구글에서 제공하는 샘플 데이터 셋을 빅쿼리에서 사용하기 위해서는 먼저 구글에서 제공하는 데이터 교환 플랫폼인 Analytics Hub API를 활성화해야 합니다. BigQuery 탐색 메뉴에서 Analytics Hub를 클릭합니다.

Analytics Hub API 사용 버튼을 클릭합니다.

Analytics Hub가 활성화 되었으면 다시 SQL 작업공간으로 돌아갑니다.

본격적으로 샘플 데이터를 추가하기 위해 탐색기에서 데이터 추가를 클릭합니다.

드롭다운 메뉴에서 Analytics Hub 살펴보기를 클릭합니다.

Analytics Hub 왼쪽 필터들을 이용하여 원하는 데이터 셋을 고를 수 있습니다. 이번 글에서는 Google에서 제공하는 Google Merchandise Store 데이터를 가져와보도록 하겠습니다.

가운데 검색 창에 Merchandise Store라고 검색해줍니다.

결과로 나온 데이터를 클릭합니다.

프로젝트에 데이터 세트 추가를 클릭합니다.

데이터 세트 이름을 특별히 지정할 필요가 없다면 그대로 저장 버튼을 클릭합니다. 만약, 데이터 세트의 이름을 변경하고 싶은 경우에는 ‘연결된 데이터 세트 이름’ 항목을 변경해 줍니다.

기존에 만들어두었던 프로젝트 하위로 구글 샘플 데이터 세트가 새롭게 생성된 것이 보인다면 데이터 세트 연결이 잘 된 겁니다.

2. CSV 데이터 BigQuery에 업로드 하기

빅쿼리에 업로드할 CSV 데이터를 준비합니다. 따로 준비된 CSV 데이터가 없다면 아래 샘플 데이터를 다운로드합니다. 아래 데이터는 Waiter’s Tips 데이터를 일부 샘플링한 데이터로 Waiter's Tips 데이터의 원본은 여기이며, CC0 Public 1.0의 적용을 받습니다.

tips_sample.csv

1.6KB

CSV 데이터를 업로드하기 위해서는 기존에 만들어둔 프로젝트 하위에 데이터 세트를 먼저 만들고 그 안에 테이블을 만들어 주어야 합니다. 먼저 프로젝트 오른쪽에 있는 더 보기 버튼을 클릭하여 데이터 세트 만들기를 선택합니다.

데이터 세트 만들기 창에서 데이터 세트 ID, 데이터 위치를 지정해 주고 만들기 버튼을 클릭합니다. 거주지 위치와 데이터의 위치가 다를 경우 과금 정책상 요금이 추가될 수 있으니, 데이터 위치는 거주지와 가까운 지역을 선택하는 것이 좋습니다. 선택하는 데이터 위치에 따라 과금 정책이 조금씩 달라질 수 있으니, 데이터 위치와 위치별 가격 책정 방법에 대한 정확한 설명은 빅쿼리 공식 문서를 참고해 보세요.