Google BigQuery (1) 빅쿼리에 데이터를 연결하는 3가지 방법
Note: 이 글은 2024-12-06에 업데이트 되었습니다.
BigQuery란?
구글 빅쿼리란 구글에서 제공하는 클라우드 데이터 웨어하우스입니다. 부분적으로 무료로 사용할 수 있으며, 무료 제공되는 스토리지, 쿼리량에 상한이 정해져있고 그 이상으로 활용하시는 경우에는 과금이 될 수 있습니다. 신규 고객에게는 처음 90일 동안 사용할 수 있는 300달러 크레딧이 제공되고,  매월 10GB 스토리지, 최대 1TB의 쿼리가 무료로 제공됩니다.
데이터 웨어하우스란?
데이터 웨어하우스란 여러 소스에서 가져온 데이터를 분석하고 보고하는 데 사용되는 데이터 관리 시스템을 뜻합니다.
특히 구글 애널리틱스를 이용해 데이터를 쌓고 있는 회사의 경우에는 GA 데이터를 빅쿼리에 연동해서 보는 경우가 많습니다. GA 보고서에서는 데이터의 요약값만 제공하기 때문에 데이터를 개별적으로 뜯어보기가 어려운데요. SQL 쿼리를 이용하여 GA의 개별 데이터를 분석하고 싶을 때 빅쿼리를 연동해 사용하면 개별 데이터를 추출해서 볼 수 있습니다.
물론 구글 애널리틱스를 사용하지 않아도 빅쿼리만 단독으로 사용할 수 있어요. BigQuery에 CSV 데이터를 업로드하거나, 구글에서 제공하는 데이터셋을 연결하여 쿼리 해보고 분석 해 볼 수도 있습니다.
BigQuery 프로젝트 만들기
빅쿼리에서 데이터를 보기 위해서는 먼저 프로젝트를 만들어야 합니다. 프로젝트는 데이터 테이블을 담는 폴더 같은 역할을 한다고 생각하시면 됩니다.
구글 클라우드 콘솔에 접속해 로그인을 합니다.
상단 네비게이션 바에서 ‘프로젝트 선택’을 클릭합니다.
[데이터리안] 빅쿼리 프로젝트 생성 (1).jpg
프로젝트 선택 창이 뜨면 우측 상단의 ‘새 프로젝트’를 클릭합니다.
[데이터리안] 빅쿼리 프로젝트 생성 (2).jpg
‘프로젝트 이름’을 설정합니다.
[데이터리안] 빅쿼리 프로젝트 생성 (3).jpg
상단의 ‘프로젝트 선택’ 버튼을 클릭한 후, 만든 프로젝트를 선택합니다. ‘BigQuery에서 쿼리 실행’ 버튼을 눌러 빅쿼리 콘솔을 실행합니다.
[데이터리안] 빅쿼리 프로젝트 생성 (4).jpg
아래와 같이 페이지가 표시된다면 프로젝트가 잘 만들어진 것입니다.
image.png
빅쿼리 샌드박스(무료 프로젝트) 사용 시 주의점
매월 활성 스토리지 10GB, 쿼리 데이터 1TB 제공
데이터 세트 내 테이블, 파티션 데이터는 60일 후 삭제*됩니다.
그 외 자세한 내용은 BigQuery 샌드박스 사용 설정 문서를 참고해 주세요.
*무료 계정으로 만들었던 테이블 데이터를 60일 이상 유지하고 싶으신 경우, 유료 계정으로 변경 후 테이블 별로 Table expiration을 변경해 주셔야 합니다.
BigQuery에 데이터를 연결하는 3가지 방법
빅쿼리에서 데이터를 연결하는 방법은 크게 세 가지가 있습니다. 아래 세 가지 방법 중 여러분의 상황에 적합한 방법을 찾아 차근차근 따라 해보시면 아주 쉽게 빅쿼리에서 데이터를 보실 수 있을 거예요.
Google에서 제공하는 공개 데이터(Google Merchandise Store) 연결
CSV 데이터 BigQuery에 직접 업로드
GA4 데이터 BigQuery에 연결
따로 준비된 데이터는 없지만 구글에서 제공하는 샘플 데이터를 보면서라도 빅쿼리 사용법을 알아보고 싶다 하시는 분들은 ‘Google에서 제공하는 공개 데이터(Google Merchandise Store) 연결하기'를 따라 해보시면 되고요. CSV 파일로 된 데이터가 있다 하시는 분들은 ‘CSV 데이터 BigQuery에 직접 업로드하기’를 참고해 보시면 됩니다. 마지막으로 GA4로 데이터를 볼 수 있는 웹사이트를 운영하시는 분들은 ‘GA4 데이터 BigQuery에 연결하기’ 파트를 참고해 보시면 좋을 것 같아요.
1. Google에서 제공하는 공개 데이터(Google Merchandise Store) 연결하기
직접 GA4 계정을 연결해보기 어려운 분들이나 빅쿼리를 사용해보고 싶은데 GA4에 연결한 웹사이트 데이터가 많지 않은 분들은 Google Merchandise Store 데모 계정 데이터를 빅쿼리에서도 연결해서 사용해 보실 수 있어요.
Google Merchandise Store 데이터란?
Google Merchandise Store는 Google 브랜드의 상품을 판매하는 전자상거래 사이트입니다. Analytics Hub에서 제공하는 Google Merchandise Store 데이터 셋에서는 트래픽 소스 데이터, 콘텐츠 데이터, 거래 데이터를 볼 수 있습니다.
탐색기에서 ‘+ 추가’ 버튼을 클릭합니다.
1. 탐색기에서 + 추가 버튼 클릭.png
‘공개 데이터 세트’ 메뉴를 클릭해 주세요.
2. 공개 데이터 세트 클릭.png
검색창에서 ‘Merchandise’를 검색합니다.
3. Merchandise 검색.png
‘데이터세트 보기’를 클릭해 주세요.
4. 데이터세트 보기 클릭.png
‘bigquery-public-data’ 프로젝트가 탐색기에 추가되었는지 확인해 주세요.
[데이터리안] 빅쿼리 - merchandise 데이터 (1).png
6. 왼쪽의 ► 아이콘을 클릭해 메뉴를 펼치면 ‘google_analytics_sample’ 데이터 세트를 확인할 수 있습니다.
[데이터리안] 빅쿼리 - merchandise 데이터 (2).png
2. CSV 데이터 BigQuery에 업로드 하기
빅쿼리에 업로드할 CSV 데이터를 준비합니다. 따로 준비된 CSV 데이터가 없다면 아래 샘플 데이터를 다운로드합니다. 아래 데이터는 Waiter’s Tips 데이터를 일부 샘플링한 데이터로 Waiter's Tips 데이터의 원본은 여기이며, CC0 Public 1.0의 적용을 받습니다.
tips_sample.csv
CSV 데이터를 업로드하기 위해서는 기존에 만들어둔 프로젝트 하위에 데이터 세트를 먼저 만들고 그 안에 테이블을 만들어 주어야 합니다. 먼저 프로젝트 오른쪽에 있는 더 보기 버튼을 클릭하여 ‘데이터 세트 만들기’를 선택합니다.
[데이터리안] 빅쿼리에 CSV 연결하기 (1).jpg
데이터 세트 만들기 창에서 ‘데이터 세트 ID’를 지정해 주고 만들기 버튼을 클릭합니다. 하단의 위치 유형과 위치별 가격 책정 방법에 대한 정확한 설명은 빅쿼리 공식 문서를 참고해 보세요.
[데이터리안] 빅쿼리에 CSV 연결하기 (2).jpg
프로젝트 하위에 데이터 세트가 잘 만들어졌다면, 해당 데이터 세트를 클릭해 줍니다. 데이터 세트 정보 열람 창이 뜨면 오른쪽 상단에 위치한 ‘테이블 만들기’ 버튼을 클릭합니다.
[데이터리안] 빅쿼리에 CSV 연결하기 (3).jpg
테이블 만들기 창이 뜨면 상단에 테이블 만들 소스란에서 ‘업로드’를 선택해 줍니다.
[데이터리안] 빅쿼리에 CSV 연결하기 (4).jpg
파일 선택란 우측의 ‘찾아보기’ 버튼을 눌러 업로드할 CSV 파일을 찾아줍니다.
[데이터리안] 빅쿼리에 CSV 연결하기 (5).jpg
파일 불러오기를 마쳤다면 파일 선택이 잘 되었는지, 파일 형식은 올바르게 맞춰졌는지 확인합니다.
[데이터리안] 빅쿼리에 CSV 연결하기 (6).jpg
프로젝트, 데이터 세트가 잘 설정되었는지 확인한 후 데이터를 저장할 테이블명을 작성합니다.
[데이터리안] 빅쿼리에 CSV 연결하기 (7).jpg
데이터 스키마를 설정해 줍니다. 특별히 컬럼명, 데이터 타입 수정이 필요한 것이 아니라면 자동 감지를 체크해 주면 됩니다. 컬럼명, 데이터 타입 수정이 필요한 경우에는 스키마 수동 지정 기능(텍스트로 편집, 필드 추가)을 이용합니다.
[데이터리안] 빅쿼리에 CSV 연결하기 (8).jpg
고급 옵션에서는 쓰기 환경설정, 필드 구분 기호, 건너뛸 헤더 행을 설정할 수도 있습니다. 특별하게 설정해 주고 싶은 항목이 없다면 고급 옵션은 따로 설정하지 않아도 됩니다.
[데이터리안] 빅쿼리에 CSV 연결하기 (9).jpg
모든 항목이 채워졌다면 하단의 ‘테이블 만들기’를 클릭합니다. 아래와 같이 테이블이 만들어졌다면 성공입니다.
[데이터리안] 빅쿼리에 CSV 연결하기 (10).jpg
3. GA4 데이터 BigQuery에 연결하기
빅쿼리와 연결할 구글 애널리틱스 4 계정 관리자 화면에 접속합니다.
image.png
‘제품 링크’ 섹션에서 ‘BigQuery 링크’를 찾아 클릭합니다.
[데이터리안] 빅쿼리에 GA4 연결하기.jpg
빅쿼리 링크 창이 열리면 연결 버튼을 클릭합니다.
GA4 데이터 빅쿼리와 연결하기 - 빅쿼리 연결.png
연결 설정 창의 BigQuery 프로젝트 선택 항목에서 BigQuery 프로젝트 선택하기를 클릭해 주세요.
GA4 데이터 빅쿼리와 연결하기 - 빅쿼리 프로젝트 선택하기.png
프로젝트 선택 창에서 기존에 만들어놓은 빅쿼리 프로젝트를 선택하고, 확인을 눌러주세요.
GA4 데이터 빅쿼리와 연결하기 - 프로젝트 선택.png
설정 구성에서는 빈도를 설정할 수 있습니다. 무료 계정이신 분들은 ‘매일’을 선택해 주세요.
데이터 전송 빈도
매일 : 무료 계정 사용 가능, 하루에 한번 전날 모아진 데이터를 한꺼번에 전송.
스트리밍 : 유료 계정만 사용 가능, 실시간 데이터 전송. 몇분 이내에 당일 데이터를 사용할 수 있음.
GA4 데이터 빅쿼리와 연결하기 - 설정.png
이제 GA4 데이터를 빅쿼리에서 볼 수 있습니다! 24시간 이후 빅쿼리에서 프로젝트를 확인해 보시면 아래와 같이 데이터를 확인하실 수 있습니다.
GA4 데이터 빅쿼리와 연결하기 - 결과 데이터.png
자 이제, 빅쿼리에서 데이터를 볼 준비는 모두 마쳤습니다. 다음 글에서는 빅쿼리에서 SQL을 사용하여 데이터를 확인하는 방법에 대해 알아보겠습니다.
참고 자료
[BigQuery] 데이터 웨어하우스란?
[BigQuery] BigQuery 샌드박스 사용 설정
[BigQuery] BigQuery 공개 데이터세트
[BigQuery] Analytics Hub 소개
[BigQuery] BigQuery Cloud Storage에서 CSV 데이터 로드
[GA4] BigQuery Export


conversion_type

시리즈 내 순서

conversion_text

멤버 전용

대표 이미지

공개 가능

작성일

예상 읽기 시간

전환 텍스트

글쓴이

시리즈

상단 노출

전환 유형

요약

제목

빅쿼리에서 데이터를 연결하는 방법은 크게 세 가지가 있습니다. 여러분의 상황에 적합한 방법을 찾아 차근차근 따라 해보시면 아주 쉽게 빅쿼리에서 데이터를 보실 수 있을 거예요.

Google BigQuery (1) 빅쿼리에 데이터를 연결하는 3가지 방법

Google BigQuery는 왜 이렇게 특이한 문법을 요구하는 데이터를 만들었을까요.

Google BigQuery (2) UNNEST의 필요성과 사용법

BigQuery에 데이터를 연결하는 3가지 방법

Google BigQuery (1) 빅쿼리에 데이터를 연결하는 3가지 방법

Contents

Google BigQuery 모아보기

함께 읽어보면 좋은 글

UA vs GA4 달라진 점 6가지

GA4 보고서의 기초 (2) 사용자 컬렉션 개괄

실무 GA4 필수 설정 (5) 개발자 트래픽 제외하기

데이터 분석 소식을
한 달에 한 번 받아보세요

Google BigQuery (1) 빅쿼리에 데이터를 연결하는 3가지 방법

Contents

Google BigQuery 모아보기

함께 읽어보면 좋은 글

UA vs GA4 달라진 점 6가지

GA4 보고서의 기초 (2) 사용자 컬렉션 개괄

실무 GA4 필수 설정 (5) 개발자 트래픽 제외하기

데이터 분석 소식을 한 달에 한 번 받아보세요

데이터 분석 소식을
한 달에 한 번 받아보세요