실무에서 데이터 분석가가 자주 하는 실수 3가지
안녕하세요, 데이터리안 혜정입니다.
여러분이 일하면서 가장 크게 했던 실수는 어떤 것인가요? 아무리 신경 써서 일을 한다고 해도, 세상에 완벽한 분석가는 없기 마련인데요. 이번 글에서는 현업 분석가들의 생생한 실수담을 모아봤습니다.
저희가 운영하는 오픈 카톡방과 데이터리안 인스타그램, 유튜브를 통해서 사연을 받았습니다. 다른 분석가들은 어떤 실수를 하고, 또 그 안에서 무엇을 배웠는지 사연을 통해 확인해 볼게요.
고객사로 나간 엉망인 데이터
“데이터 분석가로 입사하고 얼마 되지 않아 고객사에게 데이터를 보낼 일이 있었어요. 그런데 데이터의 조인키를 잘못 써서 아주 엉망인 데이터를 고객에게 보냈습니다. 왜 더블 체크도 하지 않은 건지, 지금의 제가 그 당시 저의 사수였다면 혼냈을 거예요ㅋㅋㅋ”

_ 닉네임 (5년 차 데이터 분석가)
선미-500-min.png
선미 : 저도 비슷한 실수를 한 적 있어요. 저는 수업할 때마다 얘기하는 건데, 집계 함수는 NULL을 무시하잖아요. COUNT(특정 컬럼)를 하면 NULL이 있는 값의 개수는 제외하고 세주고, AVG(특정 컬럼)를 하면 NULL은 무시하고 나머지 것들을 가지고 평균을 계산해 주기 때문에 NULL은 분자에도 분모에도 안 들어가는 거죠. 그래서 집계할 데이터에 NULL이 있는지 없는지 탐색적 데이터 분석(EDA)을 다들 해보라고 하잖아요. 근데 제가 분석할 때는 이 사실을 망각해서 숫자가 잘못 나간 적이 있습니다.
그래도 다행히 NULL 데이터가 그렇게 많지는 않기 때문에 소수점 몇 개 차이 나는 정도였어요. 평균을 계산해서 결과가 15.48이었다고 하면, 실제로는 15.49 이 정도라 0.01, 0.001 정도 차이 나는 거였어요. 당시 사수분께 말씀드렸더니, 크게 문제가 없으니 그 정도면 굳이 안고쳐도 된다고 하시더라고요. 별 탈 없이 넘어가서 다행이었어요.
[실무 팁] 탐색적 데이터 분석(Exploratory Data Analysis, EDA)
COUNT(), AVG() 와 같은 집계 함수는 NULL 값을 계산에서 제외합니다. 따라서 사전에 탐색적 데이터 분석을 통해 데이터 분포를 먼저 파악해야 해요. NULL 값의 유무를 미리 확인해야, 의도치 않은 수치 왜곡을 방지하고 분석의 신뢰도를 높일 수 있습니다.
실무에 익숙해지다 보면 이 과정을 건너뛰고 바로 쿼리부터 작성하는 경우가 종종 있는데요. 아무리 익숙한 데이터라도 내가 미처 몰랐던, 고려하지 않았던 조건이나 이상치가 숨어있을 수 있습니다. 돌다리도 두드려 보고 건넌다는 마음으로 탐색적 데이터 분석을 습관화해 보세요. 만약 여러분이 지금 진행 중인 분석에서 이 과정을 놓쳤다면, 동료들에게 분석 결과를 공유하기 전 다시 한번 살펴보시길 추천합니다. 틀린 데이터가 있을 수 있거든요.
결과가 나오지 않는 SQL 쿼리
1. SELECT * FROM 테이블…
“저는 SELECT * FROM 테이블 이런 SQL 쿼리를 ‘주문’ 같은 (데이터가 많은) 테이블에다실행한 적이 있어요. 쿼리가 실행되다가 아마 타임아웃이 났을 텐데 타임아웃이 나기 전에 담당자에게 전화가 왔어요. ‘이렇게 하시면 안 됩니다’하고요. 근데 아마 그 담당자도 식은땀이 나지 않았을까요? ‘내 서버가 죽기 직전이다!’ 이러면서요ㅎㅎ 그래도 제가 쿼리를 실행한 DB는 분석용 DB라 서비스 자체에 오류를 일으키지는 않아서 다행이었어요.”

_ 선미 (데이터리안 데이터 분석가)
선미-500-min.png
선미 : 제가 쿼리를 실행했던 DBMS가 Amazon Redshift였던 것 같아요. 근데 거기는 LIMIT를 쓰더라도 SELECT * 이렇게 적는 것도 지양하라고 하더라고요. 왜냐하면 쿼리를 실행하면 컬럼마다 데이터를 읽기 때문에, '모든 컬럼을 다 읽어라(SELECT *)'라고 하면 굉장히 비효율적인 쿼리가 실행됩니다. LIMIT 1을 하더라도 꼭 보고 싶은 컬럼을 명시해서 쓰라고 지침을 받았었어요.
실무를 하다 보면 DBMS를 다양하게 사용하실 텐데요. 서비스 DB에도 여러 DB를 사용하고, 분석용으로 사용하는 DB도 다르고, 이직을 하면 사용하는 DBMS가 또 바뀌기도 합니다. 그래서 제가 SQL 강의를 할 때는 '실무에 가셔서 쓰는 테이블은 지금 우리가 다루는 테이블과 다르다. 크기가 크니까 꼭 LIMIT를 쓰시라.' 이렇게 교육을 드리고 있습니다.
image.png
SELECT * FROM 테이블 쿼리를 실행할 때 제가 진짜 주니어였어요. 그때는 '내가 원하는 결과가 출력되면 만사형통'이라고 생각했기 때문에 이상한 쿼리도 많이 작성했거든요. 예를 들어, 윈도우 함수로 깔끔하게 해결할 수 있는 쿼리도 서브쿼리를 여러 개 중첩해서 쓰는 식이었죠. 그러다 보니 SQL 쿼리가 1시간, 2시간, 길게는 하루 종일 실행된 적도 많았어요.
그때는 쿼리를 다른 방식으로 작성할 수 있다는 사실을 몰랐어요. 당시 저처럼 ‘SQL 성능 최적화’ 지식이 필요한데, 정작 내가 필요한 게 성능 최적화인지 모르는 분들이 많더라고요. '어? 저거 난데?' 이렇게 생각하신다면 'SQL 성능 최적화'라는 토픽으로 공부해 보시는 거 추천드립니다. 그러면 실수 아닌 실수를 방지할 수 있어요. 데이터리안의 SQL 캠프 | 마스터반 커리큘럼에도 배우면 좋을 토픽들이 잘 정리가 되어 있어요. 혼자 공부를 하실 분들도 마스터반 커리큘럼 참고해서 공부해 보시면 좋겠습니다.
[데이터리안] 마스터반 커리큘럼_SQL 성능 최적화.png
[실무 팁] SQL 성능 최적화 공부하기
실무에서 다루는 데이터는 연습용 데이터와 달리 규모가 매우 큽니다. 그래서 단순히 결과만 나오게 하는 것을 넘어, 비용과 속도 측면에서 효율적인 쿼리인지를 고민하는 과정이 꼭 필요해요.
쿼리를 실행하는 데에 몇 시간, 며칠 등 긴 시간이 걸려 고민이라면, SQL 성능 최적화를 공부해 보세요. 데이터 처리 방식을 이해하고 작성하면, 매일 쓰던 WHERE, GROUP BY, JOIN 등의 구문을 사용하더라도 훨씬 빠르게 결과를 출력할 수 있을 거예요. 그리고 그동안 내 쿼리가 실행되는데 왜 그렇게 오랜 시간이 걸렸는지, 왜 예상보다 큰 비용이 발생했는지 이해하게 될 거예요.
2. 하루종일 실행 중인 쿼리
“매번 로그에서 뽑아서 보는 데이터가 있었는데, 로그 데이터가 워낙 방대하니까 쿼리를 실행하는 데 시간이 너무 오래 걸리는 거예요. SQL 쿼리를 실행해 놓고 야근하다가 퇴근하고 다음 날 보는 경우도 많았는데요. 나중에 백엔드 개발자분께 이 고민을 얘기하니, '맨날 집계해서 주기적으로 저장해두면 돼요. 나중에 꺼내서 보기만 하면 되지 않아요?'라고 하시더라고요. 그 후에 배치 돌려서 데이터 저장하는 프로세스를 만들어주셨고, 그 뒤로 분석이 정말 편해졌어요.”

_ 보민 (데이터리안 데이터 분석가)
보민-500-min.png
보민 : 그때는 신입 때였으니까 'SQL 성능 최적화' 이런 개념을 잘 몰랐고, 서브쿼리를 많이 사용해서 쿼리를 작성했었어요. SQL 성능 최적화 토픽을 공부했으면 쿼리가 오래 실행되는 문제는 어느 정도 해결되었을 텐데, 지금 생각하면 아쉽네요. 그리고 시간이 지난다고 변하는 지표도 아니었고 심지어 매일 봐야 하는 지표였는데, 이걸 어디에 주기적으로 저장해두면 되겠다는 생각은 못 했었어요.
그래서 내가 이 문제를 해결할 수 있는지도 모르고 누구랑 같이할 수 있는지도 몰랐는데요. 다행히 개발자분과 이야기하면서 '이렇게도 해결을 할 수 있구나' 이해하게 되었습니다. ‘특히 분석가는 다른 직무랑 소통을 많이 해야 하는구나' 하는 것을 깨닫기도 했어요. 만약 SQL 쿼리 실행이 오래 걸려 어려움을 겪고 있다면, ‘SQL 성능 최적화’ 토픽을 공부해 보거나, 다른 직무 동료들에게 조언을 구해 보시면 좋겠습니다.
[실무 팁] 풀리지 않는 문제가 있다면 동료들에게 조언 구하기
어떤 직무든 내 방식대로만 일을 바라보다 보면 마치 경주마처럼 시야가 좁아질 때가 있습니다. 하지만 해결책은 의외로 다른 곳에 있을지도 몰라요. 동료들과 이야기를 나누다 보면 내가 몰랐던 효율적인 방법이나 새로운 기술을 배우기도 합니다. 어려운 문제를 만나 혼자 씨름하고 있다면 동료들에게 고민을 나눠보세요. 혼자서는 보이지 않던 해결의 실마리가 훨씬 빠르게 보일 거예요.
회사에 필요 없는 분석
“보통은 요청받아서 분석을 진행하는 경우가 많은데, 어느 때는 '하고 싶은 분석을 해봐라' 하고 시간을 주신 적이 있었어요. '무슨 분석을 할까' 하고 그동안 봤던 데이터 중에서 제일 궁금했던 것, 재밌어했던 데이터로 주제를 잡은 적이 있어요. 어떤 분석을 할지 정리해서 사수분들께 공유했는데요. 그걸 보고 사수분들이 피드백을 주신 게, '그래서 이 분석해서 뭐 할 건지'였어요. 거기에 답변을 제대로 하지 못했고, 결국 이 분석은 진행하지 않았어요.”

_ 혜정 (데이터리안 데이터 분석가)
혜정-500-min.png
혜정 : 회사에서 데이터를 분석하는 이유는, 이 분석을 해서 프로덕트를 개선하는 등 어떤 목적으로 사용하기 위해서인데요. 당시 저는 회사에서 크게 중요하지도 않은 기능으로 분석 주제를 잡았고, 분석한다고 해서 그 결과를 프로덕트에 적용하기도 어려운 내용으로 주제를 잡았던 거예요. 이전에 그런 분석을 한 적이 없어서 그걸로 분석 주제를 정했었는데, 다시 생각해 보면 그 분석을 안 한 이유가 있었던 거죠.
이런 과정을 겪으면서 '회사에서 쓸모가 있는 분석을 해야 하는구나'를 체감했었어요. 회사가 돌아가는 상황이나 지금 회사에서 주요하게 생각하는 것에 집중했다면, 더 좋은 분석 주제를 쉽게 정할 수 있지 않았을까 생각합니다. 그래서 지금 일할 때는 우리가 하고 있는 일을 왜 하는지에 대해서 동료들에게도, 또 스스로에게도 많이 물어보는 편이에요.
[실무 팁] 내가 하는 일의 가치를 고민하기
바쁘게 실무를 하다 보면 나도 모르게 기계적으로 일을 하거나, 정작 비즈니스에는 큰 도움이 되지 않는 일에 몰두하기도 합니다. 열심히 일하는데도 성과를 인정받지 못해 고민이라면, 내가 공유한 분석 결과가 회사의 어떤 의사 결정에 기여했는지, 그 의미를 다시 한번 생각해 보세요.
만약 비즈니스 목표와 결이 다른 일을 그동안 많이 했다면, 이제부터라도 내가 이 일을 왜 해야 하는지, 이 일을 함으로써 회사에 어떤 임팩트를 줄 수 있는지 먼저 고민해 보시면 좋겠습니다. 일을 하는 이유와 가치를 알면 더 빠르고 효율적으로 일을 할 수 있을 거예요.
완벽한 분석가는 없다
완벽한 사람도, 완벽한 분석가도 당연히 없는 것 같습니다. 그렇지만 실수를 통해서 성장한다면 그 실수가 제 역할을 잘하고 있다고 생각해요. 혹시 오늘도 실수를 해서 자책하고 있다면, 내가 어떤 부분을 몰랐는지, 어떤 게 어려웠는지 꼭 한번 점검해 보세요. 그리고 다음에는 같은 실수를 하지 않는 것을 목표로 해보시면 좋겠습니다. ‘실수를 한다는 것’ 그 자체보다는, 그 실수를 대하는 태도가 가장 중요하니까요.
오늘 저희의 실수담을 통해서 ‘나만 실수를 하는 게 아니구나’ 하는 위로와 공감을 얻으셨길 바랍니다. 데이터 분석가 세 명의 더 많은 이야기가 궁금하다면 아래 유튜브 영상으로 확인해 주세요. 오늘 하루도 수고 많으셨고, 앞으로도 함께 힘내서 일해봅시다!
블로그 글 유튜브 영상으로 보기


완벽한 분석가는 없다! | 데이터 분석 실수담 | #옆자리_분석가 episode_id = 2 [풀버전]

conversion_type

시리즈 내 순서

conversion_text

멤버 전용

대표 이미지

공개 가능

작성일

예상 읽기 시간

전환 텍스트

글쓴이

시리즈

상단 노출

전환 유형

요약

제목

옆자리 분석가들은 어떤 대화를 나누었을까요? 우리도 그들의 대화에 함께해 볼까요?

당신에게도 ‘옆자리 분석가’가 있나요?

데이터 분석가 600명의 이직 사유를 공개합니다.

데이터 분석가들이 이직을 결심하는 이유는 무엇일까?

현업 분석가들의 솔직한 실수담과 그 과정에서 얻은 실무 노하우을 공유합니다.

실무에서 데이터 분석가가 자주 하는 실수 3가지

블로그 글 유튜브 영상으로 보기

실무에서 데이터 분석가가 자주 하는 실수 3가지

Contents

데이터 분석 소식을
매월 받아보세요

🎧 옆자리 분석가 콘텐츠 모아보기

함께 읽어보면 좋은 글

감이 아닌 데이터로, 사회 문제를 더 정확하게 바라보아요

데이터 엔지니어/분석가/사이언티스트 뭐가 다른거죠?

주니어 데이터 사이언티스트에게 하고 싶은 이야기들

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요

실무에서 데이터 분석가가 자주 하는 실수 3가지

Contents

데이터 분석 소식을 매월 받아보세요

🎧 옆자리 분석가 콘텐츠 모아보기

함께 읽어보면 좋은 글

감이 아닌 데이터로, 사회 문제를 더 정확하게 바라보아요

데이터 엔지니어/분석가/사이언티스트 뭐가 다른거죠?

주니어 데이터 사이언티스트에게 하고 싶은 이야기들

데이터 분석 소식을 매월 받아보세요데이터 분석 소식을 받아보세요

데이터 분석 소식을
매월 받아보세요

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요