김민주2022년 5월 15일이 글은 미디엄에 게재된 Taylor Brownlow의 아티클(Data & Analytics Trends to Watch in 2022)을 번역한 내용입니다. 2022년 2월에 나온 아티클을 2022년 5월에 번역해 올리지만 여전히 흥미로운 이야기들이 있네요. 번역에 대한 피드백은 언제나 환영합니다. (minju@datarian.io로 보내주세요) 그럼 재밌게 읽어주세요!
이미 2022년이 시작된 지 꽤 되었지만...
이미 2022년이 시작된 지 꽤 되었지만, 여전히 올 한해 데이터 분석 분야의 전망에 대해 공유하는 게 의미있다고 생각했습니다.
지난 달 제가 속해있는 팀 멤버들과 웨일스에서 런던까지 차를 타고 가는 동안 이야기했던 내용을 글로 정리해보았습니다. 그때 나눈 대화만큼이나 진지함과 유머 사이를 오가는 내용이에요.
1. 데이터 툴은 더욱 세분화되고, 데이터 팀은 넘쳐나는 선택지에 고통받게 됩니다 [확실히]
맞아요. 여러분만 그렇게 생각한 게 아니었어요. 작년 한 해 동안 많은 데이터 툴들이 새롭게 등장했는데요. 이 툴들은 점점 더 세분화된 영역을 다루고 있습니다. Benn Stancil은 최근 글에서 이렇게 이야기합니다.
대신에, 데이터 스택의 프론트 부분에서는 조금씩 다르게 변형한 툴이 넘쳐나고 있습니다. - 전통적인 BI 툴, 모던 BI 툴, headless BI 툴, 오픈소스 BI 툴, 비트코인 베이스 BI 툴 - 분석을 위한 노트북, SQL을 위한 노트북, 협업을 위한 노트북, 앱을 위한 노트북, 노트북을 위한 앱... - 데이터 시각화 툴, 노트북을 위한 데이터 시각화, 데이터 시각화를 위한 노트북 - 팀을 위한 SQL 에디터, SQL 쿼리를 작성하고 싶지 않은 사람들을 위한 SQL 에디터, Snowflake 고객을 위한 SQL 에디터 - 협업 워크스페이스, 이것저것 다 합쳐놓은 툴 - 우리가 버릴 수 없는 스프레드시트, 우리가 버릴 수 없는 스프레드시트를 대체하는 스프레드시트, 다시 만든 스프레드시트, BI 스프레드시트 이런 툴은 계속해서 생겨나고 있습니다.[1]
스타트업은 큰 비전을 달성하기에 앞서 작은 문제를 잘 푸는 데 집중해야하므로 이런 전략이 놀랍지는 않습니다. 놀라운 것은 우리가 범용적인 툴을 한두 가지 구매하기보다 전문화된 툴을 여러 개 구매하는 경향이 있다는 점이에요. 이런 방식이 적합한 상황도 있겠지만, 대부분의 회사에서는 문제가 되기 쉽습니다.
넘쳐나는 선택지와 고통받는 데이터 팀...
이미 저희 팀에서는 데이터베이스에서 데이터를 추출하고, 추출한 데이터를 분석하고, 분석 결과를 시각화하고, 시각화한 결과물을 공유하고, 데이터 모델링을 하고, 모델링의 내용을 문서화하고, 모델링의 버전을 컨트롤하는 것 등 대부분의 업무에 사용하는 툴을 주기적으로 바꾸고 있습니다. 그리고 거기에 꽤 지쳤습니다.[2]
이 워크플로우에 툴을 더 추가하는 건 무서운 일이에요. 연구 결과에서 이야기하는 것처럼[3] (그리고 개인적인 경험으로 아는 것처럼) 다양한 업무와 툴에 주의력이 분산될수록 우리는 점점 비합리적이고, 덜 지능적이고, 집중력을 잃게 됩니다. 이 사실을 많은 팀이 굳이 겪어보고 나서야 깨닫게 될까 걱정스럽습니다.
2. 데이터 팀들은 미션을 만들고 폐기합니다 [어쩌면]
2021년 말 소문으로 들려오던 것이 2022년 초 이미 트렌드가 되고 있습니다. 데이터 팀에서 미션을 만들고 싶어 하는 것은 이해가 됩니다. 목적 의식을 만들어 내고, 팀 내의, 더 나아가서는 비즈니스 내부에서 기대치를 재정의할 수 있으니까요.
이런 이야기를 들으면, 머릿속을 스쳐 지나가는 장면이 있습니다. 팀의 미션을 정하는 세션에 참여했을 때인데요. 우리 팀의 비전에 대해, 어떻게 하면 “최고의 데이터 테크놀로지”를 가지고 “더 나은 비즈니스 의사결정을 할 수 있을지” 논의했습니다. 하지만 그 목표를 달성하지는 못했습니다. 이유는 목표를 잊어버려서가 아니라 그냥 진짜로 어려운 일이라서 였어요.
미션을 정해보는 건 좋습니다. 다만, 여러분이 진짜로 만들고 싶은 변화가 무엇인지 이야기할 수 있는 팔로업 세션이 필요합니다. 그러고 나면 눈에 보이는 성과를 만들어낼 수 있을지도 모릅니다.
3. 노트북과 데이터 카탈로그는 기업화 됩니다 [확실히]
2021년은 노트북과 데이터 카탈로그에 큰 변화가 있었습니다. 사람들은 더 이상 “노트북 / 데이터 카탈로그가 왜 필요해요?”라고 묻지 않고 “어떤 걸 써야 하나요?”라고 묻기 시작했습니다. 드디어, 우리의 일을 잘 하기 위해서는 대시보드 이상의 것이 필요하다는 데에 합의하게 되었습니다. 그리고 노트북은 툴킷의 추가 구성품이라는 것도요. 게다가 데이터 카탈로그는 정제된 데이터를 만드는 데이터 모델링의 흐름과 접근성이 좋은 새로운 노트북들이 가져온 자연스러운 결론 같습니다.
올해 이 게임의 승자는 누가 될 것인지가 궁금합니다. 기존 툴이 Snowflake 나 Azure 이 이미 만든 것과 같은 자체 노트북을 만들게 될까요? 모두 각자의 데이터 카탈로그 피처를 만들게 될까요?
그것도 아니라면, 새로운 스타트업 솔루션이 기존 시장을 재편하게 될까요? (개인적으로는 언제나 언더독을 응원합니다.)
4. 파이썬(python)은 대세에서 물러나게 됩니다 [어쩌면]
파이썬은 지난 5년간 공고히 1위의 자리를 지켰습니다. R의 대체제로 시작해 모든 데이터 엔지니어, 데이터 사이언티스트, 데이터 분석가가 반드시 알아야 할 언어로 자리매김했습니다. 그런데 이 흐름이 앞으로도 이어질까요?
Mehdi Ouazza 는 그의 최근 글(“The Battle for Data Engineer’s Favorite Programming Language Is Not Over Yet”[4])에서 이렇게 주장합니다. Rust는 데이터 엔지니어들을 파이썬 바깥의 세계로 나오도록 유혹할지 모릅니다. Rust는 파이썬보다 고평가되고 있고, 더 빨리 배울 수 있기 때문입니다. 더 중요한 것은 데이터 엔지니어링 업무에 Rust가 사실 더 적합할지 모른다는 점입니다.
데이터 엔지니어의 반대편에 있는 분석가의 관점에서 보면, 데이터 가공과 탐색을 위해 파이썬과 pandas🐼 를 사용해오던 분석가들은 파이썬을 사용하지 않을 이유가 넘쳐납니다. Snowflake 같은 SQL 데이터 웨어하우스는 전통적인 SQL의 사용성을 하루하루 빠르고 혁신적으로 개선하고 있습니다. 훨씬 느린 파이썬에서 데이터를 가공하는 SQL IDE를 쓸 필요가 없어지고 있습니다.
5. “데이터를 위한 구글 스프레드시트”를 뛰어넘는 협업툴이 등장하게 될 겁니다 [확실히]
최고의 혁신은 빌려오는 것이기도, 새롭게 창조되는 것이기도 합니다. 데이터 업계에서는, 인기 있는 솔루션들이 “데이터를 위한 OO”이라는 태그라인을 사용하는 것을 자주 보게 됩니다. 예를 들어, dbt의 데이터를 위한 소프트웨어 엔지니어링은 영리하게도 소프트웨어 엔지니어들이 데이터 엔지니어를 위해 제공할 수 있는 것을 보여주면서 업계를 사로잡았습니다.
dbt의 사례를 보면, 단순히 소프트웨어 엔지니어 세계의 모든 것을 가져와서 바꿔 끼워놓은 게 아니었습니다. 필요한 부분만 가져와서 더 낫게 만들었죠. 데이터 엔지니어링과 소프트웨어 엔지니어링 사이의 비슷한 점과 차이점을 잘 이해하고 있었기 때문에 가능했던 일입니다.
불행히도, 모두가 그렇게 잘 해내진 못합니다. 최근, “협업”툴들이 넘쳐나고 있는데, 그들의 정체는 데이터를 위한 구글 스프레드시트 기능을 제공해주는 것이 다입니다. 아무도 SQL 쿼리를 다른 사람과 함께 실시간으로 작성하고 싶어 하지 않습니다. 노트북에 코멘트를 추가하는 것은 우리가 매일 하는 협업에서 매우 작은 부분에 지나지 않습니다. 솔직히, 그걸로는 충분하지 않습니다.
2022년은 누군가[5] 데이터 분야에서의 협업에 창의력과 분석적 사고를 더해 판을 뒤흔들 해입니다.
6. 메타버스에서도 데이터를 이야기할 거에요... 거기에 비즈니스는 없을지라도 [어쩌면]
메타버스는 혁신, 아이디어, 잠재력이 가득한 매력적인 녹색의 땅이죠. 그리고 누군가는 그 가능성의 땅을 걸어 다니고 싶어할 거에요. 직접 데이터를 피봇할 수 있기를 바라면서 혹은 큰 막대 그래프 기둥 사이를 걸어 다니기를 바라면서 혹은 다른 실없는 생각을 하면서요. (메타버스를 좋아하는 분들께는 미안합니다. 여러분을 저격하는 건 아니에요) 올해가 바로 메타버스가 접근 가능해지고 메타버스 안에서 놀거리를 만들고 그게 동작하는지 보면서 새로운 활용의 물결에 설레는 때일 거에요. 데이터도 함께일 거고요.
그리고 사실, 저도 그 안에 있을 거에요.
7. 라스트마일은 다음 데이터 메시*가 될 겁니다. [확실히]
2021년 데이터 메시에 대한 이야기로 세계가 떠들썩했습니다. 그게 뭐였냐고요? 글쎄요, 여러분이 누구와 이야기하느냐에 따라 달라질 것 같네요. 우리 모두가 그게 뭔지 알고 싶었다는 것만은 분명합니다. 분석의 라스트마일에 대해서도 의견이 분분합니다. reverse ETL일까요? headless BI 일까요? 완전히 다른 무엇일까요?
관련해서 제가 썼던 글이 있습니다.[6] 하지만 다른 사람은 분명 여러분에게 다른 이야기를 할 거에요. 어느 쪽이든, 여러분은 올해 라스트마일에 대해 많은 이야기를 듣게 될 겁니다. 그러니 마음의 준비를 해두세요.
*역자주) Data Mesh: 데이터 관리와 운영의 탈중앙화를 통해 필요한 데이터를 쉽게 사용하기 위한 MSA 기반의 데이터 아키텍쳐
8. 대면 데이터 행사가 얼마나 소중했는지 다시 기억해낼 거에요 [어쩌면]
올해는 우리 모두 다시 마법을 기억해낼 해입니다. 공통의 관심사가 있는 누군가와 차가운 피자와 따뜻한 맥주를 사이에 두고 연결되는 것이나 향수를 과하게 뿌린 옆자리 동료와 불편한 의자에 앉아 최신 트렌드를 배우는 것 말이에요. 2020년 3월에 가입했던 그 많은 슬랙 채널들을 정리하고, 몇몇 뉴스레터는 구독 해지하고, 실제와 가상 세계의 균형을 찾아가게 될 거에요.
9. 셀프서비스가 다시 관심을 받게 될 거에요 [확실히]
몇 년 전, 셀프서비스에 대해 많은 이야기가 오갔습니다. 우리는 모두 같은 꿈을 꿨습니다. 우리의 비즈니스 파트너들이 직접 그들의 분석을 할 수 있게 되고, 그래서 우리는 데이터 팀으로서 유의미한 활동을 할 수 있는 여유를 갖게 되는 것 말이죠. 그리고 우리는 모두 같은 절망적인 결론에 도달했습니다. 셀프서비스는 인하우스가 아니라면 동작하지 않는다는 것을요. 그래서 우리는 몇 년을 들여 신뢰할만한 데이터 파이프라인을 구축하고 더 나은 데이터 스토리를 전달하는 데 집중했습니다. 저희는 이제 다시 시도해보려고 합니다. 과연 잘 될지는 모르겠지만요.
최선을 다할 거란 것만 알아주세요! 라스트마일에 대한 제 생각이 맞다면, 셀프서비스는 자연스럽게 다시 활력을 얻게 될 거에요. 더 이상 꿈이 아닌 현실이 될 수도 있고요.
10. 의사결정 사이언티스트(Decision Scientists)가 올해의 분석 엔지니어(Analytics Engineers) [어쩌면]
앞선 예측에서 언급한 것과 같이, 비즈니스에, 구체적으로 말하자면 의사결정에 데이터를 어떻게 더 잘 반영할 것인가가 주요한 쟁점이 될 겁니다. 뻔한 해결책 중의 하나는 데이터가 의사결정에 효과적으로 사용되고 있는지 확인하는 포지션을 만드는 거에요.
Decision Scientist(또는 Operation Researcher)들은 수년 전부터 있어왔고, Meta 같은 회사들은 이미 Decision scientist를 고용하고 있어요.[7] 그러나 2022년은 Decision scientist가 주변인에서 주류가 되는 해가 될 겁니다.
이 생소한 직무는 데이터와 비즈니스 지식과 심리학의 교집합으로 굴러갑니다. 가능한 최선의 비즈니스 성과를 내기 위해 전문적으로 보장된 데이터를 최적의 방법으로 사용합니다. 적절한 조직과 구조 안에서라면 그들은 큰 변화를 이끌어낼 수 있습니다.
마무리
이 예측들이 완전히 틀릴지라도, 한 가지 확신하는 게 있습니다. 2022년은 데이터 업계에 있어 흥미진진한 한 해가 될 거라는 점입니다. 2022년을 한 달 반 정도 지나면서, 데이터 스택 번들링과 트위터의 메타버스가 떠오른 것을 보았습니다. 데이터를 탐색하는 새로운 방법을 제시하는 툴들이 새로 나오고 몇몇의 큰 시리즈 A 발표들이 곧 있을 혁신과 성장을 이야기하는 것을 보았습니다.
여러분은 어떻게 생각하시나요? 제가 말한 것 중에 무엇은 맞고, 무엇은 틀리다고 보시나요? 혹시 아예 빼먹은 것은 없었나요?
올해 저희 블로그 More than Numbers 에서 이 토픽들을 다룰 예정입니다. 2022년의 트렌드를 계속해서 확인하고 싶다면 확인해보세요.
이 글은 미디엄에 게재된 Taylor Brownlow의 아티클(Data & Analytics Trends to Watch in 2022)을 번역한 내용입니다.
참고 자료
[1] Benn Stancil, “Business in the back, party in the front”. Feb 4, 2022.
[2] Taylor Brownlow, “The Analytical Workflow is broken”. Feb 18, 2021.
[3] Jonathan Hari, Stolen Focus: Why You Can’t Pay Attention — And How to Think Deeply Again. 2022.
[4] Medhi Ouazza, “The Battle for Data Engineer’s Favorite Programming Language Is Not Over Yet”. Jan 27, 2022.
[5] Selfish plug for Count, where we’re back in Beta working on this very problem. Learn more here.
[6] Taylor Brownlow, “Modern Data Stack, It’s Time for Your Closeup”. Nov 8, 2021.
[7] Open role at Meta for a Decision Scientist.
- 1. 데이터 툴은 더욱 세분화되고, 데이터 팀은 넘쳐나는 선택지에 고통받게 됩니다 [확실히]
- 2. 데이터 팀들은 미션을 만들고 폐기합니다 [어쩌면]
- 3. 노트북과 데이터 카탈로그는 기업화 됩니다 [확실히]
- 4. 파이썬(python)은 대세에서 물러나게 됩니다 [어쩌면]
- 5. “데이터를 위한 구글 스프레드시트”를 뛰어넘는 협업툴이 등장하게 될 겁니다 [확실히]
- 6. 메타버스에서도 데이터를 이야기할 거에요... 거기에 비즈니스는 없을지라도 [어쩌면]
- 7. 라스트마일은 다음 데이터 메시*가 될 겁니다. [확실히]
- 8. 대면 데이터 행사가 얼마나 소중했는지 다시 기억해낼 거에요 [어쩌면]
- 9. 셀프서비스가 다시 관심을 받게 될 거에요 [확실히]
- 10. 의사결정 사이언티스트(Decision Scientists)가 올해의 분석 엔지니어(Analytics Engineers) [어쩌면]
- 마무리
- 참고 자료
