전용준 / 리비젼컨설팅 대표 / 경영학 박사

 

▲ 전용준 / 리비젼컨설팅 대표 / 경영학 박사

 그 실체에 대한 다양한 논란을 불러일으키면서도 최근 몇 년에 걸쳐 빅 데이터에 대한 관심은 꾸준하게 그리고 매우 급격하게 높아져만 가고 있었다. 하지만, 세상 모든 일이 그렇듯이 인기는 영원할 수 없다. 빅 데이터에 대한 관심도 이제는 아마 충분히 높아진 듯하다. 익숙해지면 더 이상은 새롭지 않고 관심도 줄어들 수 밖에 없다. 한편 이런 변화는 결국 빅 데이터도 이제 다음 단계로 넘어가야하는 때가 왔음을 의미하는 것이리라. 

빅데이터, 더 이상 새롭지만은 않다 

그림은 ‘빅데이터’라는 키워드를 사용한 검색량의 추이를 구글이 집계한 지표의 결과이다. 2012년을 기점으로 검색량이 급격하게 늘기 시작해 지난해 하반기 까지도 검색이 꾸준하게 늘어왔으나 연말을 기점으로 주춤해지는 모습을 분명하게 보여주고 있다.

 


▲ 그림: 빅데이터 검색추이 (구글트렌즈: 2014년 1월21일)

 

 

그림을 통해 살펴본 관심의 추이는 어디까지나 일반 대중의 관심을 나타낸다. 또 한글 ‘빅데이터’ 키워드로 검색한 것이기 때문에 우리나라 사람들의 관심을 나타낸다. 하지만 이런 트렌드는 비단 국내에서만의 현상은 아닌듯하다. 지난해 하반기를 중심으로 서서히 빅 데이터에 대한 관심이 피크에 달했다는 해외에서의 분석이나 주장들도 많이 대두되고 있었다. 

조사기관인 가트너에서는 새로운 기술들에 대해 하이프 사이클(Hype Cycle)이라는 개념을 통해 확산 과정을 설명하고 예측치를 내놓는다. 물론 빅 데이터에 대해서도 나름의 전망을 내놓아왔다. 가트너 역시도 이미 피크에 도달했다는 견해를 보이고 있다. 

이처럼 지금까지는 빅 데이터에 대해 단순히 개념이 전파되고 기대가 커지는 과정에 있었다면 그 다음 단계는 무엇일까? 가트너의 Hype Cycle을 따르면 곧이어 기대가 실망으로 바뀌고 거품이 빠지는 과정이 진행된다고 한다. 하지만 적어도 국내에서의 빅 데이터는 거품이 빠지기에는 조금 이른 감이 있다. 아직 많은 시도와 투자도 이루어지지 못했기에 실망을 하기에도 충분한 사례와 근거가 없는 상태로 보인다. 

빅 데이터의 바람직한 다음 단계는 무엇일까? 

아직까지는 빅 데이터에 대한 국내에서의 투자가 그다지 활발해 보이지는 않는 것도 사실이지만, 만일 투자들이 본격화된다고 하더라도, 잘못된 방향으로 투자가 계속된다면 불필요한 시행착오와 그에 따른 낭비와 희생이 커지게 될 것이다. 결코 바람직하지 않다. 하지만 막연한 기대라 할 수 있는 거품은 빠지되 불필요한 낭비는 최소화되면서 빅 데이터라는 새로운 패러다임을 통해 얻어내고자 하는 것을 얻어내는 단계로 빠르게 전환할 수 있다면 그것은 바람직할 것이다. 빅 데이터가 의미하는 바를, 그리고 빅 데이터를 통해 할 수 있는 것을 보다 빠르게 그리고 구체적으로 이해할 수 있다면 그것은 빅 데이터 개념 확산의 다음 단계로서 가장 최상의 시나리오일 것이다.

어느 정도 개념을 이해한 조직이나 사람들의 최근의 움직임을 보면 몇 가지 유형으로 구분될 수 있어 보인다. 첫번째는 이미 실제로 대규모의 데이터를 보유하고 있었으며 새로운 기술을 적용해야만 하는 명확한 대상과 필요가 존재하는 경우이다. 이들은 이미 개념에 대한 관심보다는 기술적인 이슈들을 해결할 수 있는 더 나은 대안들을 탐색하는데 집중하는 모습니다. 두번째는 전문 데이터 분석가 내지는 데이터 사이언티스트로 불릴 수 있을만한 사람들이다. 이들은 새로운 환경에서 사용되는 소프트웨어, 플랫폼, 그리고 데이터 처리 방식들을 폭넓게 익히고 테스트하기에 바쁘다. 기존에 대량 데이터 분석을 위해 사용해 오던 특정 환경과 도구를 벗어나 좀 더 유연하고, 대량 데이터 처리에 적합하고, 지능적인 어플리케이션 개발에 유용한 새로운 도구들을 받아들이고 있다. 프로그래밍에 익숙하지 않았던 통계분석가들이 데이터베이스나 기계학습(machine learning)을 학습하거나 자바와 같은 프로그래밍 환경을 공부하는 모습을 흔히 볼 수 있다. 또 한가지 유형은 ‘빅 데이터’라는 단어 자체에 집착하지 않는 경우이다. 현재의 또는 가까운 미래에 접해야 하는 데이터가 그다지 ‘빅’하지 않을 것이라는 점을 깨닫고 ‘빅’ 보다는 실질적이고 당장 얻을 수 있는 ‘가치’를 중심으로 분석을 실행해나가는 유형이다. 이 대목에서 빅 데이터에 대한 관심을 유지시켜나가기 위해 ‘스몰 데이터(small data)의 역습’이 필요하다는 주장도 등장하고 있는 것이다. 

스몰 데이터가 빅 데이터를 살릴 것이다 

아무리 많은 데이터를 가지고 있다고 해도, 아무리 다양한 데이터를 가지고 있다고 해도 그 모두를 한번에 하나의 분석에 활용해야만 하는 것은 아니다. 주어진 분석 문제의 성격에 따라서 데이터의 양 보다는 분석의 깊이나 질이 더 중요한 경우가 허다하다. 또는 ‘빅’ 데이터를 사용하여 분석결과가 향상될 수 있다고 하더라도 그 향상된 정도가 그 100분의 1에 해당하는 데이터만을 사용한 분석에 비해 비용과 노력대비 효과성과 경제성이 있을 만큼의 충분한 차이를 보장할 수 있는가에 대한 냉정한 질문이 필요하다. 

스몰 데이터에 대한 분석 조차 제대로 하고 있지 않거나, 제대로 할 역량을 갖추지 못한 조직에서라면, 또 어떤 분석이든간에 그 결과를 조직적으로 활용해서 실질적인 업무성과를 내지 못하는 조직에서라면, 빅 데이터를 본격적으로 활용한다는 것은 무지개 저편에 대한 꿈을 꾸는 것과 마찬가지일 것이다. 

이런 측면에서 2014년은 스몰 데이터의 역습이 빅 데이터를 살릴 것으로, 다분히 기대섞인 마음으로, 조심스럽게 전망한다. 제목이야 여전히 ‘빅 데이터’라는 단어를 유지하는 것 일 수도 있다. 그러나 많은 성공적이고 업무에 가치를 주는 본격적 적용사례들의 실체는 분명 스몰 데이터에 대한 스마트한 활용에서 나올 것으로 기대하며, 그렇게 되어야만 빅 데이터에 대해 주어졌던 지난 수년간의 관심이 한번에 물거품처럼 사라지는 안타까운 모습을 피할 수 있을 것으로 생각한다.

 

저작권자 © 아이티데일리 무단전재 및 재배포 금지