[아이티데일리] 빅 데이터라는 단어, 이제 지겹지 않은가? 구글이 신의 능력으로 독감을 예측한다더라. 빅 데이터는 모든 것을 알고 있다더라.

미국에서는 이미 대기업들 중 80% 이상이 빅 데이터를 도입했다고 하고(2014년 조사), 국내에서도 빅데이터 개념이 들어와서 대중들에게까지 전파되는 과정이 수년의 역사를 가지고 있다. 그래서 빅데이터가 대단한 것이었는가? 누군가가 큰 돈을 벌었고, 누군가가 큰 성공을 했다고 하던가? 그런데도 왜 계속 빅데이터라는 단어가 아무런 여과도 없이 뉴스 기사를 타고 눈앞에 계속 나타나고 있는 것인가.

의외로 막연하게 미래의 성공에 대하여, 또는 가능성에 대하여 이야기하는 이들만이 있는 것이 아니라 이미 이루어진 성공에 대하여 이야기하는 이들도 많이 존재하는 것이 지금의 현실이다. 과연 어떤 성공일까. 그리고 완성된 성공이 분명한가?

CRM, BPR, 데이터마이닝, Web2.0 등과 같은 우리가 오래 들어왔던 모든 새로운 용어와 개념이 도입되는 과정에서와 마찬가지로 빅데이터에 대해서도 환상과 거품이 관심을 불러일으키는 긍정적인 작용을 해온 것은 사실이다.

3년전에 비해 관심의 크기는 10배는 넘게 증가한 것 같다. 그 우화와도 같은 환상들이 그 것을 만들어 낸 공을 받는 것이 마땅함을 결코 부인할 수 없기도 하고, 그 것이 필요악일지 모른다는 점은 인정해야 한다.

다만 2014년을 마감해가야 하는 이 시점에서 이제는, 몇 편의 우화적인 신화들을, 성공사례로 아름답게 포장된 여러 이야기들을, 현실의 눈으로 다시 살펴봐야 할 것이다. 이제는 진정한 가치를 위한 두 번째 단계를 준비해야 하기 때문이다.

벌써 10년이 넘은 이야기지만 2003년경 아마존이 있는 시애틀에서 그들이 그 당시부터 데이터는 버리지 않고 있었고, 가능한 모든 것을 자동화시켜 실험하고 있었다. ‘Chief Data Mining Scientist’라는 타이틀의 직원을 보유하고 있었고, 스스로 개발한 소프트웨어를 사용해서 대규모 데이터에 대한 분석 업무를 처리하고 있었다. 그리고 그 아마존은 초대규모 거대기업인 지금 조차도 끝없는 진화를 거듭하고 있다.

이 것은 무엇을 의미할까. 아마존은 흑자를 내는데까지 수년을 투자했다. 지구상에 아직 존재하지 않던 새로운 비즈니스 모델과 프로세스를 만들어내고 그것을 수익으로 입증해야 했다. 그러나, 결국은 상상을 현실로 만들어 냈다. 그 과정이 3개월이나 6개월은 아니었으며, 그들이 만들어 낸 것이 난초를 하나 치는 것처럼 단순하지도 않았다.

지금 주목받고 있는 새로운 종류의 기업들, 예를 들면 링크드인과 페이스북은 어떤가. 그들이 몇 개월만에 지금의 명성을 얻었는가. 페이스북이 이제 본격적으로 기업들이 무상으로 홍보하는 부분을 통제하려고 움직이기 시작했고, 링크드인이 최근에 데이터 사이언스팀을 대폭 개편했다는 소식이 들려온다.

그들은 이제 본색을 드러내기 시작하고 있는 것이며, 아직 그들의 성공은 시작도 되지 않았다는 해석이 어울릴 것이다.

빅데이터와 관련해서는 세계 최대 규모의 컨퍼런스로 일컬어지는 스트라타 컨퍼런스에서(2013년) 마이크로소프트연구소의 케이트 크로포드(Kate Crawford)는 그렇게도 정확하다고 자랑하던 구글의 예측이 얼마나 정확했는가를 일년 후에 확인해보니, 독감발생률에 대한 오차가 실제 값의 두 배가 넘더라는 지적을 하면서, 과장의 위험성에 대하여 지적했다.

미완성의, 어쩌면 사실은 출발 정도에 불과한 허구성의 성공 신화들에 대해 재검토하고 어떤 부분에서 이제 본격적으로 빅데이터의 모습을 갖추어 나가야 하는가를 냉정한 시선으로 짚어보는 것이 지금 우리에게 필요한 숙제라고 생각된다.

많이 회자되었던 국내 대표 빅데이터 사례와 해외 빅데이터 사례들부터 차근히 살펴보면서, 어떤 모습의 고도화가 빅데이터의 다음 편 시즌이 되어야 하는가, 무엇을 준비해야 지속적 고도화 과정에서 더 빠르게 그리고 보다 더 큰 가치를 실제로 얻어낼 수 있을 것인가에 대한 이해가 필요한 시점이다.

한 지자체에서 대표적인 성공사례로 이야기해 세상을 떠들썩하게 했던, 그리고 모두가 그렇게 알고 있는 사례, 버스는 이미 성공했으니 이제 택시를 하겠다는 소식이 들린다. 정작 아주 구체적인 내용은 공개되지도 않았던데 말이다. 과연 정말 세계적으로 자랑하고 다닐 만큼의 완성도를 가진 것일까. 버스에서 택시로 넘어갈 단계가 맞는 것일까. 이제 시작인데 벌써 축배를 들 일은 결코 아닐 것이다.

오는 11월 20일 아이티데일리 주최로 열리는 빅데이터 컨퍼런스(http://www.itdaily-conference.com/)는 기상청, 포스코, GS리테일, 쿠팡을 비롯한 실제 빅데이터로부터 가치를 만들어내야 하는, 그리고 지난 수년을 그것을 위해 보내왔던, 조직들과 그들을 도와야 할 컨설팅, 솔루션 기업들이 모여서 빅 데이터의 거품을 걷어낸 진정한 성공의 조건과 지금 우리에게 주어진 숙제들에 대해 냉정한 논의를 진행한다. 이 글에서 다루는 지속적 고도화에 대한 이야기 역시 컨퍼런스의 전체 이야기 중 한 작은 조각이 될 것이다.