데이터 효율성 향상으로 기존 상용디스크 기반 DBMS의 단점 극복
김기완
알티베이스 대표이사
1990년대 후반부터 빈번하게 사용되고 있는 용어 중 하나는 아마도 '지식기반사회'일 듯 하다. '지식기반사회'란, 여러 가지의 단편적인 정보들이 그 자체로서 자원으로 활용되고 상품적 가치를 지닌다는 의미에서 벗어나, 조직화되고 다듬어진 지식을 생산, 사용, 교환, 확산 그리고 재구성할 때 창출되는 생산적 힘과 사회적 가치에 우리의 삶이 크게 의존하게 되는 사회를 말한다.
피터 드러커는 그의 저서「후기 자본주의 사회」에서 "새로운 경제 사회에서 지식은 전통적인 생산요소인 노동력, 자본, 토지 등과 동일류의 자원일 뿐 아니라 유일하고도 의미 있는 자원"이라면서 "지식에 기초한 사회에서는 '지식을 갖춘 근로자(Knowledge Worker)'가 가장 우수한 자산이 될 것"이라고 주장했다. 앨빈 토플러 역시 '지식은 최고급 권력의 원천이며 앞으로 닥쳐올 권력 이동의 핵심'이라고 하면서 '지식은 다른 여러 자원을 대체할 수 있는 궁극적 수단'이라고 언급했다.
또한 독일의 델파이 보고서에 따르면, 지식기반사회를 "공동의 목표에 대한 합의에 도달하고, 경제 발전을 이룩하기 위한 전제조건으로서 그리고 개인의 사회적 행위와 사회에서의 지위확보를 위한 전제조건으로서 '지식'이 점차 중심요소가 되어가는 사회를 의미한다"고 정의하고 있다.
이들 모두 주장하는 바는, 결국 현대 사회에서 다른 가치보다 지식의 가치가 부가가치를 창출해내는 사회임을 강조하고 있다. 그렇다면, 지식의 근원이라고 할 수 있는 데이터의 효율적인 관리의 중요성 역시 아무리 강조해도 지나침이 없을 것이다. 이 글에서 필자는 데이터의 지식화 과정을 살펴보고, 효율적인 데이터 관리를 위한 도구로서의 DBMS에 대해 중점적으로 살펴보고자 한다.
데이터, 정보 그리고 지식
최근 불어 닥친 '아침형 인간' 열풍으로 너도 나도 아침 일찍 하루를 시작하려는 움직임이 가히 대단하다. 직업적 성공과 부의 획득, 균형 잡힌 생활 등 인생의 다양한 목표를 성취하기 위해서는 남보다 일찍 일어나 아침시간을 잘 활용해야 한다는 저자들의 논리에 전적으로 동감하기 때문일 것이다.
다른 사람들이야 피나는 노력의 결과로 그렇게 됐겠지만, 필자의 경우는 아침잠이 없는 관계로 본의 아니게 아침형 인간으로 살고 있다. 대개 아침 5~6시경 일어나 신문을 살펴보는 것으로 하루를 시작하는데, 요즘처럼 급변하는 사회적 변화를 감지하는데 신문만큼 좋은 게 드문 것 같다. 각종 신문을 살펴볼 때마다 특히 관심을 갖고 주의 깊게 살펴보는 분야가 바로 여론 조사인데, 이는 대중의 생각을 가늠해 보는 중요한 판단 기준이기 때문이기도 하지만, 필자가 종사하고 있는 데이터 관리 분야와도 깊은 연관성이 있기 때문이다.
데이터의 관리 측면에서 여론 조사는 표본 집단으로부터 발생한 데이터를 취합하여 정보화한 한 후, 이를 다시 가공하여 지식화하는 과정을 거치게 되는데, 데이터의 생성과 소멸의 라이프 사이클을 한눈에 살펴볼 수 있는 좋은 예라고 할 수 있겠다.
예를 들어 "어떤 당을 지지하십니까?" 라는 물음에 1,000명이 각각 응답을 하고, 그 응답을 취합한 결과 A당 300명, B당 100명, C당 50명, 기타 550명이라는 수치가 나왔다고 가정해 보자. 응답자별로 대답한 내용은 하나의 데이터로 취급되며, 1,000명에게서 수집한 응답 데이터를 근거로 위와 같은 결과를 도출해 낸 것이다. A당을 지지하는 300명의 데이터가 모임으로써 A당에 대한 호감도가 30%라는 사실을 얻게 되는데 이는 '정보'에 해당한다. 그 밖에 A당을 지지하는 지역 분포 또는 남녀 비율, 학력 수준 등 지지도 향상과 관련 있는 정보들을 다시 결합시킬 경우, 의사 결정을 위한 '지식'이 되는 것이다. 각각의 응답 데이터로는 특별한 의미를 갖지 못하겠지만, 데이터의 집합은 정보가 되고, 더 나아가 사람들의 직접적인 행동을 유발시키는 의사 결정 자료인 지식이 되고 있음을 보여 준다.
여론조사라는 특정 이벤트를 예로 들어 살펴보았지만, 우리 주변의 모든 일과 기업의 모든 활동들은 데이터를 기반으로 한 의사 결정에 의해 이뤄진다고 해도 과언이 아닐 것이다. 다만, 데이터의 복잡도와 발생 빈도에 따라 컴퓨터를 사용하여 체계적으로 관리하기도 하고, 그렇지 않을 수도 있는 차이가 있을 뿐이다. 중요한 것은 실생활과 관련된 모든 활동들은 끊임없이 데이터를 발생시키고 그 데이터간의 상관관계를 효과적인 형태로 취합하여 정보화하게 되며, 이를 다시 지식화함으로써 의사결정에 반영하게 된다
이는 다시 데이터를 발생시키고 다시 정보화, 지식화는 순환 과정을 겪게 된다는 것이다. 사회가 발전하고 고도화 되면 될수록 순환 과정은 더욱 빨라지고, 점점 더 많은 데이터를 발생시키게 된다. 이는 데이터베이스 개발 전문가의 입장에서 보면 사회가 복잡해질수록 많은 양의 데이터가 생성되고 사라진다고 할 수 있다. 정보화 사회 혹은 지식 기반 사회 등 여러 매체에서 혹은 정부에서 강조하는 사회 변화의 근본은 각 산업 활동에서 발생되는 데이터의 효율적 관리에서 비롯된다고 할 수 있겠다.
DBMS의 중요성
지난 수 십 년간 CPU 처리 속도, 메모리 집적도, 하드 디스크 용량 등 컴퓨터의 성능이 체증적으로 발전하고 있음에도 불구하고, 여전히 컴퓨터의 고성능이 요구되고 있다는 것은 데이터 처리량이 컴퓨터 성능을 훨씬 앞지르는 증가세를 보이고 있음을 의미한다. 데이터의 효율적인 관리가 기업의 성패를 결정짓는 요소임을 감지한 기업들은 "폭발적으로 증가하는 데이터를 어떻게 관리할 것인가?"에 보다 깊은 관심을 보이고 있다.
'구슬이 서말이라도 꿰어야 보배'라는 옛 속담이 있다. 데이터베이스 관리 측면에서 살펴보면, 아무리 많은 데이터를 확보하고 있더라도 체계적으로 관리하여 원하는 시점에 정보나 더 나아가 지식으로 가공하여 제공하지 못한다면, 그 데이터는 무용지물에 불과하다는 것이다. 이로 인해 전 산업 분야에 걸쳐 효율적인 데이터 관리를 지원하는 소프트웨어인 DBMS가 폭넓게 사용되고 있으며, DBMS가 기업 정보시스템의 핵심 인프라로 자리매김 되고 있는 것이다.
예를 들어, 은행에서 ATM기나 창구를 이용해 입출금 업무를 보고자 할 때 수 초 내지는 수 십 초 이내에 완료할 수 있는 것은 DBMS가 사용자의 해당 계좌 데이터나 고객 정보 데이터를 안정적으로 보관하고 있다가 해당 데이터를 제공, 활용할 수 있기 때문에 가능한 일이다. 뿐만 아니라 온라인 주식거래, 휴대전화를 이용한 전화 통화 등 거의 모든 활동이 DBMS가 갖고 있는 데이터를 기반으로 하고 있다.
좀 다른 이야기지만, 얼마 전 학생들의 개인 신상 정보 유출로 논란을 일으켰던 NEIS 문제도 근본적으로 내부를 들여다보면, 결국에는 DBMS에 저장된 신상 정보의 보안 문제에 대한 논란이라는 점에서 데이터베이스가 우리의 생활과 얼마나 밀접한 관계를 갖고 있는지를 살펴볼 수 있게 해 주는 대목이다. 이 밖에도 우리 주변에서 데이터베이스를 사용하는 예는 수도 없이 많지만, 생략하기로 한다. 결국 중요한 것은 개인 또는 기업의 모든 활동들이 데이터와 밀접하게 관련이 있으며, 이들 데이터를 정보로 지식화하여 필요한 시점에 제공할 수 있도록 효율적인 관리를 지원하는 것이 DBMS라고 불리는 소프트웨어라는 것이다.
경쟁력 있는 토종 DBMS 육성의 필요성
그렇다면, 개인 및 기업의 모든 활동들과 유기적으로 연결되어 있는 기간 소프트웨어인 DBMS로 가장 널리 사용되고 있는 제품은 무엇일까 궁금하지 않을 수 없다. 현재 국내 DBMS 시장은 오라클, 마이크로소프트, IBM 등의 외산 제품이 시장의 85% 정도를 장악하고 있는 실정이며, 몇몇 토종업체들이 시장에 참여하고 있으나, 아주 미미한 수준에 불과하다<그림 1>.
현재 우리나라에서 발생되고 있는 모든 데이터들은 거의 외산 DBMS에 저장되어 활용되고 있다는 것인데, 외산 소프트웨어 산업의 종속성으로부터 탈피가 매우 시급한 현실이다.
만에 하나 외산 DBMS 제조사가 당사 사정에 의해 DBMS의 유 지보수를 지원하지 못하겠다고 일방적으로 통지해 오더라도 국내 기업들은 손을 쓸 수 없을 뿐 더러, 터무니없이 높은 구매비용이나 서비스 비용을 요구해 오더라도 '울며 겨자 먹기'식으로 수용할 수밖에 없는 처지에 놓여 있는 것이다.
그렇다면 한국의 순수 기술에 기반한 토종 DBMS를 만들 수 없는 것일까? 그리고 외산 DBMS와 경쟁할 수 있는 제품을 만들 수 없는 것일까? 필자 역시 오랜 기간 DBMS 분야에 몸담아 오면서 항상 고민해 왔었고, 현실의 벽에 부딪히면서 쉽지 않은 일임을 뼈저리게 실감해 왔던 부분이다.
DBMS는 개발 단계에서, 운영체계부터 네트웍, 인터페이스에 이르기까지 모든 소프트웨어 기술이 총망라되어야 하고, 이러한 기술력에 대한 전문적이고도 해박한 지식을 갖춘 전문가 30여명 이상이 투입되어 2년 이상의 개발 기간을 투자해야만 비로소 탄생시킬 수 있는 제품이다. 하지만 최근 한국데이터베이스진흥센터가 발표한 <국내 DBMS 산업 현황 및 시장 전망 보고서>에 따르면, 국내 DBMS 업체들이 확보하고 있는 DB 개발 인력은 업체당 6명이고 이들의 경력 또한 2.47년에 불과하다고 하니 비용 조달은 제쳐 두고라도 인력 확보 측면에서도 열악하기 그지없는 상황이다<표1>.
그러나 이 모든 것을 극복하고 제품 개발에 성공했다고 치자. 과연 시장에서 살아남을 수 있을지는 아무도 보장할 수 없다. 오히려 오라클, IBM, 마이크로소프트와 같은 해외 메이저 DBMS 벤더들이 오랜 기간 장악하고 있는 시장에 제대로 진입할 수 있을지조차 의문이다. 이제껏 시장에 뛰어든 업체들이 여전히 고전을 면치 못하고 있는 것을 보면 그리 간단한 문제는 아닐 것이다.
DBMS를 개발한다는 것이 결코 녹록치 않은 일임에 틀림없다. 아니, 오히려 계란으로 바위를 치는 일보다 더 무모하고 어리석은 짓으로 비춰지기에 충분하다. 그러나 외산 데이터베이스가 시장의 85% 이상을 장악하고 있는 것이 국내 DBMS 산업의 현주소이고, 현재 우리의 역량으로 접근할 수 없는 분야라고 포기해 버린다면, 이는 단순히 DBMS 시장만을 포기하는 것이 아니다. DBMS가 소프트웨어 산업의 기간이라는 특성을 감안한다면, 이는 DBMS 사업의 소멸 차원의 문제가 아니라, 한국 소프트웨어산업이 자력갱생할 수 있는 기회를 영원히 잃는 것이며, 외국 기업의 기술 종속성을 영원히 벗어날 수 없음을 의미하는 것이다. 따라서 지난날의 실패를 거울삼아 현실적이고 구체화된 사업 전략의 틀을 짜 다시 접근을 시도해야 할 것이다.
메인 메모리 DBMS의 경쟁력
필자 역시 국산 DBMS의 명예 회복을 내걸고, DBMS 산업에 뛰어든 것은 여느 업체와 별반 다르지 않다. 그러나 정공법으로는 상용 DBMS 시장에 들어갈 수 없다고 판단 하에, 기술의 변화에 따른 컴퓨팅 환경의 변화와 상용 DBMS의 약점을 보완하는 DBMS로 틈새시장으로의 우회 진입을 시도했다는 점에서 크게 차별화된다고 감히 말하고 싶다.
기존 오라클(Oracle), IBM(DB2), MS(SQL-Server)로 대표되는 디스크 기반 DBMS는 그 출발이 메모리 가격이 고가일 때 만들어졌기 때문에 환경의 변화에 대해 민감하지 못한 편이며, 시간적인 예견성을 보장할 수 없다는 한계를 가지고 있다는 점에 주목했다. CPU, 메모리, 디스크로 구분되는 컴퓨터 구조에서 사용 빈도가 높은 데이터를 디스크에서 메모리상에 두게 되는데 원하는 데이터가 메모리상에 존재할 경우 빠른 성능을 보장하지만 데이터가 디스크 상에 있게 될 경우 메모리에 데이터가 있을 때보다 낮은 성능을 보이게 된다. 이는 같은 작업에 대해 처리시간에 대한 일정한 예견성을 가질 수 없게 됨으로써 작업의 성격에 따라 디스크 기반 DBMS를 사용할 수 없는 시장이 존재했다.
물론 이전에도 전통적인 실시간 처리용 DBMS로서 모든 데이터를 메모리상에 상주하여 처리하는 몇몇 실시간 처리용 DBMS 제품이 존재하고 있었다. 그러나 이들 제품은 실시간 처리를 위한 시간적 예견성과 성능을 보장하는 반면에, 기능과 편의성 측면에서 많은 문제점을 내포하고 있어서 특수 목적의 산업 분야에 한정적으로 적용되고 있는 상황이었다. 따라서 고성능에 상용 DBMS의 편의성과 기능을 보강한 DBMS를 출시한다면, 충분히 시장성이 있다고 보고 관련 제품을 선보였는데, 예상은 적중했다. 뿐만 아니라, 메모리 가격의 지속적인 하락과 64비트 컴퓨팅 환경의 도래는 2GB로 제한된 컴퓨터 내의 메인 메모리 사이즈가 이론적으로 거의 무한대로 확장 가능해져 시장 확산의 촉매제로 작용하게 됐다.
데이터 가치에 대한 차별성을 효과적으로 부여할 수 있다는 메모리 DBMS의 기본적인 개념도 크게 어필했는데, 기존 상용 디스크 기반 DBMS의 단점으로 지적되어온 데이터의 효용성을 크게 향상시킬 수 있었기 때문이다. 모든 산업 활동에서 끊임없이 생성되는 데이터들이 모두 동등한 가치를 갖지 못함에도 불구하고, 기존의 상용 디스크 기반 DBMS는 모든 데이터를 동등하게 처리했기 때문에 효율성이 떨어진 반면, 메인 메모리 DBMS는 가치 있는 데이터를 차별적으로 보관, 관리할 수 있도록 설계함으로써 데이터의 효용성을 극대화할 수 있다는 장점을 제공하고 있다.
메인 메모리 DBMS는 이와 같은 탄생 배경을 등에 업고 대우증권, 대신증권, 현대증권, LG증권, 굿모닝신한증권 등 국내 대다수의 증권사와 KT, SK텔레콤 등 메이저 통신사의 핵심 인프라로 자리매김할 수 있게 됐다. 4년여 짧은 역사에도 불구하고, 메인 메모리 DBMS는 범용 DBMS 시장의 독자 분야로 인정받기 시작했고, 6%의 시장 점유율을 기록하며 토종 DBMS 가운데 가장 큰 점유율을 차지하는 DBMS가 되었다. 이는 토종 DBMS의 자존심을 지키고, 한국의 소프트웨어 산업의 가능성을 보여주는 결과라 할 수 있겠다.
하지만 메인 메모리 DBMS 분야는 지금껏 한 일보다 앞으로 해야 할 일이 훨씬 더 많이 있다. 전혀 가능성이 없을 것 같았던 DBMS 시장에 메인 메모리 DBMS로 접근해 진입에 성공했고, 실시간 데이터 처리 분야의 세계적 경쟁력을 갖추게 되었다. 이제는 상용 DBMS 시장으로의 점진적인 확대와 제품의 질적 향상을 통해 세계적인 경쟁력을 갖춤으로써 한국 소프트웨어 산업을 세계적인 수준으로 한 단계 업그레이드 시킬 수 있는 전략적 교두보를 마련해야 할 것이다.