[아이티데일리] 본지(컴퓨터월드/IT DAILY)가 지난달 25일 양재동 엘타워에서 ‘제18회 2021 데이터 컨퍼런스’를 개최했다. 이날 행사는 ‘성공적인 하이브리드 데이터 플랫폼을 위한 A to Z’라는 주제로, 각계 전문가와 기업들이 다양한 데이터 관련 솔루션들과 사례들을 공유하며 성공을 위한 인사이트를 공유했다.

클라우드의 영향력이 증가하면서 기업들의 IT 인프라가 온프레미스와 클라우드를 아우르는 하이브리드 환경으로 옮겨가고 있다. 하이브리드 환경에서는 데이터가 생성 및 활용되는 포인트가 증가해 관리해야 할 범위가 늘어나면서 전 세계 기업들이 자사의 데이터 관리 역량을 재차 점검하게 만든다. 아무리 정확한 데이터 분석 시스템을 갖추고 있다고 하더라도 원하는 데이터를 적시에 찾고 활용할 수 없다면 무용지물이기 때문이다.

이번 ‘2021 데이터 컨퍼런스’는 복잡한 하이브리드 IT 환경에서 데이터를 손쉽게 찾고 활용할 수 있는 전략을 제시하기 위해 마련됐다. 또한 마이데이터와 메타버스, 그래프DBMS 등 최신 IT 기술과 트렌드를 데이터 관점에서 살펴보는 시간도 준비됐다.

오후 트랙 2는 이동우 지티원 정보기술연구소 수석의 ‘빅데이터/마이데이터를 위한 데이터 거버넌스 플랫폼’ 발표로 문을 열었다. 이동우 수석은 “최근 데이터 트렌드가 통합에서 활용으로 넘어가고 있다. 셀프서비스 등으로 비즈니스 담당자가 곧 데이터 담당자가 되고 있다”고 강조하며 발표를 시작했다.

이 수석에 따르면, 개인정보보호법, GDPR 등 데이터 활용과 밀접한 컴플라이언스가 강화되고 있어 데이터 흐름 관리가 매우 중요해지고 있다. 데이터 흐름을 전반적으로 관리하기 위해서는 데이터 거버넌스 환경을 구축해야 한다.

빅데이터 분석 및 처리 시스템은 원본데이터를 획득, 처리 및 분석해 인사이트를 제공하는 전사적 데이터 활용공간이다. 구체적으로 살펴보면 ▲데이터 획득 계층 ▲메시지 전달 계층 ▲데이터 흡수 계층 ▲배치 계층 ▲속도 계층 ▲제공 계층 ▲데이터 저장 계층 등으로 구분할 수 있다. 조직들은 빅데이터 활용에 포커스를 맞추고 있지만, 데이터 관리에 많은 어려움을 겪고 있다. 특히 데이터 레이크 환경에서의 문제를 호소하고 있으며, 이는 속도 및 셀프서비스라는 관점에 맞춰져 있다.

비즈니스의 속도 및 신뢰가 보장된 빅데이터 분석·처리 시스템은 높은 수준의 데이터 품질, 데이터 흐름 관리, 빅데이터 큐레이터 환경 등이 필요하다. 특히 최근에는 관리가 잘되고 있던 ‘좋은 데이터(Good Data)’를 넘어, 관리가 되고 있지 않았던 ‘나쁜 데이터(Bad Data)’까지 활용하고자 하는 경향이 나타나고 있다.

빅데이터가 데이터 활용의 늪이 되지 않게 하려면 데이터 거버넌스 체계를 갖춰야 한다. 데이터 추적성 및 데이터 계보, 데이터 카탈로그, 데이터 거버넌스 포털 등의 체계를 플랫폼으로 구축해야 한다.

지티원은 데이터 거버넌스 및 컴플라이언스 관련 소프트웨어를 개발해 공급하고 있다. 지티원의 데이터 거버넌스 플랫폼은 데이터 흐름, 카탈로그, 품질관리 등에 초점을 맞춘 기능을 제공한다. 지티원은 ▲데이터 카탈로그 솔루션 ‘메타 카탈로그(Meta Catalog)’ ▲데이터 리니지 솔루션 ‘데이터 호크(Data Hawk)’ ▲데이터 품질 관리 솔루션 ‘DQ마이너(DQ Miner)’ ▲메타데이터 관리 솔루션 ‘메타마이너(MetaMiner)’ 등을 통해 데이터 거버넌스 플랫폼을 구축한다.

데이터 카탈로그는 메타데이터 관리, 데이터 흐름 추적 관리 등을 검색으로 조회할 수 있으며, 데이터 분류 체계 및 비즈니스 친화적인 UI 등이 포함된다. 데이터 카탈로그를 구축하기 위해서는 매핑 작업이 필요하며, 보통 매핑 작업은 컨설팅의 영역으로 포함된다.

데이터 흐름 관리는 데이터 활용은 물론, GDPR 등 컴플라이언스를 충족시키기 위해 필요하다. 흐름 관리를 하면 데이터 추적이 쉬워지기 때문이다.

지티원은 데이터 리니지를 수집하고, 분석 관리하는 솔루션을 ‘데이터호크’로 명명했다. 데이터 호크의 특징은 정밀분석 기술, 가시화, 규칙 자동 추출, 80여 종 언어 및 DBMS 분석 등이다.

이동우 수석은 데이터 품질 관리 솔루션 ‘DQ마이너’를 소개하면서 “비정형 데이터 가치에 대한 관심은 엄청나다. 하지만 비정형 데이터 품질에 대한 표준이 없다. 공공기관의 비정형 데이터를 조사하고, 관리하고자 하는 프로젝트가 추진될 예정이다. 비정형 데이터 품질에 초점을 맞춰보면, 메타데이터 및 객체 데이터가 진단 대상이 될 것으로 보인다. 이를 위해서 지티원은 데이터 품질 연구를 비정형 데이터에 맞췄다. 메터데이터 품질, 센서데이터 품질, 이미지 품질 데이터, AI학습 데이터 등 품질을 위해 연구를 지속하고 있다”고 소개했다.