[아이티데일리] 비즈니스 민첩성 향상, 수익 극대화, 통찰력 확보, 신속한 의사결정 등을 위해 데이터 관리 기술과 비즈니스 프로세스를 개선하려는 기업이 늘고 있다. 기업은 데이터로부터 얻을 수 있는 혜택을 극대화하기 위해 데이터 관리의 간소함과 민첩성을 필요로 한다. 그러나 에지 투 클라우드(edge-to-cloud) 환경에서 데이터를 효과적으로 관리하는 일이 쉽지 않다.

성공적인 기업은 일상적인 데이터 관리 업무에서 한발 더 나아가 데이터를 혁신과 비즈니스 가치 확대에 집중할 수 있는 방향으로 활용한다. 이를 위해서는 단순한 데이터 관리를 넘어 효과적인 데이터 ‘운영’ 방안을 모색해야 한다. 데이터 중심의 비즈니스 민첩성을 확보하기 위해서는 데이터 관리의 흐름이 어떻게 바뀌어 왔는지 분석하고, 앞으로 어떻게 나아가야 할지 방향성을 설정해야 한다.

데이터 관리 진화 과정 3단계

데이터 관리는 비교적 단기간에 크게 발전했고 빠르게 변화하고 있다. 데이터 관리가 각 단계에서 어떻게 진화되어 왔는지 살펴보자.

■ 1단계 - 클라우드 등장 전 대다수 엔터프라이즈의 데이터는 온프레미스에 위치했다. 많은 애플리케이션에서 데이터가 동시에 사용되고 데이터 웨어하우스(DW)에 저장됐다. 데이터 증가에 따라 정형 데이터는 물론 비정형 데이터까지 관리할 필요성이 생기자 데이터 관리 프로세스가 복잡해지고, 이에 대한 해결책으로 데이터 레이크(Data Lake)가 인기를 끌었다.

■ 2단계 - 클라우드의 등장으로 이 같은 트렌드는 변모하고 데이터 관리는 두 번째 단계를 맞았다. 높은 확장성과 경제성을 자랑하는 클라우드가 데이터 레이크의 대안으로 제시되며 많은 기업이 데이터를 클라우드로 이전하기 시작했다. AWS가 클라우드 플랫폼을 시장에 출시한 이후 곧 마이크로소프트, 구글 등이 자신의 강점을 클라우드에 접목해 클라우드 서비스(애저, 구글 클라우드)를 내놨다.

■ 3단계 - 오늘날 기업은 데이터를 멀티 클라우드에 저장하기 시작했다. 멀티 클라우드 환경에서 기업은 비용 절감과 운영 효율성을 동시에 달성할 수 있다. 그러나 데이터 관리의 복잡성은 심화됐다. 사일로화 된 다수의 개별 데이터 레이크를 클라우드로 이전할 때 다음과 같은 고민이 발생한다.

- 다양한 유형의 데이터를 어디에 저장할 것인가?
- 애플리케이션은 사용하는 데이터와 가까운 곳에 있어야 하는가?
- 새롭고 더 복잡해진 데이터 환경에서 데이터 운영을 통제하는 방법은?
- 필요한 시점에 필요한 데이터를 찾는 방법은?

데이터 관리의 3단계에서 에지 시스템의 등장은 데이터 관리 문제를 더욱 복잡하게 만든다. 시장조사기관 가트너는 2025년까지 기업이 생성하는 데이터의 75%가 전통적인 중앙집중식 데이터센터 및 클라우드 밖에서 생성·처리될 것으로 전망했다. 이 같은 복잡성은 산업 또는 사물인터넷(IoT) 환경뿐 아니라 원격 오피스, 지점, 금융업, 병원, 소매점 등에도 적용된다.

기업은 특정 유형의 처리 업무를 수행하기 위해 에지 가까이 위치하고 있는 데이터를 통제 및 관리하면서 동시에 분석 목적으로 데이터센터나 클라우드로 이전하는 방법을 고심하고 있다.

멀티 클라우드 환경에서 애플리케이션이 데이터를 이용하는 방법 또한 바뀌고 있다. 자동 처리 및 반복적 업무를 위한 트랜잭션용 애플리케이션과 데이터에서 인사이트를 도출하기 위한 분석용 애플리케이션 사이의 경계가 모호해졌다. 두 유형이 통합되어 빠른 분석 기능과 인공지능(AI)을 내장한 스마트한 애플리케이션이 되고 있다.

그 결과 광범위하게 분산된 데이터 소스가 수없이 많아지고, 이런 데이터를 소비·처리하는 스마트 애플리케이션도 급증했다. 오늘날 기업이 당면한 가장 중요한 데이터 관리 과제는 데이터 소스와 스마트 애플리케이션 사이를 효과적으로 연결하는 것이다.

차세대 데이터 관리 역량을 키우기 위한 고려사항

기업은 에지에서 코어, 클라우드에 이르는 복잡성을 줄이고 비즈니스 민첩성을 확보해야 한다. 기업이 데이터 관리의 진화 단계를 최대한 활용하고 다음 단계를 준비하기 위해 눈여겨 봐야 할 3가지 주요 요소는 다음과 같다.

1. 유연한 데이터 인프라 - 데이터는 필요할 때 바로 그 장소에 있어야 하고 데이터를 저장하기 위한 비용 효율적인 방법이 있어야 한다. 분리된 개별적인 데이터 레이크에서 단일의 논리적인 데이터 레이크로 이동하는 것은 사일로를 제거하고, 비용 효율적으로 데이터를 이전시키는 유연한 데이터 인프라를 갖추게 한다. 따라서 기업은 필요할 때마다 필요한 곳에서 데이터를 이용할 수 있다.

2. 자동화된 데이터 거버넌스 - 수작업으로 데이터를 관리하던 시대는 끝났다. 이제 데이터를 정제·이동·복구하기 위한 자동화된 AI 중심의 거버넌스 역량을 갖춰야 한다. 자동화된 데이터 관리는 개인정보 보호, 규정준수 등과 같은 정책이 함께 해야 한다.

3. 지능적 데이터 배치 - 데이터 배치와 관련해 두 가지 점을 유의해야 한다. 첫째, 데이터는 사용될 애플리케이션 근처에 위치해야 한다. 지능적 데이터 배치를 통해 데이터가 필요한 애플리케이션과 애널리틱스 가까운 곳에 위치시킬 수 있다. 둘째, 비용 효율성과 규정준수를 위해 데이터 관리 및 저장 최적화가 필요하다. 이는 클라우드 사용 여부에 관계 없이 필요하다.

성공적인 데이터 운영의 지름길 ‘데이터옵스(DataOps)’

데이터 운영에서 최근 주목받는 데이터옵스(DataOps)는 적합한 데이터를 적시에 올바른 장소로 가져올 수 있는 프로세스를 자동화함으로써, 데이터의 잠재력을 최대한 발휘하도록 하는 전략 실행 방법이다. 개발과 운영을 함께하는 데브옵스와 마찬가지로 분석, 데이터 및 비즈니스 팀을 하나로 통합해 비즈니스 의사 결정의 품질과 예측 가능성을 향상시키고 가치 창출 시간을 단축한다.

데이터옵스 전략은 ▲분석 속도 ▲거버넌스 ▲에지 투 클라우드 운영 민첩성 3가지 핵심 요소를 만족시켜야 한다. 또한 데이터옵스를 구체화하기 위해서는 탐색, 메타데이터 관리, 정책 기반 거버넌스·유지관리, 자동화된 데이터 통합 및 데이터 파이프라인 구축 기술이 필요하다.

데이터옵스는 조직 전체의 데이터 관리자와 소비자 간 데이터 플로우 커뮤니케이션 통합 및 자동화 향상에 중점을 둔 협업적 데이터 관리 규칙으로 등장했다. 데이터옵스 첫 단계는 분석과 머신러닝을 위한 데이터 파이프라인 강화로 시작한다. 데이터 탐지, 통합, 전송 자동화, 가속화는 가공되지 않은 데이터를 실행 가능한 통찰력으로 전환하는 데 필요한 시간을 단축시킨다.

데이터옵스의 가장 큰 이점은 적합한 데이터를 적시에 올바른 장소로 가져올 수 있는 프로세스를 자동화해 데이터의 잠재력을 최대한 발휘하도록 돕는다는 점이다. 과거 프로젝트는 데이터 저장에 무게를 둔 단발성 프로젝트가 많았다. 그러나 앞으로는 ‘활용’에 초점을 맞춘 운영 시스템 개선 프로젝트가 많아질 전망이다.