[아이티데일리] 이제 클라우드로의 전환은 거부할 수 없는 흐름이다. 나날이 가속화되는 비즈니스 변화에 대응하기 위해서는 클라우드가 가져다주는 민첩함과 유연성이 필수가 됐다. 이에 전 세계 기업들은 애자일, 데브옵스, MSA와 같은 방법론을 통해 클라우드 환경에 최적화된 IT 인프라를 마련하기 위해 움직이고 있다.

IT 인프라가 큰 변화를 겪으면서 기업의 데이터 관리 전략도 변화하고 있다. 데이터의 규모와 종류가 다양해지고 이기종 DB에 대한 요구가 증가하면서, 이를 최적화하고 정합성을 확보하기 위한 새로운 방법이 요구되고 있다.

전사 데이터 파악 가능한 통합 플랫폼 필요

일각에서는 MSA에서 모든 데이터에 대해 완벽한 정합성을 요구하는 것은 가능하지도 않고, MSA의 개발 사상에도 맞지 않는다고 주장한다. 그런가하면 서비스들은 전부 개별적으로 나누되, 데이터는 단일한 중앙 저장소에 보관함으로써 정합성과 거버넌스 이슈들을 해결하자는 주장도 있다. 그만큼 단일한 데이터 저장소를 사용하는 기존의 모놀리식 아키텍처에 비해, MSA에서 전사적인 데이터에 대한 정합성을 검증하는 것은 어려운 일이라는 방증이다.

그럼에도 불구하고 MSA를 통해 성공적인 클라우드 네이티브 환경을 구현하기 위해서는 데이터 정합성을 무시할 수는 없다. MSA를 도입한 기업에서는 전사적인 데이터 관리를 위해 모든 서비스들의 데이터셋에 대한 지속적인 데이터 정합성 검증 등을 수행해야 한다. 이러한 데이터 검증 체계는 어떤 형태로 갖춰져야 할까? 기업 내 모든 서비스마다 정확하고 일관된 데이터 검증 체계를 적용할 수 있다면 좋겠지만, 개별 서비스들의 민첩한 확장과 변화를 장점으로 삼는 MSA에서는 쉽지 않은 일이다. 또한 데이터셋마다 개별적인 검증만을 수행해서는 전사 데이터들의 논리적인 관계성이나 이력 등을 검증하기 어렵다.

따라서 기업은 MSA 체계 상에서 전사적인 데이터 검증이 가능한 통합 데이터 저장소를 고민할 필요가 있다. 통합 데이터 저장소는 단순히 기업 내 모든 데이터가 담겨 있는 단일한 데이터 집합, 혹은 거대한 물리적 저장 공간을 의미하는 게 아니다. 통합 데이터 저장소는 기업 내 모든 개별 서비스에 종속돼 있는 데이터들을 단일한 공간에서 확인하고, 이들에 대한 정합성이나 관계성, 모델링, 품질, 컴플라이언스 이슈 등을 검증할 수 있는 기술들을 함께 갖추고 있어야 한다.

데이터 가상화로 정합성 확보 가능

데이터 정합성을 확보하기 위해 기업 내 모든 데이터들을 단일한 통합 데이터 저장소에 모으게 되면 필연적으로 어마어마한 규모의 물리적 인프라가 필요하게 된다. 각각의 서비스별 데이터 저장소를 유지하면서 새로운 복사본을 만드는 것이니 최소한 두 배 이상의 저장공간이 필요하기 때문이다. 이는 엄청난 구축 및 관리 비용이 들어가는 일이다. 또한 각각의 데이터셋에 대해 교차 검증을 수행할 때마다 ETL 등을 통해 데이터 레이크로 모든 데이터를 모으려면 그에 들어가는 시간과 비용도 만만치 않다. 클라우드 네이티브를 통해 IT 운영비용을 절감하려고 했는데, 오히려 통합 데이터 저장소의 존재로 막대한 지출을 떠안아야 한다면 모순이 아닐 수 없다.

이럴 경우 데이터 가상화(Data Virtualization)가 효과적인 대안이 될 수 있을 것이다. 가상화라고 불리는 기술들이 흔히 그렇듯, 데이터 가상화는 물리적으로 분산돼 있는 데이터들을 논리적으로 연결한 가상의 레이어를 만든다. 보다 직접적으로는 메모리 상에 가상의 DB를 생성함으로써 물리적인 데이터 이동 없이도 원천 데이터에 대한 제한적인 접근이 가능하도록 만드는 기술이다. 가상의 DB에는 각각의 DB에서 원천데이터를 직접적으로 이동하지 않으므로 막대한 물리적 인프라를 갖추지 않아도 되며, 실제 데이터를 가지고 있지 않은 뷰(View)들을 생성해 논리적인 접근만을 수행할 수 있도록 한다.

또한 가상의 데이터 레이어는 사용자나 서비스가 요청하는 SQL를 다양한 데이터셋들에 맞춰서 재구성함으로써 데이터 접점을 단일화한다. 이를 통해 직접적인 ETL 등에 소요되는 비용과 시간을 아낄 수 있을뿐더러, 이기종 DB 간의 결합을 보다 손쉽게 시험하고 검증해볼 수 있다. 만약 기업에서 서로 다른 DB를 사용하는 A서비스와 B서비스의 데이터를 결합해 분석하고자 한다면, 결합한 데이터를 담을 새로운 데이터 레이크를 만들기 전에 미리 가상의 DB에서 시험적으로 데이터 결합을 시도해볼 수 있다.

데이터 마이그레이션, 장기적인 계획 세워야

사실 데이터 가상화는 본격적인 MSA 시스템을 운영하기 전부터 요구되는 기술이다. 기존의 모놀리식 아키텍처를 MSA로 전환하는 과도기에, 데이터 마이그레이션 단계에서 유용하게 사용될 수 있기 때문이다.

‘차세대 시스템 구축사업’ 등을 통해 기존의 모놀리식 아키텍처를 새로운 모놀리식 아키텍처로 전환하는 빅뱅 방식을 택할 경우, 데이터 거버넌스를 잘 정립해 ETL 솔루션 등을 하룻밤 돌리면 기존의 데이터들을 마이그레이션해서 새로운 데이터 저장소로 옮길 수 있다. 그러므로 기업은 특정한 시점을 기준으로 과거의 서비스들을 완전히 청산하고 새로운 서비스를 제공할 수 있다. 하지만 모놀리식 아키텍처를 MSA로 바꾸려는 경우에는 이와 같은 빅뱅 방식의 전면 교체가 불가능하다.

이는 단순히 데이터 저장소의 숫자나 종류와 관련된 문제가 아니라 MSA의 특성 때문이다. 서비스를 운영하면서 지속적으로 업그레이드를 하다보면 각각의 서비스들의 개발 속도가 같지도 않고, 서비스마다 가지는 데이터 구조가 수시로 변경될 수도 있다. 그래서 기존의 데이터들을 특정 시점에 새로운 저장소로 옮기는 것이 아니라 새로운 서비스를 제공하면서 지속적으로 과거의 데이터들에 접근하고 참조할 수 있도록 해야 한다. 따라서 빅뱅 방식의 데이터 이행보다는 더 오랜 시간과 비용이 발생할 수 있으며, 기존의 너저분한 데이터와 서비스들을 정돈하고 각각의 서비스에 실시간으로 데이터를 공급할 수 있는 기반을 마련해야 한다.

이처럼 MSA로 전환하는 단계에서 데이터 마이그레이션은 오랜 기간에 걸쳐 지속적으로 일어나야 한다. 데이터 가상화 기술을 사용하면 메모리 상의 가상 DB에서 기존의 데이터들에 손쉽게 접근할 수 있으며, 새로운 서비스들의 데이터 저장소에 탄력적으로 마이그레이션해 적재하는 것도 가능하다.

서비스 전략과 차별화된 데이터 관리 전략 필요

클라우드 네이티브는 만능이 아니다. MSA는 하나의 트렌드에 불과하다. 보는 측면에 따라서는 오히려 전통적인 모놀리식 아키텍처가 유리한 경우도 있다.

그럼에도 불구하고 클라우드가 가져다주는 민첩성과 유연성은 포기할 수 없는 가치다. 이미 그 어느 때보다 비즈니스 환경의 변화가 가속화되고 전 세계적인 흐름이 빈번히 뒤집히는 시대가 도래했다. 따라서 조직의 결정권자들은 클라우드를 포함한 새로운 기술들을 가장 효과적으로 도입하고 제대로 활용할 수 있는 방법을 고민해야 한다.

클라우드 네이티브를 위한 MSA에서, 비즈니스를 서비스 단위로 분리하고 운영하는 전략과 데이터를 관리하고 활용하는 전략은 서로 다른 각도에서 고려돼야 한다. 앞서 설명한 바와 같이 MSA 환경에서는 ▲분산되는 데이터에 대한 관리 ▲새로운 데이터 거버넌스 수립 ▲지속적인 데이터 마이그레이션 계획 마련 등의 문제가 선결돼야 한다.

기업의 진화와 혁신을 위해 데이터의 필요성과 가치가 더없이 높아진 오늘날, 가장 효과적인 데이터 관리 전략을 마련하기 위한 각고의 노력이 필요한 시점이다.