▲ ‘클라우데라 엔터프라이즈 6’의 주요 구성 요소

[아이티데일리] 클라우데라(한국지사장 강형준)는 ‘클라우데라 엔터프라이즈 6(Cloudera Enterprise 6)’의 베타 버전을 출시했다고 21일 밝혔다.

새로운 ‘클라우데라 엔터프라이즈 6’에는 핵심 구성요소에 대한 메이저 업데이트와 클라우데라가 제공하는 독자 기술에 대한 개선이 포함됐다. 사용자는 중첩 데이터 유형과 제이슨 패싯(JSON facet)을 지원하는 ‘솔라(Solr) 7.0’을 활용해 정형 및 비정형 데이터에 대한 통합적인 검색이 가능하며, ‘카프카(Apache Kafka) 1.0’과 ‘스파크(Apache Spark) 2.2’를 통해 쉽고 안정적인 데이터 파이프라인 스트리밍 관리가 가능하다.

특히 ‘하둡(Apache Hadoop) 3.0’이 탑재됨으로써 이전 버전에 비해 필요한 저장 공간을 최대 50% 줄일 수 있다. ‘하둡 3.0’에 적용된 이레이저 코딩(Erasure Coding)은 데이터를 인코딩해 저장했다가 데이터 손실이 발생했을 경우 디코딩을 통해 원본 데이터를 복구함으로써, 같은 데이터를 3개 블록에 복사(replica)해 보관하던 ‘하둡’ 2.x에 비해 데이터를 안전하게 저장하면서도 스토리지 공간의 효율성을 향상시킨다.

또한 ‘하이브(Apache Hive) 2.0’는 벡터화(vectorization)를 통해 분석 워크로드 성능을 최대 80% 개선할 수 있고, 집중적 워크로드에 대한 맞춤형 하드웨어 프로필을 추가해 머신러닝과 분석도구 성능을 향상시켰다. ‘얀(YARN)’의 맞춤형 하드웨어 프로필을 통해 GPU와 같은 전문 하드웨어에 ‘스파크’ 작업을 예약할 수 있으며, 이를 통해 딥 러닝과 같은 사용 사례에서 5~10배의 성능 향상을 체험할 수 있다는 설명이다.

클라우데라는 ‘클라우데라 엔터프라이즈 6’에 탑재된 하둡 컴포넌트들에 대한 자체적인 검증을 거쳐 상용SW 수준의 안정성을 갖춘 하둡 인프라를 제공한다. 이로써 고객은 단일한 ‘클라우데라 매니저(Cloudera Manager)’ 인터페이스 상에서 최대 2500개의 노드를 처리하는 등, 방대한 규모의 분석 클러스터를 손쉽게 관리할 수 있다.