▲ 아비바 리탄(Avivah Litan) 가트너 리서치 부사장

[컴퓨터월드] 오는 2016년에 이르면 전세계 대기업 중 25%가 보안과 사기 방지를 목적으로 한 빅데이터 분석(Big Data Analytics)을 도입할 전망이다. 현재 8%에 머물러있는 것과 비교하면 급격히 증가한 수치다. 해당 기술을 도입한 기업들은 6개월 이내에 투자 효과를 볼 수 있을 것으로 보인다.

기업은 빅데이터 분석을 통해 그 어느 때보다 자사 데이터에 빠르게 접근할 수 있다. 이는 급변하는 기업 사이버 보안 및 사기 문제를 해결하기 위해 빅데이터 분석을 도입한 기업들의 공통적인 생각이다. 빅데이터 분석을 이용하면 사내외 정보를 통합 및 상호 비교할 수 있어 기업 위협 요소에 대한 큰 그림을 볼 수 있다. 이는 지능형 위협(advanced threats), 내부자 위협, 계정 탈취 등의 사전 탐지와 같은 다양한 보안, 사기 관련 용례에 적용 가능하다.

범죄 속도 빨라진 탓에 빅데이터 분석 적시 수행이 매우 중요

보안 이벤트(security event) 탐지에 필요한 정보는 오래될수록 가치를 잃는다. 사이버 범죄자들(criminals and bad actors)의 범죄 실행 속도가 더욱 빨라졌기 때문에, 지능형 데이터 분석을 적시에 수행하는 것은 매우 중요하다. 불과 1~2년 전 해커들은 정보, 금전 등 범죄의 목적과 상관없이 철저한 사전 상황 파악과 사이버 염탐을 진행한 후 사이버 절도를 감행했다. 반면 오늘날의 해커들은 표적 기업의 보안, 사기 방지 조치들을 이미 숙지한 상태로 장시간의 염탐 과정 없이 바로 사이버 절도행각을 벌인다. 게다가 기업을 대상으로 공격을 가하는 해커와 사이버 범죄자들의 수는 그 어느 때 보다 많아졌다.

과거 기업들은 이러한 문제에 맞서 데이터 손실, 금융 사기, 권한이 부여된 사용자(privileged user) 모니터링 등 각 용례에 최적화된 개별(siloed) 모니터링 혹은 탐지 시스템을 활용했다. 그러나 빅데이터 분석을 도입하면 기업들은 다음과 같은 이점을 누릴 수 있다.

▶ 상황적 데이터(contextual data)를 사용하고 첨단 분석을 적용함으로써, 기존 모니터링 시스템에서 발생하던 불필요한 잡음과 허위 경고 건수를 줄일 수 있다. 보안 이벤트 수가 매해 급격히 증가하고 있다는 점에서 이는 매우 중요하다.

▶ 모니터링 시스템 전반에 걸쳐 발생한 최우선 순위 경고 간의 상호비교가 가능해 데이터 남용과 사기 패턴을 감지하고, 전체 기업 보안의 큰 그림을 확인할 수 있다.

▶ 사내 데이터와 관련 사외 데이터를 단일 처리 장소에 모아 사기 혹은 보안 위반 행위의 주된 패턴을 찾을 수 있다.

▶ 각각의 온라인 계정, 사용자 또는 기타 개체에 대한 정보를 생성해, 해당 프로필을 사용한 변칙적인 활동(transaction)들을 탐지한다.

▶ 거의 실시간으로 데이터 스트리밍 검사에 적용되는 규칙과 모델들을 정비함으로써, 민첩성을 유지하고 사이버 범죄에 한발 앞서 대응할 수 있다.

빅데이터 분석의 효과

빅데이터 분석은 기업 내 보안 업무 관련 시간과 비용을 절감해 실질적인 이득을 가져다 준다. 한 대형 미국 소매유통업체는 자사의 웹 애플리케이션 방화벽에 빅데이터 분석을 적용함으로써 얻어지는 이득을 측정했다. 스플렁크(Splunk) 솔루션을 활용해 자사 빅데이터 분석 시스템에 각종 상황적 데이터를 유입, 통합시켰다. 시스템 자원 활용, RSA 실버테일 시스템스(RSA Silvertail Systems)의 사용자/IP주소별 행동 프로필, 폭스IT(FOX IT)의 사이버 위협 인텔리전스, 액서티파이(Accertify) 등 타 보안, 사기 모니터링 시스템의 보안, 사기 경보 등이 상황적 데이터에 포함됐다. 빅데이터 분석 솔루션을 도입한 결과, 단일 경고 조사에 투입되던 자원은 10개에서 2개로, 근로시간은 12시간에서 0.2시간으로 줄어들었다.

또한 경고 발생 시점부터 조사까지 걸리는 시간이 평균 90분에서 10분 내로 단축되며 경고 조사의 적시성 확보가 가능해졌다. 해당 기간 동안 보안 업무에서 시간과 비용을 절약한 것은 특히 의미가 깊었다. 동 기간에 해당하는 2010년에서 2013년 사이 보안 이벤트 발생 건수가 5억에서 55억 건으로 급증했기 때문이다.

빅데이터 분석의 적시성

대부분의 사내용 사기예방 및 보안 빅데이터 분석 솔루션 제공업체들은 길게는 1분에서 짧게는 수십 초 내에 데이터 활용이 가능하도록 지원한다. 사이버 범죄가 찰나의 순간에 벌어지는 만큼, 최근에는 수모 로직(Sumo Logic)과 같은 신규 업체들이 1천분의 1초의 속도로 신규 데이터 제공을 약속하면서, 실시간 대응 솔루션에 대한 기업 수요에 부흥하고 있다.

빅데이터 분석을 통해 적시에 빠른 속도로 주어지는 결과물은 속도나 대응에서 이를 따라잡지 못하는 기존 운영 시스템에 부담이 될 수 있다. 일례로 한 기업은 스플렁크 빅데이터 분석 시스템을 통해 비정상적 웹사이트 접근 시도 경보를 받았는데, 이는 자금 이체 사기에 대한 경고로 즉각적인 운영 시스템 차단을 요했다. 그러나 보안 담당자는 사내 운영 시스템이 해당 조치를 취할 수 있을 때까지 앉아서 기다릴 수 밖에 없었다.

빅데이터 분석 관련 문제와 요구사항

빅데이터 분석은 기업들이 자사 데이터 및 관련 외부 정보로 신속히 접근할 수 있도록 하기 때문에 매우 강력한 도구다. 그러나 기업 프로세스와 시스템이 해당 분석 결과를 따라잡지 못할 경우 운영상의 문제들이 발생할 수 있다. 빅데이터 분석 적용 시 대응할 필요가 있는 신규 시스템 요구 사항들은 다음과 같다.

▶ 분석 결과를 활용하기 위해서는 빅데이터 애널리틱스 애플리케이션이 반드시 운영시스템과 연동(interface)되어야 한다. API(Application Programming Interface)를 활용해 시스템 지연 발생을 최소화하고 레거시 솔루션을 빅데이터 분석 애플리케이션에 통합해야 한다.

▶ 단일 공통 경보 관리 시스템을 갖춰 개별 애플리케이션에서 벗어나 상황적 데이터와 빅데이터 분석을 활용하는 경보들을 통합하고 상호 비교해야만 한다. 업체 별로 경보 관리 시스템이 상이하며, 복수 애플리케이션과의 연동을 반드시 보장하는 것은 아니므로 맞춤형 공통 경보 관리 시스템 개발이 필요할 수 있다.

▶ 단일 공통 대시보드를 갖춰 기업 빅데이터 분석 시스템에서 나온 결과에 모든 사용자들이 신속히 시각적으로 접근 가능할 수 있도록 해야 한다. 마찬가지로 대부분의 대시보드들이 업체에 따라 상이하고 타 대시보드와의 통합이 불가해 맞춤형 대시보드 개발이 필요할 수 있다.

▶ 사용자들은 대시보드를 통해 다양한 질의의 답을 제공받을 수 있어야 한다. "보안 이벤트와 관련 있는 10대 IP 주소는 무엇인가?" 혹은 "현재 기업의 10대 취약점은 무엇인가?" 등의 질의를 예로 들 수 있다.

빅데이터 분석 아키텍처

<표1>은 가트너가 제시하는 빅데이터 분석 아키텍처의 계층(layer)이다. 기업들은 하둡(Hadoop)을 데이터 저장소로, 하이브(Hive)를 분석 용도로 채택하는 등 개방형 코드에 의존해 독자적으로 해당 기술들을 조합하거나, 개발 시간 단축을 위해 전담 업체의 소프트웨어를 활용할 수 있으며, 또는 두 가지 방법을 동시에 취할 수도 있다. 그러나 모든 솔루션이 아래 기술 계층을 포함하진 않는다. 일부 빅데이터 분석 애플리케이션이 내놓는 산출물(logic)은 사용자 인터페이스(UI)를 통해 데이터와 직접 상호작용하는 사용자에게 전달되는 대신 비즈니스 애플리케이션에 흡수되기도 한다.

▲ <표 1> 빅데이터 분석 아키텍처 | 출처: 가트너 (2014년 1월)

보안 및 사기 방지용 빅데이터 분석 솔루션 업체의 3대 영역

가트너는 보안 및 사기 방지용 빅데이터 분석 솔루션을 다음의 세 가지 영역으로 분류하고 있다.

▶ 영역 1 - 기존 제작된 분석(canned analytics) 솔루션을 통해 기존 보안 시스템 강화

▶ 영역 2 - 맞춤형 또는 비정형(ad-hoc) 분석 솔루션을 통해 데이터 결합 및 상호비교 활동 지원

▶ 영역 3 - 외부 사이버 위협 및 사기 정보 인텔리전스 제공

가트너는 각 영역별로 우수한 결과를 보인 업체들을 소개한다. 각 업체들은 <표 1>에 제시된 빅데이터 분석 아키텍처의 개별 기술 계층을 지원하며, 일부는 분석, 관리 등 특정 기술 계층에서 강세를 보이고 있다.

<표 2>는 각 솔루션 영역이 기업의 아키텍처 내에 차지하는 위치를 보여주고 있다. 기업들은 해당 영역들을 바탕으로 업체가 제공하는 솔루션을 평가하고, 각 솔루션들이 조화롭게 전체적인 기업 보안 계획에 적용될 수 있는 방안을 고민해야 한다.

▲ <표 2> 보안 및 사기 방지용 빅데이터 분석 솔루션 업체 3대 영역 | 출처: 가트너 (2014년 1월)

영역 1 기존 제작된 분석솔루션 통해 기존 보안시스템 강화

영역 1에 해당하는 업체는 기 제작된 분석 솔루션을 통해 기존 시스템을 보다 지능적이고 완전무결하도록 개선한다. 보안 경보 자체의 수는 줄이면서 보안 이벤트 간 우선순위를 부여해 어떤 보안 이벤트가 가장 위협적인지 알려주는 식이다. 기업은 사내에서 발생하는 보안 이벤트에 대해 보다 지능적이고 전체적인 관점을 취할 수 있다. 한 금융기관의 경우 베이 다이내믹스(Bay Dynamics)의 소프트웨어를 도입, 13만 5천여 건의 DLP 이벤트 모니터링 건수를 우선순위에 따라 수천 건으로 압축해 투입인원을 1일 35명에서 5~6명으로 줄였다. 대표적인 업체들은 다음과 같다.

▷ 베이 다이내믹스의 소프트웨어는 시만텍(Symantec)과 같은 업체의 DLP 시스템을 활용, 기업 내 직원 및 다양한 조직(workgroups)의 DLP 관련 행위를 분석 기준점으로 삼는다. DLP 이벤트 발생시 직원의 행위 및 사용자 프로필과 대조, 분석해 비정상적인 활동들(transations)을 탐지한다. 베이 다이내믹스의 리스크 패브릭(Risk Fabric) 애플리케이션은 당일의 중요 보안 이벤트를 파악하여 뉴스 형식으로 요약, 제공한다.

▷ 시큐로닉스(Securonix)는 내부자 위협, IAM, DLP, 사기 등에 대한 솔루션을 제공하는 보안 분석 플랫폼이다. 위험도가 가장 높은 사용자 활동 및 접근을 파악하기 위해 실시간 신원 비교, 행동 및 동료집단(peer group) 이상(anomaly) 탐지, 위험 점수 부여 등을 수행한다. 시큐로닉스는 자사 플랫폼 도입을 늘리기 위해, IAM 인텔리전스 솔루션인 액세스 스캐너(Access Scanner)를 시작으로 자사 솔루션을 무료 애플리케이션 형태로 제공하고 있다.

영역 2 맞춤형 또는 비정형 분석솔루션 통해 데이터결합 및 상호비교 활동 지원

영역 2에 해당하는 업체는 사내외, 정형/비정형 데이터를 통합하고 이러한 빅데이터에 맞춤형 혹은 비정형(ad-hoc) 분석을 적용해 보안이나 사기 이벤트를 탐지를 돕는다. 많은 업체들이 이러한 활동을 지원하고 있으며, 대표적인 업체들은 다음과 같다.

▷ 스플렁크(Splunk) - 스플렁크는 해당 분야에서 잘 알려진 업체로 기계 판독 데이터 검색을 수 초 안에 가능할 만큼 쉽고 빠르게 지원해 기업이 자사 데이터를 "구글과 유사한" 방식으로 찾을 수 있게 해준다. 스플렁크가 제공하는 빅데이터 분석을 활용하면 자칫 놓칠뻔했던 조직 내 보안 위반사항이나 사기 이벤트를 탐지할 수 있다. 검색 결과는 사전 모니터링과 탐지를 위해 스플렁크 내에서 자동화 및 운영이 가능하다. 그러나 모든 데이터에 검색을 위한 색인을 달아야 함으로 데이터 확장에 상대적으로 많은 비용이 든다. 스플렁크의 데이터 분석 신제품인 헝크(Hunk: Splunk Analytics for Hadoop)는 하둡과 연동이 가능하며 색인처리가 불필요한 데이터는 하둡에 두고 스플렁크 분석을 통해 접근할 수 있어 상기 문제를 해소할 수 있다. 스플렁크 소프트웨어는 검색 처리 언어와 피봇 인터페이스(pivot interface)를 통해 분석을 지원한다. 기업들은 스플렁크의 솔루션과 더불어 자체 개발하거나 타 업체에서 제공한 통계 모델 또는 데이터 마이닝 기법을 활용할 수 있다.

▷ 팰런티어(Palantir) - 빅데이터 분석 역량과 전 산업에 걸친 활약으로 유명한 팰런티어도 사이버보안과 사기 관련 문제에 당면한 기업들을 주 고객으로 삼고 있다. 검증된 과학수사(forensic) 및 조사 도구인 팰런티어는 모든 구조화/비구조화된 정보(동영상 파일 포함)의 통합 작업을 간소화해 사이버보안 담당자들이 보다 쉽고 신속하게 보안상의 경고를 조사하거나, 사이버범죄 및 사기와 관련한 주된 패턴을 찾을 수 있게 해준다. 팰런티어는 자사의 제품에 본래 미군과 정보기관용으로 개발된 지능형 보안, 워크플로우, 보안 유지 협업 기능을 탑재하고 있다. 팰런티어의 솔루션을 성공적으로 구축하려면 팰런티어의 전문가 서비스를 활용해야만 하는데, 이는 다소 고가의 라이선스 계약을 통해서만 제공된다.

▷ SAS인스티튜트(SAS Institute) - SAS인스티튜트는 맞춤형 빅데이터 분석 프로젝트에 적용되는 고급 분석 제공업체로 가장 잘 알려져 있다. 사기 방지 분야에서 이미 능력이 검증됐지만 아직 사이버 보안 분야에서는 별다른 고객을 확보하지 못했다. SAS는 자체 데이터 정화 및 통합 툴을 제공하며, SAS 데이터 셋, 하둡 및 데이터 스트림과 연동해 메모리 내부에 존재하는 다량의 정보를 처리할 수 있다. SAS는 현재 임베디드 분석을 통해 기존 솔루션을 사이버보안 시장 전용으로 재정비하는 작업을 진행 중이다.

영역 3 외부 사이버위협 및 사기정보 인텔리전스 제공

영역 3에 해당하는 업체들은 각종 사이버 위협 및 범죄에 대한 외부 데이터를 대상으로 빅데이터 분석을 진행하며, 일부의 경우 기업 보유 데이터와 해당 외부 데이터를 통합해 활용한다. 업체들의 대다수가 기업 고객 간 위협 인텔리전스와 분석을 공유할 수 있는 커뮤니티를 만들어 제공하고 있다. 해당 서비스들은 크게 두 가지로 분류된다.

▷ 사이버 위협 인텔리전스 서비스

다크웹(dark web)과 일반 웹을 면밀히 탐색해 기업을 대상으로 한 악의적인 활동 또는 위협요소를 찾아낸다. 해당 업체들은 악성 서버의 IP 주소 목록, 사이버 범죄에 활용되는 멀웨어 공격 시그니처 목록 등을 제공함으로써 수집된 정보를 실행 가능한 형태의 데이터로 전환한다. 폭스 IT(Fox IT), 브랜드프로텍트(BrandProtect), 인터넷 아이덴티티(Internet Identity), 임페르바(Imperva), 쓰레트레이더(ThreatRadar), RSA, EMC 보안 부문, 시큘러트(Seculert), 뉴스타(Neustar), 멘디언트(Mandiant), 오페라 솔루션(Opera Solutions), BAE 시스템스(BAE Systems) 등의 업체들이 여기에 해당된다.

▷ 사기 교환(Fraud Exchanges)

사기에 연루된 장치, 이메일 주소, 전화 번호 등의 개체를 파악하기 위해 기업 보유 데이터와 외부 데이터를 결합한다. 해당 데이터는 고객 시스템의 블랙리스트에 추가돼 알려진 악성 개체의 활동을 차단하는데 활용될 수 있다. 해당 서비스는 사기 공격에 대한 정보를 수집해 고객에게 이메일과 같은 무료 텍스트 형태로 공유한다. 아이디 엑스퍼트(ID Experts: 의료 사기 전문), 얼리 워닝 서비스(Early Warning Services), 포티퍼스트 파라미터(41st Parameter), 사이버소스(CyberSource), 가디언 애널리틱스(Guardian Analytics), 뉴데이터(NuData), 리테일 디시전스(Retail Decisions), RSA 아이오베이션 (RSA Iovation), 쓰레트메트릭스(ThreatMetrix) 등의 업체들이 여기에 해당된다.

결론

대부분의 기업들이 보안 및 사기 방지용 빅데이터 분석을 도입할 수 있는 역량을 갖추기까지는 약 2년 정도의 시간이 더 걸릴 것으로 보인다. 그러나 시중에 나와 있는 기 제작된 분석 애플리케이션을 사용한다면 기업들은 빅데이터 분석을 활용해 보안 및 사기 방지 역량을 더욱 강화할 수 있을 것이다.

기업들은 상기 제시된 세 가지 영역 중 자사의 필요에 가장 합당한 영역을 검토한 뒤 도입을 결정할 수 있다. 소규모로 시작하되 큰 그림을 염두에 두고 기업 전반에 걸쳐 다양한 용례와 애플리케이션을 아우를 수 있는 로드맵을 수립해야 한다. 빅데이터 분석으로 얻을 수 있는 투자 대비 효과는 무시하기엔 너무 크다.