방화벽의 역사를 통해 조명해보는 네트웍 보안 기술 동향

연/재/목/차
1회 : 네트웍 보안 기술 동향(이번호)
2회 : 네트웍 보안 기술 현황과 미래 전망(다음호)

황수익차장
시큐아이닷컴 전략마케팅팀
suik.hwang@samsung.com






2002년 10월 체크포인트사의 Firewall-1이 미국의 컴퓨터역사박물관에 기증되었다. 1996년에 설립된 이 컴퓨터역사박물관은 컴퓨터의 모든 역사를 한눈에 알아볼 수 있도록 역사적인 물품을 기증 받아 보관하는 비영리 단체로, 현재 전세계에서 가장 많은 소장품들을 보관하며 3,500 점의 컴퓨터 관련 물품들과 비디오테이프, 사진, 카탈로그, 소프트웨어 등이 전시되어 있다고 한다.

방화벽=네트웍 보안기술의 역사

체크포인트사의 Firewall-1은 인터넷 시대의 서막을 알리는 한 가운데에서 기존의 '방화벽'이 가지고 있던 기능적인 의미를 가상의 공간으로 확장하여, 네트웍 보안 제품의 대명사로 불려지게 된 것이다.
최근 IT 인프라 및 서비스가 발달하고, 또 이에 따른 역기능의 대한 우려가 확산됨에 따라 이러한 요구사항에 적합하도록 설계된 수많은 네트웍 보안솔루션이 시장에 선보이고 있으나, 이것은 어떤 의미에서 방화벽의 기능 또는 성능상의 한계를 극복하기 위한 다각적인 노력의 결과이며, 다양한 기술이 통합되거나 혹은 분리되어 현재의 네트웍 보안 제품군을 형성하게 되었다고 볼 수 있다.
결국, 네트웍 보안기술은 방화벽 기술변화에 따라 많은 영향을 받아왔다고 말할 수 있으며, 방화벽 기술의 변천과정을 살펴봄으로써 네트웍 보안기술을 이해할 수 있을 것이다.

1990년대 중반 방화벽 1세대 불리우는 초기 Firewall-1은 TCP/IP 통신에 있어 IP 어드레스와 포트 넘버(Port No.)를 제어하는 패킷필터링(Packet Filtering) 방식<그림1>을 사용하였다. 물론 이 방법은 기존 라우터와 같은 통신장비에서 ACL(Access Control List)을 통하여 구현할 수 있는, 그다지 새로운 기술은 아니었지만, 당시 텔넷, FTP 정도만 사용되는 인터넷 환경에서 효과적인 네트웍 접근통제를 구현할 수 있었다.

그러나 그 후, C/S 또는 웹과 같은 수 많은 애플리케이션이 등장함에 따라 애플리케이션 레벨에서의 접근통제가 필요하게 되었고, 방화벽 2세대에 와서 모든 애플리케이션에 대한 검사를 수행하여 그 결과 패킷의 차단여부를 결정하는 애플리케이션 게이트웨이(Application Gateway) 방식<그림2>이 등장하게 되었다. 하지만 이 방식은 보다 강력한 보안기능을 제공하기는 하지만, 애플리케이션 레벨에서 검사를 수행하기 때문에 네트웍 성능 저하를 가져왔고, 또한 각각의 애플리케이션에 대하여 독립된 프록시(Proxy)가 요구되어 확장성에 문제점을 드러내게 되었다.

방화벽, 네트웍 보안의 한계 드러내

2000년도에 들어서 인터넷 사용이 급격히 증가됨에 따라 기존의 기술로는 보안성과 네트웍 성능에 대한 요구사항을 만족시킬 수 없었기 때문에, 위의 두 가지 방식을 혼합한 하이브리드(Hybrid) 형태의 기술이 개발되었으며, 방화벽 3세대라 불리우는 스테이트풀 인스펙션(Stateful Inspection) 방식<그림3>이 사용되게 되었다. 이 방식은 모든 애플리케이션 계층으로부터 접근통제 결정에 필요한 상태 관련정보를 추출, 이를 동적상태테이블(Dynamic State Tables)로 생성, 이후의 접속시도를 참조하는 방식으로 동작하며, 패킷 필터링의 낮은 보안성, 애플리케이션 게이트웨이의 네트웍 성능저하 및 연결제한, 확장성 제한 등을 극복하였다.

하지만, 네트웍을 통한 공격 수법이 나날이 지능화, 고도화 되어감에 따라, 보다 세밀한 검사를 수행하여 악의적인 행위를 사전에 차단하는 메커니즘이 요구되었고, 방화벽 4세대에 와서 확장된 스테이트풀 인스펙션 기술을 도입하여 딥 패킷 인스펙션(Deep Packet Inspection)이라는 방식<그림4>이 새로운 각광을 받게 되었다. 이 방식은 마치 바이러스 백신처럼 알려진 공격에 대한 패턴을 가지고 탐지하거나, 유입되는 패턴의 상관관계에 따라 정상적인 트래픽과 비정상적인 트래픽을 판단하는 데이터 코-릴레이션(co-relation) 알고리즘을 가지고 기존 방화벽이 차단할 수 없었던 다양한 형태의 공격을 차단할 수 있도록 설계된 것이다.

그러나, 네트웍 환경은 과거 이더넷에서 패스트 이더넷, 그리고 기가비트 이더넷으로 급속히 발전하고 있으며, 이와 같은 방식이 고속 네트웍 상에서 역할을 다하기란 상당히 어려운 일이었다. 실제로 방화벽을 우회하는 공격 방법은 현재에도 무수히 많이 존재하지만, 성능적인 측면에서 방화벽 자체의 기능을 무한정 확장하기엔 어려움이 있으며, 이에 대응 수단으로 침입탐지시스템(IDS)를 설치하여 연동하려는 노력이 시도되었지만, 쉽지 않은 일이었다.

'성능'과 '기능' 두가지 당면과제

결국 기존의 고전적인 의미에서의 방화벽은, 더 이상 네트웍 보안의 해결사로서 존재할 수 없게 되었으며, 방화벽 업체들은 고속 네트웍 상에서의 다양한 공격에 대한 방어를 위하여 '성능과 기능' 이라는 두 마리 토끼를 한꺼번에 잡아야 하는 숙제가 남게 되었다.

향후 등장할 것으로 예상되는 방화벽 5세대는 방화벽 4세대에서 보여준 한계점을 극복하기 위하여, 매우 고도화된 하드웨어 및 소프트웨어 기술을 요구한다. 따라서 과거의 알고리즘에 의한 기준 만으로 방화벽을 구분 지을 수는 없다. 하지만 방화벽 5세대가 지향하여야 할 목표는 명백하다.

즉, 다양한 네트웍 계층 특히 애플리케이션 레벨 수준에서 유입되는 각종 유해트래픽을 차단할 수 있어야 하며, 이는 딥 패킷 인스펙션 방식의 방화벽 코어와 타 네트웍 보안기술을 유기적으로 연계, 통합된 정책에 따라 패킷에 대한 각 단계별 정밀한 검사를 수행하여, 네트웍을 통한 모든 유해한 트래픽을 탐지 & 차단하는 메커니즘으로 동작하고, 이러한 검사방식에 의한 네트웍 병목현상을 최소화하기 위해, 대용량의 네트웍 백플레인을 탑재한 하드웨어 상에서 구현되어야 하며, ASIC 기술이나, NPU(Network Processing Unit) 등을 이용하여 패킷 처리속도의 극대화를 추구하여야 한다.

네트웍 보안 통합 및 전문 솔루션 속속 등장

현재의 네트웍 보안 제품은 통합과 분리가 동시에 이루어지고 있다. 즉 다양한 보안 대책을 저비용으로 구현하고, 관리와 운영의 편의성을 위하여 기능의 통합화가 필요하지만, 고속화, 대 용량화 되고 있는 네트웍의 보안 요구사항을 하나의 시스템에 만족스럽게 적용하기에는 현재의 기술로 매우 어려운 것이 현실이다.
따라서 네트웍 상의 웹 애플리케이션 보안 제품 및 바이러스 월 등의 특정 서비스에 대한 보안 전용 장비들이 등장하고 있고, 특정한 영역의 보안 목적을 달성하기 위하여 전문화된 기술을 적용하고 있다.

최근 이슈화 되고 있는 침입방지시스템(IPS)은 아직까지 개념이 명확하게 정립되지는 않았지만, 능동형 보안 솔루션으로써 방화벽, IDS 등 기존 네트웍 보안 솔루션의 한계점을 극복하기 위한 노력의 출발점이라고 볼 수 있다. 다시 말해서 IPS는 그 기술 기반이 방화벽, L7 스위치 혹은 IDS 등 어디에서 출발을 하던 간에 네트웍 상에서 끊임없이 위협이 되고 있는 해킹, 바이러스, 웜, Dos(Denial of Service), DDos(Distributed Denial of Service) 등을 능동적으로 탐지 및 차단하는 데에 그 목적을 두고 있다.

다시 말해서, IPS라는 것은 5세대 방화벽의 개념과도 유사한, 방화벽, L7스위치, IDS 의 궁극적인 진화 방향으로 볼 수 있으며, 어쩌면 하나의 솔루션이 아니라 각각의 기능이 결합된 시스템으로써 존재하여야 할지도 모른다.

네트웍 보안은 선택이 아닌 필수

최근 한국정보보호진흥원이 발표한 '2003년 해킹 바이러스 동향'에 따르면 2003년에는 총 2만 6179건의 해킹 피해가 국내에서 발생했다. 지난 98년의 158건과 비교하면 5년 만에 무려 165.7배나 증가한 것이다. 현재 네트웍 상에 존재하는 각종 유해 트래픽들은 정 보화시대로의 발전을 끊임없이 위협하고 있으며, 날로 급속히 확대 되어가는 정보시스템의 의존도에 비례하여 역기능에 대한 부작용도 더욱 커질 것이다.

따라서 이에 대한 철저한 대책이 없이는 멀지 않아 지난 1.25 인터넷대란에서 보여준, 수십 아니 수백배에 달하는 충격을 감수하여야 할 것이다. 더 이상 '선택이 아닌 필수'요소로써 네트웍 보안의 역할을 충분히 감당할 수 있는 기술력의 확보가 매우 시급하다.

저작권자 © 아이티데일리 무단전재 및 재배포 금지