파브리지오 마굴리아니 SGI 기술이사
줄어드는 예산으로 더 많은 연구개발 업무를 해야 하는 연구자들이 부족한 전산자원을 구하기 위해 개발, 사용되기 시작한 그리드 컴퓨팅(Grid Computing)이 이제는 IT 업계와 각 나라 정부의 지원을 받으면서 제 2의 인터넷 혁명을 일으킬 수 있는 기술로 주목 받고 있다. 현재의 그리드 컴퓨팅은 그리드 인프라를 이용한 계산, 그리드 시스템 액세스, 그리고 각종 미들웨어의 개발에 중점을 두고 있다.
비주얼 그리드 컴퓨팅은 계산된 결과의 빠르고 정확한 이해를 위해 기존의 그리드 컴퓨팅 개념에 효율적인 네트웍 기반의 결과 가시화 개념을 접목시킨 것이라 할 수 있다. 비주얼 그리드 컴퓨팅은 방대한 3차원 데이터에 기반해 수천킬로미터가 떨어진 원격지에서 여러 사람들이 협력하여 의사결정을 해야 하는 R&D, 대학, 국방 및 유전개발 등의 분야에서 활발히 도입되고 있다.
우주의 기원 연구부터 N*그리드 프로젝트까지
우주의 기원을 밝히는 스티븐 호킹 박사의 연구는 영국의 각 대학 서버를 연결하여 그리드 컴퓨팅으로 진행되고 있다. 이와 관련, 영국 케임브리지 대학은 우주의 빅뱅 이후 은하의 형성에 대해 연구하는 코스모스 프로젝트(COSMOS Project)를 위해 우주연구 전용 그리드를 이용하고 있고, 영국 최대 규모의 우주연구용 수퍼컴퓨터를 호스트하고 있다. 또 다른 대학들은 소형 서버들이나 기타 시스템 아키텍처들을 그리드에 연결하고 있으며, 비슷한 소형 그리드들이 전세계적으로 구성되고 있다.
미 항공우주국 NASA에서는 미국 내에서 수천 개의 프로세서를 가진 여러 SGI 오리진 시스템을 이용해 IPG (Information Power Grid) 라는 그리드를 구축, 각종 항공우주 연구에 활용하고 있다.
한국에서도 정보통신부의 지원 하에 N*그리드 프로젝트를 가동하여 한국의 주요 수퍼컴퓨팅 전산자원을 연결하는 작업을 하고 있다. 2002년 1월부터 시작된 국가 N*그리드 프로젝트는 그리드 환경을 이용하여 과거에는 불가능했던 5T, 즉 생명기술(BT), 나노기술(NT), 환경기술(ET), 우주항공기술(ST), 전통제조산업기술(TT) 분야의 거대 문제를 해석하고, 그 결과를 연구 현장해 적용하여 신기술을 개발할 수 있는 연구기반을 조성하는데 목표를 두고 있다.
그리드 컴퓨팅은 과학자들과 엔지니어들이 중요한 컴퓨팅 자원과 첨단 기기에 신속하고 투명하게 접근하여 서로 공유할 수 있는 환경을 제공하기 위해 시작되었다. 그리드 사용자는 컴퓨터, 소프트웨어, 데이터, 그리고 기타 중요한 자원들의 위치를 걱정하지 않고 그 자원들에 직접 접근할 수 있다. 자연히 그리드는 어려운 문제 해결 능력을 향상시켜 주고, 조직들 상호간의 협업을 가능하게 하며, 고가 자원들의 이용을 증가시켜 준다.
특히 유럽에서는 자원공유를 위한 각종 그리드를 구축하는데 상당한 노력을 기울여왔다. 그리드에 연결하면 시스템 이용이 증가해 첨단 컴퓨팅 자원들을 위한 투자효과(ROI)를 극대화할 수 있다는 장점도 있다.
과학계산 수퍼컴퓨팅 업계의 명실상부한 리더인 SGI는 그리드 컴퓨팅이라는 개념이 본격적으로 형성되기 이전부터 그리드 컴퓨팅에 참여하면서 여러 가지 공로를 세워왔다.
·SGI는 수퍼컴퓨팅(Super Computing) 97에서 아르곤(Argonne) 연구소 및 USC와 함께 그리드 기술의 첫 공개 시연을 실시했다. 이 시연은 오로지 SGI 시스템들만을 이용해서 이루어진 것이었다.
·콜로라도 덴버시에서 개최된 수퍼컴퓨팅 2001에서는 행사장 내의 SGI 부스와 하와이 대학, 일리노이 대학 수퍼컴퓨팅 애플리케이션 센터, 캐임브리지 우주 연구소를 연결하여 협업-가시화 그리스 기술을 선보였다.
·현재 그리드 미들웨어 중에서 가장 많이 사용되고 있는 글로버스 툴킷(Globus Toolkit)은 SGI의 운영체계와 프로그램 개발도구를 사용하여 전적으로 SGI 유닉스 서버에서 개발되었다.
·그리드 컴퓨팅의 실질적인 첫 구축 사례로 평가 받고 있는 NASA의 IPG 프로젝트에서는 수퍼컴퓨팅 장비로 SGI 오리진(Origin) 서버가 사용되고 있다.
캘리포니아에 위치한 NASA에서는 세계 최초로 1,024개의 프로세스가 장착된 SGI 오리진 3800 싱글 시스템 이미지 수퍼컴퓨터가 활용되고 있으며, 매릴랜드의 NASA 고다 우주비행센터에서는 512개의 프로세서를 장착한 오리진 3800이 Information Power Grid 용 시스템으로 활용되고 있다.
·케임브리지 대학의 스티븐 호킹 박사는 SGI의 오리진과 오닉스 서버를 사용하여 이론적 시뮬래이션과 우주의 관찰을 비교하여 우주가 생성되는 구조의 근원을 밝히는 COSMOS 프로젝트를 진행하고 있다.
·SGI 시스템들은 유럽, 북미, 일본, 호주의 거의 모든 주요 그리드 구축에 사용되고 있다.
SGI는 또 글로벌 그리드 포럼(Global Grid Forum)의 회원이며 각종 워킹 그룹과 연구 그룹에 적극 참여하고 있다.
비주얼 그리드 컴퓨팅의 주요 기술
기초과학과 산업기술 연구에 필수적인 고속연산, 대량의 데이터 처리, 첨단장비 상호공유를 가능하게 해줄 뿐 아니라 사이버 공간에서 협업 연구나 작업을 가능하게 해주는 그리드 컴퓨팅에서는 컴퓨팅 파워 못지않게 중요한 것이 데이터의 관리와 사용에 관한 문제가 중요하다. 그리드 컴퓨팅을 통해 종전에는 불가능했던 대규모의 계산이 가능해지면서 방대한 양의 데이터가 생성되고 있기 때문이다.
그러나 그리드 컴퓨팅과 같은 이기종(heterogeneous) 환경에서는 데이터를 공유하기가 어렵다. 이 때문에 FTP를 이용해서 파일을 전송 받게 되면 컴퓨터를 이용해 과학계산을 하는 시간보다 데이터를 그리드 시스템으로 입출력 하는데 더 많은 시간이 소요되는 문제점이 발생하게 된다. 이러한 문제를 해결하기 위해 SGI에서는 CXFS 기술과 VAN (Visual Area Networking) 기술을 그리드 컴퓨팅에 접목하여, 수천 킬로미터가 떨어진 이기종 간의 클라이언트 컴퓨팅 환경에서도 메타데이터 서버에서 처리된 비주얼 자료를 공유할 수 있도록 해주는 것이 비주얼 그리드 컴퓨팅 기술이다.
1. CXFS 기술
비주얼 그리드 컴퓨팅의 중요한 구성요소의 하나인 CXFS 는 SAN (storage area network) 환경에서 데이터 공유를 가능하게 하기 위한 기술로서 스토리지를 공유하는 것이 아니라 이기종간에 파일 시스템 자체를 공유한다는 점에서 차별성이 있는 기술이다.
이 기술은 그리드 컴퓨팅에서 요구하는 원거리 연결 SAN 환경을 구축하기가 용이하지 않았던 탓에 처음에는 사용되지 못했지만 네트워킹 기술의 발전으로 그리드 환경에 접목하는 것이 가능해졌다. 최근에 북미에서는 이를 실제로 적용한 바 있다. 이 기술을 활용하면 최대 8,000 킬로미터 안에 있는 이기종 컴퓨터를 연결하는 파일 공유 시스템을 구축할 수 있으며, 수퍼컴퓨팅 컨퍼런스에서는 초당 400MB의 전송속도를 그리드 환경에서 시연하기도 했다.
성공적인 그리드 컴퓨팅을 위해서는 데이터 공유와 신속하고 신뢰성 있는 데이터 접근이 중요하다. 이것이 안되면 데이터가 필요할 때마다 매번 그리드 상에서 로컬 스토리지로 데이터가 복사되어야 하거나(이 때 데이터 보안 및 일관성과 관련된 문제가 발생할 가능성이 있다), NFS 같은 느린 네트웍 파일 공유 기술들이 사용되어야 한다. 두 경우 모두 데이터를 기다리는 동안 귀중한 시간이 낭비된다.
SAN 환경의 시스템 데이터 공유 지원
CXFS는 SAN 환경의 모든 시스템이 동일한 파일과 파일시스템에 접근하여 데이터를 공유하게 해준다. SAN은 수십 킬로미터 거리를 커버할 수 있기 때문에 CXFS가 캠퍼스 환경 같은 로컬 그리드에서 사용되면 그리드 컴퓨팅을 이상적으로 보완해준다. 카디프 대학(Cardiff University)의 경우 이 대학의 그리드 환경을 고려해서 2TB RAID 스토리지와 CXFS를 이용하여 SAN을 설치했고, 이 스토리지 기술이 제공하는 고성능 데이터 공유 능력을 통해 직접적인 고속 데이터 접속과 데이터 공유 혜택을 얻고 있다.
SGI는 CXFS를 디자인 할 때 공동의 데이터 접근이 중요하고, LAN이 필요한 대역폭을 제공할 수 없는 애플리케이션들을 염두에 두었다.
SAN 환경의 한 시스템이 메타데이터 서버 역할을 해서 파일 접근 허락 여부를 컨트롤하고 공동 접근을 중재한다. 모든 데이터가 파일 서버를 통과되어 있어 이것이 병목이 되는 경우가 종종 발생하는 네트웍 파일 공유와는 달리, CXFS를 이용하는 시스템들은 메타데이터 서버가 일단 접근을 허락하면 SAN에서 직접 디스크에 데이터를 읽고 기록할 수 있다.
메타데이터 서버가 장애를 일으킬 경우, 지정된 백업 메타데이터 서버가 자동으로 CXFS 파일시스템의 관리를 넘겨받는다. 이 능력은 완벽한 이중 SAN 구성 및 RAID 스토리지와 결합되어 아주 높은 가용성과 뛰어난 성능을 제공한다. 장애가 발생해도 CXFS는 항시 데이터 접근 경로의 가용성을 보장한다.
2. VAN
과학자들이 계산한 데이터는 결과를 더 정확하고 빠르게 이해하기 위하여 가시화 즉 비주얼라이제이션 작업을 하게 된다. 그리드 컴퓨팅을 통해 컴퓨팅 파워와 스토리지는 공유할 수 있게 된 반면, 그래픽 공유 기술이 부족하여 데이터를 전송 받는데 많은 시간을 허비하고 데이터 처리를 위해 고성능 그래픽 컴퓨터와 가시화 소프트웨어를 구비하고 있어야 하는 문제점은 남아 있었다. SGI 의 VAN(Visual Area Networking)을 이용하면 이러한 문제를 해결할 수 있게 된다.
VAN은 한 마디로 전세계 어디서나 빠르고 용이하게 데이터 공유를 가능하게 하여 어려운 문제들에 대한 이해와 통찰력을 높여주는 가장 강력한 툴 중의 하나다. 그리드 네트웍에 위치한 SGI 그래픽 수퍼컴퓨터는 그리드 사용자에게 하드웨어와 소프트웨어에 대한 투자를 요구하지 않으면서 필요한 가시화 능력을 제공하며 데이터를 전송하지 않고도 데이터를 분석할 수 있게 해 준다.
VAN을 이용하는 그리드 사용자는 별도의 소프트웨어를 구매할 필요없이 SGI 비즈서버(Vizserver) 소프트웨어 클라이언트를 설치하면 계산된 결과를 가시화 할 수 있다. VAN은 또 그리드 환경에서 협업을 가능하게 해준다. 자신이 계산한 결과를 좀 더 깊이 있게 이해할 수 있는 전문가에게 자문을 구하기 위해 출장을 가거나 보안이 필요한 대규모의 데이터를 전송할 필요 없이 VAN을 이용하게 되면 그리드 망에 접속한 사용자끼리 실시간으로 가시화된 그래픽 이미지와 가시화 소프트웨어의 조작 등을 공유하면서 협업을 진행할 수 있게 되어 그리드를 통해 공동연구를 하는 연구자들에 좋은 도구가 되고 있다.
어디서나 빠르고 쉽게 데이터 공유
가시화는 여러 가지 과학적, 공학적 문제들을 해결하기 위한 독특한 혜택을 제공하지만 전형적인 가시화 시스템들은 로컬 뷰(local viewing) 밖에 지원하지 못하는 한계가 있었다. 따라서 그리드에 원격 가시화를 제공하는 솔루션은 첨단 가시화 능력의 이용과 혜택을 획기적으로 확대시켜 줄 수 있다.
SGI가 VAN을 개발했을 때까지만 해도 그리드에서 첨단 가시화 능력을 공유하기는 쉽지가 않았다. 첨단 가시화 시스템의 결과는 오로지 로컬에서만 디스플레이 될 수 있었다. 과학자들과 엔지니어들은 어디서나 컴퓨터 시스템과 기기들을 효율적으로 공유할 수 있었지만, 결과를 가시화하기 위해서는 가시화 시스템을 구입하거나, 이미 그런 시스템을 갖추고 있는 곳으로 출장을 가야 했다.
마찬가지로, 협업을 위한 비주얼 데이터를 공유하기 위해서는 모든 공동 작업자들이 한 장소에 모이거나, 각각의 공동 작업자가 데이터 세트의 로컬 카피를 가지고 가시화 시스템에 접근해야 했다. 물론 데이터 카피가 다수 생기다 보면 데이터 무결성과 데이터 보안, 그리고 경우에 따라서는 지적재산권 보호에 어려움이 뒤따랐다. 이 모든 것들이 가시화 능력의 이용을 크게 제한하는 요인으로 작용했다.
SGI는 VAN의 개발을 통해 이러한 한계들을 없앴고, 그 결과 첨단 가시화 시스템에 대한 접근을 대폭 향상시켰다. VAN을 이용해서 그리드 이용자들은 다른 그리드 자원에 접근하는 것과 비슷한 방식으로 첨단 가시화 시스템에 접근할 수 있다.
SGI의 대표적인 VAN 제품인 OpenGL 비즈서버(Vizserver)를 이용해서, SGI 오닉스(Onyx) 계열 가시화 시스템들이 렌더링한 결과가 사실상 모든 클라이언트 시스템에서 표현(디스플레이)되도록 그리드 상으로 전달될 수 있다. 이 말은 첨단 가시화 시스템이 있는 장소로 출장을 가지 않고도, 또 로컬 시스템에서의 가시화를 위해 데이터를 복사하지 않고도 가시화 능력이 이용될 수 있다는 뜻이다.
비주얼 그리드 컴퓨팅의 쓰임새
비주얼 그리드 컴퓨팅의 응용을 주도하고 있는 SGI는 영국 맨체스터 대학의 MVC(Manchester Visualisation Center)와 함께 비주얼 그리드를 통해 수술실에 대화형 가시화 능력을 제공하기 위한 작업을 진행하고 있다. 대부분의 수술실은 CT 스캔이나 MRI의 결과를 3D로 보는데 필요한 가시화 장비를 가지고 있지 않다. 물론 그렇게 할 수만 있다면 외과 의사의 작업은 훨씬 간단해질 것이다.
가시화 장비는 대부분의 병원 수술실에 들여 놓기에 너무 부피가 크고 지나치게 고가여서 외과 의사들은 전통적인 2D X레이 필름에 계속 의존하고 있는 형편이다.
이런 현실을 감안하여 MVC는 외과 의사들을 위해 Op3D라는 이름의 특화된 OpenGL 가시화 애플리케이션을 개발하고, 수술실에 가시화 능력을 제공하기 위해 OpenGL 비즈서버의 사용을 테스트했다. 오닉스 300 시스템이 가시화 서버 역할을 해서 수술실의 랩톱 시스템에 대화형 3D 그래픽을 제공한다. 이 랩톱 시스템은 비디오 프로젝터에 연결되어 수술 팀에게 대형 이미지 뷰를 제공하고, 외과 의사는 조이스틱으로 애플리케이션을 제어한다.
SGI와 MVC팀은 음성으로 조작하면서 핸즈프리로 사용할 수 있도록 Op3D 애플리케이션 향상 작업을 진행하고 있다. 궁극적으로 이 기능은 맨체스터의 다른 병원들은 물론이고, 전세계의 수술실에 가시화 능력을 제공하는데 이용될 수 있을 것이다.
네트웍 컴퓨팅의 다음 단계
그리드 컴퓨팅은 네트웍 컴퓨팅(networked computing) 진화의 다음 단계다. SGI는 처음부터 네트웍 컴퓨팅 및 그리드 컴퓨팅에 참여해왔고, 그리드 컴퓨팅의 약속을 현실로 만들어주는 고성능 컴퓨팅(HPC), 첨단 가시화, 데이터 관리, 보안을 위한 첨단 기술들을 제공하고 있다.
SGI는 특히 CXFS와 VAN 기술들을 통해 비주얼 그리드 컴퓨팅의 확산을 촉진해왔다. 가트너 그룹에 의하면 인류가 활용하는 데이터의 양이 2003년에는 20엑사바이트(1 엑사바이트=1000 페타바이트, 1페타바이트-1000 테라바이트)에서 2006년에는 180엑사바이트로 약 9배 증가할 것이라고 한다. 이처럼 데이터의 양이 폭발하고 있는 시점에서 비주얼 그리드 컴퓨팅이 제공하는 편의성과 각종 효과를 감안할 때 비주얼 그리드 컴퓨팅은 IT 환경에 새로운 바람을 몰고 올 것으로 기대하고 있다.