실제 환경의 BMT 요구로 공급업체 비용 부담 커져, 보상도 없고 결과도 비공개
"감사에 대처하는 요식 행위에 불과" 지적도, 투명하고 공정한 BMT 체제 마련해야

우리나라에서 벤치마크테스트(이하 BMT) 비용은 사용자가 물지 않고, 벤더들이 무상으로 제공하고 있다. 그래서인지 마구잡이식으로 BMT가 이뤄지고 있으며, 최근에는 적지 않은 비용이 들어가는 실제 환경의 BMT에 대한 요구가 높아지고 있다. 또 BMT를 해놓고도 프로젝트를 취소하는 일이 벌어지는가 하면 심지어는 미리 업체를 선정해 놓고 감사에 대처하기 위한 요식 행위로 악용하는 일도 빚어지고 있다. 국내 IT 업계 BMT 무엇이 문제인가? 그 현상을 이모저모 살펴보고 대안을 모색해 봤다.
박시현 기자 pcsw@infotech.co.kr

공급업체들이 BMT 비용을 보상받지 못하는 문제는 국내 IT 업계의 대표적인 불합리한 관행이다. 이 같은 관행이 새삼스럽게 최근 문제로 떠오르고 있다. 그 이유는 BMT 규모가 커지면서 공급업체의 비용 부담도 크게 늘고 있기 때문이다. BMT 규모가 커졌다는 것은 실제 환경의 BMT가 늘어났다는 것을 의미한다.

실제 환경의 BMT는 벤더에게 어려운 주문
공급업체들은 입을 모은다. "실제 환경의 BMT는 공급업체에게 엄청난 부담이다." 왜 그럴까? 비용이 많이 들기 때문이다. 실제 환경의 BMT를 하려면 대규모 장비가 필요하고, 전문인력도 뒷받침되어야 한다. 서버나 DBMS, 디스크 등 기본적인 장비 동원은 물론 BMT 대상 애플리케이션을 포팅하거나 이전하는 등의 작업이 필수적이며, 또 값비싼 테스트 툴도 갖춰야 한다. 만일 국내에 장비가 없으면 해외에서 하는 경우도 더러 생긴다.
업계의 한 관계자는 "요즘 신규 기종의 라이프 사이클은 3~6개월이다. 항상 신규 장비를 보유하고 있을 수는 없다. 그런데 이를 요구하는 발주자가 많다. 외국에서는 쉽게 구할 수 있지만 국내는 그렇지 않다"며 요즘 발주자들이 내거는 BMT 조건이 매우 까다로움을 단적으로 설명한다.
BMT 작업에 걸리는 기간은 짧아야 1주일이며, 그 규모에 따라 3주, 9주, 12주이며, 심지어는 6개월 이상 걸리는 경우도 있다. 비용도 수십만원에서 수천만원 등 제각각이지만 몇억원씩 드는 사례도 간혹 생긴다.
그렇다고 공급업체로서는 이러한 사용자의 BMT 참여 요구를 마다할 수는 없다. 그랬다가는 프로젝트의 참여 포기를 인정하는 것이나 다름없기 때문이다. 울며 겨자먹기 식이다.
발주자 측은 주장한다. "이렇게 함으로써 기기나 소프트웨어 선정의 객관성을 더욱 확보할 수 있을 뿐만 아니라 향후 리스크를 최소화할 수 있다."
그러나 공급업체들은 "굳이 실제 환경의 BMT를 할 필요는 있는가?"라며 항변한다. 파일럿 형태의 BMT로도 충분함에도 무조건 비싼 비용을 들어 이렇게 할 필요가 있느냐는 것이다. BMT의 낭비 요소가 적지 않다는 얘기이다. 이에 따라 업계 일각에서는 "미국이나 일본은 우리처럼 BMT를 남발하지 않는다. 테크니컬 페이퍼를 검토하거나 POC(기능 검증) 수준에서 그치는 경우가 많다. 한국처럼 BMT가 잦은 나라는 보지 못했다며 놀라워 한다"고 전하면서 적은 비용으로 투명하고 공정하게 진행할 수 있는 절차를 마련하는 일이 시급하다고 주장한다.
BMT의 낭비 요소는 이 뿐만이 아니다. 한 회사에서 부서마다 동일한 내용의 BMT를 중복적으로 추진하는 것이 그 단적인 예이다. 이를테면 A부서가 디스크 도입을 위한 BMT를 추진했는데 B부서, C부서도 디스크를 도입할 때 마다 BMT를 수행하는 식이다. 이는 명백히 비용 낭비의 요인이라는 게 공급업체들의 주장이다.
그렇지만 일각에서는 이미 프로젝트 내용이 노출되어 비밀리에 추진할 경우 구설수에 오를 수 있다는 점을 우려해 어쩔 수 없이 BMT를 추진할 수 밖에 없는 경우도 있다고 설명한다.

한 부서내 중복 추진, 결과 미공개도 문제
벤더들이 이처럼 많은 비용을 들어 BMT에 참여하지만 탈락하면 한푼도 받지 못할 뿐만 아니라 일부의 경우 BMT를 해놓고도 프로젝트를 일방적으로 취소하는 것도 BMT 낭비 요소의 하나이다. 업계의 한 관계자는 "과거 1억원을 들여 2번씩이나 BMT를 했는데 발주자가 도입 결정을 포기해 막대한 손해를 입은 적이 있다"고 전한다.
이처럼 BMT를 해놓고도 결론을 내리지 못하고 프로젝트가 유야무야로 끝나는 사례가 벌어지고 있는 것은 사용자가 잘 모르고 접근하기 때문이라는 게 공급업체의 설명이다. "일단 한번 해보자"는 식으로 BMT가 적지 않게 이뤄지고 있으며, 그 결과가 창고에 처박혀지는 일이 비일비재한다는 것이다.
이러한 현상이 빚어지는 것은 발주자 측도 문제지만 공급업체에서도 책임이 있다. 오히려 공급업체가 부추기는 면이 없지 않다. 특정 업체가 제시하는 솔루션의 BMT 결과는 객관성과 공정성 측면에서 신빙성이 없기 때문이다. 공급업체들이 BMT 결과를 내세워 오로지 자기 제품만이 최고라고 주장하지만 믿을 수 없다는 얘기이다. 실제로 공급업체들은 자기 제품이 최상의 성능치를 내기에 유리한 환경을 꾸며 BMT를 하고 이 결과를 앞세워 영업에 나서고 있는 것은 잘 알려진 사실이다.

객관성과 공정성 갖춘 공인 BMT 기관이 없다
물론 객관성과 공정성을 갖춘 제 3의 공인 BMT 기관이 존재하며, 이같은 문제는 쉽게 풀릴 수도 있다. 그렇지만 엄청난 비용이 드는 다양한 테스트 장비와 전문인력을 보유하고 하드웨어, 소프트웨어 등 종합적인 BMT를 수행하는 곳은 아직 국내에 없는 실정이다. 비록 외국에 유명 BMT 공인기관이 있지만 역시 객관성을 확보하고 있지 않다는 평가가 우세하다. 한 업계 관계자는 "외국 공인기관의 BMT 결과도 의미없다. 사용자의 실제 환경에서의 테스트가 아니라 높은 BMT 결과를 얻을 수 있는 최상의 환경에서 이뤄지고 있다. 얼마나 많은 '돈'을 투자 하느냐에 따라 그 결과가 달라진다"고 지적한다.
업계의 또다른 관계자는 이러한 현상을 예로 들어 "앞으로도 BMT의 남발은 피할 수 없을 것이다. 비용이 많이 드는 일이지만 어쩔 수 없다"고 설명한다. 공급업체들이 서로 게임에서 이기기 위해 자기에게 유리한 주장만을 하는데, 공정한 경쟁의 방안으로 오히려 정정당당하게 BMT를 해보자고 제안하는 일이 일상적으로 발생한다는 얘기이다.
이처럼 공급업체의 입김대로 BMT가 이뤄지다 보니 BMT 항목이 누더기가 될 정도로 원칙없이 진행되는 것이 허다하게 벌어진다. 업계의 한 관계자는 "예를 들어 2개사가 모 기관의 프로젝트 참여했다고 하자. 제안서의 사양이나 BMT 평가 항목이 하루 밤이 지나면 바뀐다. 공급사가 서로 자기에게 유리한 것만 주장하기 때문이다."고 설명한다.

BMT 악용 사례들
BMT 비용을 벤더가 전부 부담하는 것도 그렇지만 그 결과를 일체 공개하지 않는 것도 불문률로 통한다. 탈락업체들은 왜 떨어졌는지 그 이유를 알 수 없다. 만일 공개할 경우 탈락업체들의 이의 제기에 대응하기가 쉽지 않는 등 난처한 입장에 빠질 수 있기 때문인 듯 하다. 그래서인지 BMT 전에 발주자와 공급업체는 결과에 이의를 제기하지 않고 승복한다는 약속을 문서 또는 구두로 합의하는 일이 일반적이라고 한다.
이처럼 BMT 결과 비공개 원칙 때문에 빚어지는 문제는 한 두가지가 아니다. 업체 들러리 세우기 식의 BMT가 대표적이다. 이미 공급업체를 선정해 두고 공정한 절차를 거쳤다는 것을 보여주기 위해 형식적으로 BMT를 추진하는 것이다. 한마디로 요식행위이다.
예를 들면 10가지 평가 항목이 있다고 하자. 발주자는 각 항목마다 가중치를 두고 있으며, 그것도 나중에 적용한다. 미리 선정해 놓은 업체가 유리하게 나온 항목에 가중치를 부여해 선정하는 것이다. '짜고 치는 고스톱'이다. 또 발주자가 촉박하게 BMT 일정을 잡아 의도적으로 일부 공급업체들의 참여를 배제하는 것도 마찬가지이다. 관련 업계에서는 "대용량 장비를 바로 준비하는 것이 쉽지 않다. 결국 준비하지 못한 업체는 참여하고 싶어도 할 수 없다"고 말한다.
BMT는 또 발주자가 경쟁업체의 경쟁을 부추기는 수단으로 이용되기도 한다. 업계의 한 관계자는 "버전 8이며 충분한데, 9, 10버전을 요구하는 경우가 있다."면서 고객이 객관적인 선정 기준을 세우지 않고 무조건 접근하는 행태를 비판한다.

제 3의 객관적인 BMT 기관 필요
관련 업계에서는 이러한 BMT의 문제점을 해소하는 방안으로 객관성과 공정성을 갖춘 제 3의 공인 BMT 기관을 만들어 원칙을 수립하고, 투명하게 추진하는 체제 구축이 바람직하다고 이구동성으로 얘기한다. 아직은 완벽하지 않지만 국내에서도 이러한 공인 BMT 기관을 지향하고 있는 곳이 있어 눈길을 끈다. 바로 한국정보통신기술협회(TTA) S/W시험인증센터이다.
2002년 1월부터 BMT 서비스 제공에 나선 TTA는 외국의 유명 소프트웨어와 동종의 국산 소프트웨어 BMT, 동종의 국산 소프트웨어간의 BMT, 사용자 요구 사항에 따른 맞춤형 BMT, 하드웨어간의 사양, 기능, 성능 측정 및 비교 분석 등의 일을 수행하고 있다. 지금까지는 주로 정부공공기관이나 일부 민간기업의 의뢰를 받아 BMT 결과를 당사자에게 통보하는 형태로 BMT를 수행했는데 BMT 제품이 현재 130여개에 이른다. 현재 센터에는 PC, 서버 등 다양한 장비와 20여종의 시험 자동화 도구를 보유하고 있으며, 테스트 전문 엔지니어도 30여명에 이른다.
TTA S/W시험인증센터의 신석규 센터장은 "인지도나 회사의 규모가 제품 도입의 주요 요인으로 작용하고 있다. 지금 국내에 나와있는 외산 제품은 대개 영문 버전으로 한글화되어 있지 않은 것이 많다. 영문 버전을 로컬라이제이션 하면 한마디로 버그 투성이다. 이처럼 로컬라이제이션한 제품의 테스트가 필요한데 제대로 이뤄지지 않고 있다"며 센터의 역할에 대해 설명한다. 그는 "자체적으로 여러 제품의 BMT를 추진하고 그 결과를 공개해 벤더들이 제품 보완의 기회롤 삼을 수 있도록 노력할 것"이라고 향후 계획을 말했다.

GS 시험 인증기관 역할, 객관적인 BMT 서비스도 수행
국내 유일 정부공인 S/W 시험인증기관 'TTA'
올해부터 정부공공기관에서 중소 SW 기업의 GS 인증 제품을 우선 구매하는 제도가 시행되고 있다. 중소 SW 업체의 우수 제품들이 정부공공 기관에 채택될 수 있는 길이 마련된 셈이다. GS 인증은 정부에서 지정한 인증기관에서 실시하는 SW 품질 테스트에 통과한 제품에 부여하는 것으로, 한국정보통신기술협회(TTA) S/W시험인증센터가 인증기관의 역할을 맡고 있다.
현재 국내 유일의 정부공인 S/W 품질 시험인증기관인 S/W시험인증센터는 중소 업체들이 갖추기 어려운 여러 운영체계의 시험 서버와 다양한 분석시스템을 보유하고 기능성, 신뢰성, 효율성, 사용성, 이식성, 유지보수성 등 10여개 항목에 걸쳐 테스트를 수행하고 있다.
이 센터는 테스트 과정에서 발견하는 결함을 리포트로 제공해 보완할 기회를 제공하고 재시험하는 절차로 운영되고 있는 점이 돋보인다. 국산 소프트웨어 품질 극대화라는 설립 목적에 맞게 꼼꼼하고 까다롭게 테스트를 수행해 국산 소프트웨어 경쟁력 강화에 한몫하고 있는 것이다.
TTA S/W시험인증센터의 신석규 센터장은 "미국이 소프트웨어 강국으로 자리잡은 것은 여러 요인이 있지만 그중에 여러 테스트 전문기관을 통한 철저한 테스트를 들 수 있다"면서 국내에서는 이제서야 그것도 정부기관 한곳에서 테스트를 수행하고 있는 현실을 꼬집었다. 그는 특히 "조잡한 제품은 낙오하고, 좋은 제품은 반드시 득을 볼 수 있는 환경을 만들어야 한다"며 "정교하고 철두철미한 테스트로 소프트웨어 품질을 높이는 것이 국산 소프트웨어의 경쟁력을 확보하는 길"이라고 강조했다.
TTA는 이러한 GS 시험ㆍ인증 서비스 외에 벤치마크 테스트(BMT)와 VeriTest 국제시험ㆍ인증서비스, S/W 테스트베드 지원서비스, S/W 테스트 전문가 양성 교육 사업 등을 벌이고 있다.
이 가운데 2002년 1월부터 제공한 BMT 서비스는 객관적인 비교 분석 자료 제공으로 우수 제품의 선택 기회를 제공하고, 또 개발자에게는 제품의 취약점을 보완할 수 있는 계기를 마련해준다는 목적으로 지금까지 130여개 제품에 대한 BMT가 수행됐다. TTA 측은 "이같은 BMT는 그동안 정부공공기관이나 일부 민간 기업의 의뢰를 받아 추진됐는데 앞으로는 독자적으로 여러 제품의 BMT를 수행해, 그 결과를 제공할 계획"이라고 밝혔다.
한편 TTA는 최근 수요가 급증하고 있는 RTE(Real Time Enterprise) 솔루션(BPM, ERP, SCM, EP, BI, DW 등)의 BMT 서비스를 위해 각 솔루션의 주요 특성 도출 및 평가 모델 개발 등에 관한 연구를 수행하는 내용의 'S/W BMT 평가 모델 개발' 프로젝트를 추진하기로 하고 연구수행기관의 선정에 들어갔다.

저작권자 © 아이티데일리 무단전재 및 재배포 금지