농업 정보의 데이터 허브 역할을 위한 '첫 발', 출하지원시스템
한국농림수산정보센터는 지난 1992년 농업경쟁력을 강화하고 농업인의 삶의 질을 향상시킬 수 있는 농림부 산하의 농업·농촌정보화 추진전담기관으로 설립됐다.
따라서 한국농림수산정보센터는 ▲농림수산종합정보망(AFFIS) 구축 및 운영, 관리 ▲국내외 농림수산정보 제공 ▲농업용 소프트웨어 개발·보급 및 유지 관리 ▲농업경영인 등에 대한 농업정보화 교육 등의 사업을 수행하고 있다. 그 중 가장 대표적인 사업이 농림수산정보의 대국민 서비스라 할 수 있는 농수산물 유통정보화 서비스이다. 이 서비스는 전국의 32개 도매시장에서 발생하는 전 거래 품목에 대한 데이터를 비롯해 농협과 수협, 농수산물유통공사 등 43개 기관 및 단체에서 전송되는 가격과 거래량 정보를 실시간으로 수집, 분석해 농업인과 농수산물 유통인에게 품목별 가격과 물량 분석 정보를 신속하고 정확하게 제공하는 것이 목표다.
제공된 정보들은 농업인은 물론 농수산물 유통인 등 농수산물 유통 정보가 필요한 모든 사람들에 의해 유용하게 활용되고 있으며, 농업 관련 종사자들의 수익 극대화에 기여하고 있다.
김달 kt@infotech.co.kr
한국농림수산정보센터(이하 정보센터)의 농수산물유통정보화서비스의 시작은 1990년대 초반으로 거슬러 올라간다. 정보센터 초기 농수산물 유통정보는 천리안, 하이텔, 014XY망을 통해 제공되기 시작했다.
정보센터가 이러한 서비스에 나선 것은 정보화시대가 도래하면서 농업에서도 정확하고 신속한 정보가 경쟁력의 한 요소로 부상했기 때문. 정확한 정보는 농업인들의 합리적인 농산물 출하 의사결정을 유도, 농촌 경제를 활성화할 수 있기 때문이다.
특히 도매시장의 확대로 농수산물 유통정보의 데이터가 늘어나고 농업 관련 기관에서 조사해 전송하는 각종 농수산물 유통 관련 데이터가 크게 증가하면서, 정확하고 오류가 없는 양질의 농수산물 유통정보 데이터 서비스가 필요했다.
더욱이 농업인들이 합리적인 출하의사결정을 할 수 있도록 데이터를 표준화되고 정확한 유통정보로 가공할 필요가 있었다.
따라서 정보센터는 농수산물 유통정보 수요자의 요구에 맞는 신속하고 정확한 가격 및 거래정보를 적시, 적기에 제공할 수 있는 전산 시스템 기반이 필요하다고 판단, 이를 구현할 수 있는 시스템 구축에 나섰다. 이렇게 해서 탄생한 것이 농산물 유통종합 데이터베이스와 출하분석정보시스템으로 구성된 농산물 출하지원시스템으로, 데이터웨어하우스(DW) 및 OLAP을 이용해 품목별 유통정보를 다차원적으로 분석할 수 있는 기반이 마련된 것이다.
현재 정보센터의 출하지원시스템은 원시데이터로부터 정보를 추출, 데이터웨어하우스로 적재하는 ETT 도구인 IBM 웹스피어 데이터스테이지(구 어센셜 데이터스테이지)와 데이터웨어하우스인 사이베이스 ASIQ, OLAP 도구인 비즈니스 오브젝트를 활용하고 있으며, 하드웨어는 IBM p670을 사용하고 있다.
정보센터에서 출하지원시스템을 구축하면서 가장 관심을 기울였던 부분 중의 하나가 ETT 부문. 정보센터가 출하지원시스템을 구축할 당시, 농수산물 거래규격이 표준화 되지 않은 상황에서 발생한 거래정보에 대한 데이터 표준화 문제 및 도매시장의 확대에 따른 도매시장 거래정보, 농업관련기관 및 단체의 각종 조사정보 등 원시데이터의 효율적인 처리 필요성이 제기되었고 이를 위한 데이터 통합 및 표준화 작업이 절실했다.
속도와 안정성이 선정 요인
정보센터는 별도의 정제 과정이 없어서 오류발생의 문제점을 안고 있는 농수산물 거래정보의 구조적인 해결방안과 계속적으로 전송량이 증가하는 많은 기관 및 단체의 유통정보 원시데이터에 대해 정보 이용자의 요구에 맞추어 데이터의 표준화 및 원시데이터 처리의 효율성을 향상시킴으로써 궁극적으로는 양질의 정확한 가격 및 거래정보를 적기, 적시에 제공하여 농업인의 유통정보 이용만족도를 높일 수 있는 시스템을 찾았다.
보다 빠르고 쉬운 데이터 추출과 정제를 통해 양질의 유통정보 데이터만을 적재하는 DW를 구축, 이를 토대로 다차원 분석 시스템을 구축하여 보다 업그레이드된 농수산물 유통정보 제공할 수 있도록 관련 솔루션을 검토한 결과 IBM 웹스피어 데이터스테이지가 속도와 안정성 면에서 적합하다고 판단, 지난 2000년에 도입을 시작해 2005년 현재까지 지속적인 제품 업데이트를 통해 활용 범위를 넓히고 있다.
빠른 데이터 추출로 다차원 분석 기반 조성
데이터스테이지 도입 이후, 정보센터는 농수산물유통정보 DW 구축을 위한 데이터추출과 정제작업을 보다 효율적으로 수행할 수 있게 됐다. 이는 결국 농수산물유통정보의 다차원적인 OLAP분석 기반을 조성한 것으로, 현재는 전국 도매시장을 비롯해 43개 기관 및 단체에서 전송되는 각종 가격 및 거래량의 원시데이터를 표준화할 수 있게 됐다.
정보센터는 또 정확하고 신속한 정보제공이 가능해짐에 따라 데이터웨어하우스용 ETT를 수행하고, 원시유통 데이터베이스에서 데이터를 추출해 데이터웨어하우스로 적재, 이와 같이 생성된 데이터웨어하우스를 통해 각 유통 정보 별로 유관기관에서 원하는 어떠한 형태로도(파일 또는 DB) 자유자재로 가공하여 제공할 수 있게 됨으로써 업무효율성을 극대화할 수 있게 되었다.
이 외에도, 웹서비스용 XML 파일을 생성해 웹서비스에서 노출빈도가 높은 DB를 연결해 웹 프로그램 방식 대신 데이터스테이지를 응용하여 XML파일을 생성해 웹서버는 DB접속 대신 XML문서를 이용하여 서비스해 웹서비스 시간을 최소화했다.
데이터 표준화로 유통 정보 일관성 'Up'
데이터스테이지 도입 이후, 유통정보의 일관성 및 데이터의 표준화가 가능해짐에 따라 효율적인 데이터 처리로 정보제공의 적시성 및 유연성과 확장성이 향상되었다. 이는 농수축산물 관련 유관기관간 농수산물 유통정보 DB공유를 위해 표준정보를 공유할 수 있게 했으며, 유통정보의 표준화 및 적시성과 유연성을 확보하여 이용자의 요구사항을 완전히 충족시킬 수 있게 되었다.
기존 솔루션의 경우, 원시데이터의 오류사항이 여과 없이 제공되어 유통정보의 정확성이 떨어지고, 정확한 농수산물 유통정보 데이터 분석이 불가능한 점이 있었으나 데이터스테이지는 데이터 클린징 기능을 통해 데이터의 품질을 항상 일정 수준 이상으로 유지할 수 있게 해 주고, 데이터의 표준화를 가능하게 함으로써 이러한 문제들을 해결해 주었다. 유통정보의 표준화는 일관성 있는 정보를 적시에 제공할 수 있게 함으로써 농업 유통 관련 종사자들이 쉽고 정확한 농수산물 가격정보를 접할 수 있게 되었다. 이는 농산물의 출하시점을 조정할 수 있게 해 농촌 경제에 크게 기여하고 있다.
소수의 인원으로 더 많은 정보 관리 및 분석 가능
데이터스테이지 도입으로, 정보센터는 실시간 시세제공 등 복잡한 쿼리를 통해 제공되던 기존의 유통정보 제공 서비스를 XML형태로 이용할 수 있게 됨으로써 DB접근을 최소화 하였으며, 이를 통해 시스템 부하를 최소화 하고 사용자에게는 더욱 신속한 정보 서비스 제공이 가능해졌다.
이는 원시데이터 추출 및 정제, 복잡한 변환 과정에 대한 시간 단축을 통해 업무 효율화로 이어져 다수 인력이 필요한 데이터변환 작업을 자동화된 솔루션이 대체할 수 있도록 했다. 이제는 소수의 인원이 투입되어 더 많은 양질의 정보를 관리하고 분석할 수 있게 됨으로써 조직 전반에 걸친 효율성이 향상 되었다.
기존 솔루션의 경우, 처리 속도가 늦어 유통정보 요청자에 대한 신속한 데이터 처리가 어려웠고, 처리에 필요한 시간과 인력이 많이 소요되었으나 데이터스테이지 도입 이후에는 빠른 처리속도와 직관적 GUI 인터페이스에 기반한 사용편의성, 아울러 고품질의 데이터를 근간으로 하는 정확한 서비스 제공 등으로 인해 각종 요구에 빠르게 따르게 대처할 수 있게 되었고, 최소의 자원으로 최대의 효과를 보고 있다.
글로벌 유통정보 서비스 실현이 목표
농업인의 소득향상에 실질적인 도움을 주고 있는 농수산물 유통정보 서비스를 제공하고 있는 한국농림수산정보센터는 앞으로 유통관련 원시데이터의 지속적인 확대를 통해 농수산물 가격 및 물량에 대한 실시간 및 단기예측 모델을 제시할 수 있도록 발전시킬 계획이다.
또한, 농수산물 유통정보의 DB공유를 확대하여 글로벌한 유통정보 서비스를 실현하고, 글로벌 경제에 맞는 세계 지향적인 농수산물 정보화를 구축할 예정이다. 이는 국내외 모든 농수산물의 가격 및 물량정보 제공 서비스를 실현하는 것으로, 농업관련 원시데이터의 종합적인 수집과 가공을 통해 농수산물유통정보를 포함한 농업정보에 대한 데이터 표준화를 실현하고 데이터 분산의 허브 역할을 담당하기 위한 것이다.
특히, 앞으로 구현될 유비쿼터스 환경에 맞춰 시공의 제약 없이 언제 어디서나 농업 유통정보화 서비스를 접할 수 있도록 해 농촌 경제에 기여할 계획이다.
김지훈 한국농림수산정보센터 시스템운영파트 DBA
"ETL 도구를 도입하기 전에는 데이터 추출을 위해 직접 개발한 프로그램을 사용했는데 작업을 수행하는데 걸리는 시간이 길고 고급기술을 갖춰야만 사용할 수 있다는 점에서 시스템 활용도가 낮았다. 그러나 데이터스테이지를 도입한 후 정합성을 갖춘 데이터를 쉽게 추출, 적재할 수 있게 된 것은 물론 폭발적으로 늘어나는 데이터량에도 유연하게 대응할 수 있게 됐다."
최재웅 농림부 투융자평가통계관실 주사
"지난 99년 무, 배추, 고추, 마늘, 양파 등 주요 채소류를 대상으로 출하지원시스템을 구축한 후 2004년까지 과수작물 등으로 대상 품목을 확대하는데 주력해왔다. 올 들어 유통정보 통합 사업을 벌이고 있는데 농수산 관련 포탈을 한 데 묶어 궁극적으로는 농림수산 관련 유통허브를 만드는 방안을 고려하고 있다."