[아이티데일리] 2025년까지 워크로드 자동화(Workload Automation)를 제공하는 조직의 80%가 서비스 오케스트레이션 및 자동화 플랫폼(SOAP, Service Orchestration and Automation Platforms)을 IT 및 비즈니스에 적용할 것으로 보인다.

SOAP는 I&O 리더의 비즈니스 서비스 설계 및 구현을 가능케 한다. 조직의 하이브리드 디지털 인프라 전반에 걸쳐 워크플로우 오케스트레이션(Workflow Orchestration), 워크로드 자동화 및 리소스 프로비저닝(Resource Provisioning)을 결합하며 비용 및 가용성 이니셔티브의 일환으로 조직의 워크로드 구현 및 최적화에 점점 더 중요한 역할을 한다.

SOAP는 통합 관리 콘솔과 오케스트레이션 엔진을 제공해 워크로드와 데이터 파이프라인을 관리하고 이벤트 드리븐(Event-Driven) 애플리케이션 워크플로우를 지원한다. 대부분의 툴이 API를 노출시켜 배치 프로세스(Batch Process)를 계획할 수 있고 작업 상태를 모니터링할 수 있으며 새 이벤트가 트리거되면 사용자에게 알릴 수 있다. 데브옵스(DevOps) 파이프라인에 통합돼 전송 속도를 높일 수도 있다.

또한 SOAP는 데이터 파이프라인, 클라우드 네이티브 인프라 및 애플리케이션 아키텍처를 제공하고 확장하는 유스케이스에 맞춰 기존 워크로드 자동화의 역할을 확장한다. 이 툴은 데브옵스 툴 체인을 보완 및 통합해 고객 중심의 민첩성을 제공하는 한편 비용 절감, 운영 효율성 및 프로세스 표준화를 지원한다.

시장 설명

SOAP는 진화하는 시장(Evolving Market)으로 워크로드 자동화 툴이 최신 인프라, 애플리케이션, 데이터 및 비즈니스 프로세스 요구를 충족시키도록 하는 성숙 시장(Mature Market)의 혁신을 나타낸다. 이러한 툴은 SOAP이 소비자에게 가시적이고 가치있게 하기 위해 기본적인 시간 기반 스케줄링을 실시간 데이터 처리를 지원하는 이벤트 기반 워크플로우 오케스트레이션으로 확장한다. SOAP를 조직의 초자동화(Hyper automation) 구현의 일부로 사용하면 제공되는 서비스와 지원되는 비즈니스 프로세스의 가치가 올라간다.

SOAP는 IT 운영팀, SRE(Site Reliability Engineering) 팀, 데브옵스 팀, I&O 내 자동화 전담 팀등에 유용하다. 각 팀의 용례는 상이할 수 있으나 공통적으로 반복적, 수동적인 작업을 제거하고 비즈니스 민첩성을 향상시킨다(그림1 참조).

SOAP는 6가지 주요 차별화 기능을 가진다(그림1 참조).

● 워크플로우 오케스트레이션: 온프레미스 환경 및 클라우드의 여러 애플리케이션에서 워크플로우를 설계하고 오케스트레이트할 수 있는 통합된 뷰를 제공한다. 이러한 툴에는 일반적으로 워크플로우 설계를 위한 그래픽 사용자 인터페이스, 시스템과 작업 간 상호 의존성 시각화 기능, 서로 다른 작업과 데이터 소스를 연결하는 통합 기능이 포함된다. 고객이 공급업체와 상호작용하는 경우, 개입 없이 완료하려는 작업을 수행할 수 있을 뿐만 아니라 추가 비즈니스 기능 구축도 가능해 LOB(Line of Business) 사용자에게도 유리하다.

● 이벤트 드리븐 자동화: 수동 단계를 수반하거나 스크립팅이 필요한 IT 프로세스를 자동화할 수 있다. 일부 SOAP는 입력(트리거) 감지, 구성된 규칙 및 정책 검증, 적절한 조치를 통한 대응으로 이어지는 감지-정책-대응 워크플로우를 구현한다. 감지-대응 워크플로우는 if-this-then-that 로직, 휴리스틱 또는 머신러닝(ML)을 사용해 권장 조치를 결정할 수 있는데 이 기능을 통해 비즈니스 프로세스가 이벤트 드리븐 워크플로우로 추출될 수 있어 프로세스의 문서화가 가능해지며 변경이 필요할 때 신속하게 처리할 수 있다.

● 셀프 서비스 자동화: IT 내‧외부의 사용자가 자신의 워크플로우를 오케스트레이트 하도록 하는 것이 핵심이다. SOAP는 사용자에게 역할 기반 액세스 제어(RBAC, Role-Based Access Controls)가 포함된 셀프 서비스 관리 콘솔을 제공해 자동화 워크플로우의 가시성을 관리할 수 있도록 한다.

이를 통해 IT 운영 팀은 비즈니스 요구사항에 더욱 신속하게 대응하는 동시에 더 가치 있는 작업에 집중할 수 있다. IT 조직은 또한 자동화를 통해 소비되는 작업에 대한 가시성을 유지해 자동화의 효율성을 측정하고 수명 주기를 관리할 수 있다.

● 스케줄링, 모니터링, 가시성 및 경고: IT 프로세스에 대한 가시성을 확보하고 서비스 수준 협약(SLA, Service-Level Agreement) 준수 및 개선을 돕는다. 일부는 모바일 앱을 통해 실시간 서비스 모니터링, 알림 및 스케줄링 기능을 지원한다. 사용자는 이를 셀프 서비스 자동화 기능과 결합해 계획된 워크로드의 상황을 실시간으로 모니터링하고 장애가 발견되면 조치를 트리거할 수 있다.

여기에는 기존 시간 기반 작업 스케줄링뿐 아니라 복잡한 비즈니스 드리븐 스케줄링 또는 캘린더 실행에 대한 지원도 포함돼 있어 계획-예측-최적화 워크플로우를 활용하여 비즈니스 SLA 초과 위험이 있는 프로세스를 확인하고 해결할 수 있다.

● 리소스 프로비저닝: 클라우드와 온프레미스에서 컴퓨팅, 네트워크 및 스토리지 리소스를 프로비저닝한다. 리소스 프로비저닝은 플랫폼에 따라 달라지는 경향이 있으며, SOAP 제공업체마다 그 기능이 다르다.

일반적으로는 마이크로소프트 윈도우(Microsoft Windows), 더 오픈 그룹(The Open Group)의 유닉스(UNIX), 리눅스(Linux), 메인프레임(Mainframes), ERP 소프트웨어(예: SAP 및 Oracle) 및 관계형 데이터베이스 시스템(예: Microsoft SQL Server, Oracle 및 IBM Db2)을 지원한다.

● 데이터 파이프라인 관리: 파일 전송을 자동화하고 데이터 파이프라인을 오케스트레이트한다. 데이터 파이프라인은 집합적으로 작업을 수행하는 활동의 논리적 그룹화로 배치(Batch) 프로세싱(예, Apache Hadoop), 스트림 프로세싱(예, Apache Airflow) 또는 인터랙티브 프로세싱(예, Apache Spark)을 위한 데이터 수집 및 처리에 사용될 수 있다.

프로그래밍 방식으로 데이터 흐름을 생성, 예약 및 모니터링하는 기능 또한 제공한다. SOAP는 이러한 파이프라인이 유지되고 버전 관리되고 테스트 및 다른 툴과 통합될 수 있도록 파이프라인을 코드로 정의할 수 있어야 한다.

SOAP는 SaaS 애플리케이션 또는 온프레미스 툴셋(Toolset)으로 사용할 수 있으며 일반적으로 다음과 같은 구성요소를 포함하고 있다.

● 스케줄링 및 상태 모니터링을 위한 역할 기반 액세스가 가능한 웹 기반 관리 콘솔
● 실제 자동화 및 리소스 프로비저닝 작업을 수행하기 위한 에이전트
● 오케스트레이션/자동화/스케줄링 엔진
● 벤더 제공 통합 카탈로그 및 특정 고객 통합을 추가하는 SDK 또는 확장 기능
● 애플리케이션 전반에 비즈니스 및 IT 워크플로우를 설계하고 조합하는 워크플로우 디자이너
● 사용자가 실시간으로 스케줄링, 모니터링 및 알림을 받을 수 있는 모바일 애플리케이션
● (선택) 프로그래밍 방식으로 오케스트레이션 및 자동화 기능을 호출할 수 있는 REST API 노출
● (선택) 사용자가 직접 자동화 작업을 관리할 수 있는 셀프 서비스 콘솔
● (선택) 의사결정을 내리고 문제 해결 조치를 취할 수 있는 위한 ML 알고리즘 지원

시장 방향

워크로드 자동화 툴은 중앙 집중식 IT 기능의 일부로 재고 조정 또는 급여 지급과 같은 배치(Batch) 프로세스를 실행하기 위한 작업 스케줄링에 뿌리를 두고 있다. 배치(Batch) 프로세싱은 많은 데이터 드리븐 조직의 기초이며 비용 절감, 인적 오류 최소화 및 운영 효율성을 위한 전략적 IT 자동화 요구를 충족한다. 그러나 디지털 비즈니스의 속도와 규모를 고려한다면 조직은 배치(Batch) 모드 운영에서 이벤트 드리븐 워크플로우로 전환해야 한다. 그리고 오케스트레이티드 딜리버리를 통해 비즈니스 요구에 신속히 대응하고 운영 효율성을 개선하는 것이 I&O 리더의 성공을 좌우한다(그림 2 참조).

디지털 비즈니스와 디지털 워크플레이스 이니셔티브는 기술 도입 및 비즈니스 운영, 두 가지 변화로 이어진다.

조직은 온프레미스에서 클라우드 및 컨테이너 기반 환경으로 애플리케이션을 현대화하고 마이그레이션한다. SaaS 애플리케이션은 디지털 워크플레이스를 지배하는데, 빠른 도입으로 인해 SaaS 플랫폼 소비를 효율적으로 프로비저닝, 관리 및 최적화해야 하는 문제를 안고 있다. 이는 I&O가 자동화된 딜리버리 및 관리를 지원해야 하는 환경의 확장과도 맞물려 있다. 퍼블릭 클라우드 리소스, 에지(Edge) 배포 대상, 사물인터넷(IoT) 및 하이브리드 토폴로지(Hybrid Topologies)의 사용이 급속히 확대되는 가운데 자동화 플랫폼 없이는 확장이 불가해 소비가 촉진될 것이다.

SOAP는 비용 최적화 과제, 데이터 레지던시(Data Residency) 및 거버넌스 의무, 지리적 제한, 규제 및 정책 준수 요건 등 요소에 민감하게 반응해 I&O 조직이 기존 및 신규 애플리케이션을 구축하도록 지원하는 데 독보적인 위치를 차지한다.

두 번째 변화는 조직이 고객 요구에 대응하는 방식에 영향을 미친다. 문제를 적시에 대응하며 소비자에게 사전 고지까지 할 수 있는 조직은 그렇지 않은 조직보다 경쟁력을 확보할 수 있으며 기본적인 IT 자동화 프로세스에도 영향을 미친다. 예를 들면 기존 프로세스는 비즈니스 활동을 추진하기 위해 일, 월말에 보고서를 계획하고 배포하지만 SOAP는 이 프로세스를 발전시켜 스트리밍 분석을 사용하고 관련 작업을 트리거하여 비즈니스 활동에 대응하도록 한다. 두 가지 변화는 향후 몇 년 동안 SOAP의 발전 척도를 보여주는 주요 지표가 될 것이다.

2021년 가트너의 I&O 리더 설문 조사에 따르면 응답자의 절반 이상이 다음 해에 I&O 자동화 기술에 투자할 것이라 답했으며, 17%가 이를 최우선 투자 분야로 꼽았다. SOAP는 IT서비스관리(ITSM), 클라우드 관리, SaaS 관리 및 구성 관리 데이터베이스 전반의 워크플로우를 오케스트레이트한다. 따라서 I&O 리더는 SOAP를 투자 대비 최대 수익을 창출할 수 있는 전력승수로 평가해야 한다 (그림 3 참조).

배치 프로세싱과 워크플로우 오케스트레이션 기능

워크로드가 클라우드로 이동함에 따라 조직은 클라우드 공급업체가 제공하는 작업 자동화, 스케줄링 및 API 드리븐 워크플로우 오케스트레이션 기능의 이점을 추구할 것이다. 배치(Batch) 프로세싱이 필요한 경우, 클라우드 공급자는 제출된 작업의 규모에 따라 컴퓨트 리소스(Compute Resource)와 서버 클러스터(Server Cluster)를 프로비저닝한다.

조직은 추가적인 배치(Batch) 프로세싱 소프트웨어 설치 없이 네이티브 클라우드 서비스를 활용해 배치(Batch) 컴퓨팅 워크로드를 계획, 스케줄링 및 실행할 수 있다. 그러나 조직이 그동안 워크로드 자동화를 누리며 의존하게 된 기능은 클라우드 공급자 에코시스템에 완전히 복제되기 어려워 이는 클라우드 영역 밖의 SOAP에 대한 지속적인 투자로 이어진다.

워크플로우 오케스트레이션에 대한 클라우드 공급업체의 기본 지원에서 중요한 사항은 사용자 지정 워크로드를 - 트리거-이벤트-드리븐 조치를 위한 서버리스 혹은 ML 모델을 학습시킬 데이터를 활용한 관리형 ML 서비스 - 와 같은 조건부 클라우드 기능에 연결할 수 있다는 점이다.

이러한 기능은 클라우드 공급업체에만 제공되며 여러 업체에 걸쳐 활용하려면 기본 툴링 외에도 더 많은 투자가 필요하다. 산업 사례로는 주식 거래, 재고 및 계좌 조정, 신약 개발 등이 있으며 모두 단일 데이터 저장소에는 없는 대규모 데이터셋 처리를 포함하는 것들이다. 이처럼 SOAP는 처리 및 시각화를 위해 필요한 데이터를 모을 수 있는 데이터 파이프라인을 생성한다.

초자동화와 SOAP

조직의 차별화 요소로서 초자동화의 발전이 계속됨에 따라 SOAP의 역할도 확대됐다. 처음에는 기존의 워크로드 자동화 기능을 비즈니스 프로세스에 통합하여 비즈니스 프로세스 자동화(BPA)와 로보틱 프로세스 자동화(RPA) 툴을 보완하는 것이었다. 그러나 복잡한 I&O 프로세스를 실행하는 SOAP의 기능을 고려할 때 그 역할은 더 깊은 통합은 물론 비즈니스 프로세스의 발명 및 재발명에 참여하는 것으로 확장될 것이다.

프로그래밍 가능한 인프라

프로그래밍 가능하고 변경할 수 없는 인프라 원칙은 인프라를 코드로 취급하는데 기반하고 있다. 이를 통해 온디맨드(On Demand) 방식의 인프라 버전 관리, 테스트, 프로비저닝과 수명 주기 관리가 가능하다. SOAP는 인프라 자동화 툴과 통합돼 인프라 리소스를 프로비저닝하는데 이 기능을 복제하는 대신 툴을 보완한다. 이렇게 통합된 SOAP는 비즈니스 민첩성을 향상시키고 I&O 리더가 애자일 인프라로 혁신할 수 있도록 지원한다.

시장 분석

SOAP는 인프라 자동화, SaaS 관리, 데브옵스 툴체인 또는 RBA와 같은 다른 도메인의 자동화 기능을 대체하거나 복제하지 않는다. 오히려 이들은 필요에 따라 자동화 작업을 개발, 실행, 라우팅(Routing) 및 위임할 수 있는 단일 오케스트레이션 포인트가 되는 것을 목표로 한다.

이 플랫폼은 하이브리드 딜리버리 토폴로지 전반에서 워크로드 배치를 오케스트레이트하는 디지털 플랫폼 컨덕터 또는 레거시 시스템의 상호작용 및 API 지원을 위한 RPA 플랫폼과 같은 자동화 플랫폼들을 보완한다. 초자동화 접근법과 SOAP의 상호 작용은 유사하게 상호 보완적이여 점점 복잡해지는 자동화 케이스에서 SOAP의 가치를 확장한다. 이는 파일 전송 자동화, 데이터 파이프라인 생성, 클라우드 애플리케이션 배포 및 실행을 위한 작업 스케줄링, IaaS와 SaaS 워크플로우 오케스트레이션과 같은 기존 사용에서 한 단계 진화한 것이다 (그림 4 참조).

컨테이너 네이티브 워크로드 자동화

SOAP는 컨테이너에 배포된 워크로드를 점점 더 많이 관리할 것이다. 경우에 따라 컨테이너 이미지에 SOAP 에이전트가 내장돼 계획된 작업의 실행을 관리하고 모니터링할 수 있다. 이 툴은 컨테이너 오케스트레이션 엔진과 통합해 사전 계획된 일정 또는 이벤트 트리거에 따라 컨테이너를 시작시키고 SOAP이 온프레미스, 프라이빗 및 퍼블릭 클라우드에서 일관되게 워크로드를 자동화하도록 한다.

자동화 핵심 가치 제안으로 수고를 최소화

자동화의 주요 가치 중 하나가 툴과 기술을 활용해 반복적이며 오류가 발생하기 쉬운 작업을 자동화해 그 수고를 없애는 것이다. 수고는 서비스나 고객에게 지속적인 가치를 가져오지 않는, 반복적이고 전술적인 수동 작업으로 분류되며 다음과 같은 것들이 해당된다.

주기적인 시스템 백업 예약, 소프트웨어 업그레이드 및 시스템 구성 변경, 메모리 부족 등 이벤트에 대한 대응, DDoS 공격 및 데이터 침해 등 보안 사고에 대한 대응. 장애로부터 평균 복구 시간, 취약성을 개선하는 시간과 같은 응답 시간 매트릭스(Metrics) 개선의 핵심이 자동화다.

감사 및 규정 준수

SOAP는 감사 및 규정 준수 목적으로 로그 파일 및 메일함 보관 작업을 자동화할 수 있다. 예를 들어 애플리케이션 로그 파일과 이벤트 로그를 프로덕션 환경에서 QA 환경으로 주기적으로 전송하도록 예약하면 프로덕션 시스템에 액세스할 필요 없이 원격으로 문제를 해결할 수 있다. 클라우드 워크로드의 경우 인프라 및 애플리케이션 설정에서 ‘구성 드리프트(Configuration Drift)’를 감지하는 것이 데이터 유출을 방지하는 데 가장 중요하다.

IT 전반의 자동화 보편화

I&O 팀 내 스크립팅 또는 프로그래밍 기술에 제약이 있는 조직은 SOAP의 그래픽 플로우 디자이너를 활용할 수 있다. 이는 자동화에 대해 ‘로우코드’ 접근 방식을 취함으로써 IT 및 LOB 전반의 자동화를 보편화한다. 셀프서비스 기능과 결합하면 플로우 디자이너를 통해 시민 개발자가 직접 자신의 워크플로우를 구축할 수도 있어 사용자 생산성이 향상된다.

드래그앤드롭(Drag-And-Drop) 플로우 디자이너 툴을 사용해 워크플로우를 설계하는 기능은 사용자가 비즈니스 프로세스를 면밀하게 모델링 할 워크플로우를 정의할 수 있게 한다. 일부 SOAP는 워크플로우의 병목 현상을 파악하고 제약을 제거하는 최적화 기능을 도와 플로우 디자이너를 보강한다. 사용자는 미리 빌드된 통합을 활용할 수 있고 사용자 지정 통합 코드 및 스크립트를 작성하고 테스트할 필요가 없다. 그에 따라 I&O 팀은 비즈니스 테크놀로지스트가 사용하는 통합 및 커넥터를 제공하고 비용, 보안, 감사 및 가용성이 개체에 내장되도록 하는 데 집중할 수 있다.

SOAP이 비즈니스 드리븐 시나리오에 대한 자동화의 범위와 사용에 관해 원격 분석을 수집하여 IT 조직에 제공하는 기능은 과소평가된다. 이 기능을 통해 IT 조직은 자동화되어 사용 중인 프로세스에 대한 가시성을 지속하여 내부 정책 준수가 유지되도록 할 수 있고, 운영 환경 자동화로 인한 취약성을 줄일 수 있으며 사용자 생성 자동화를 활용할 기회도 식별할 수 있다. 이러한 가시성은 CoP(Community of Practice)에 통합될 수 있는 자동화 지향 사용자를 식별한다.

제언

이벤트 드리븐 비즈니스 모델과 클라우드 인프라를 수용하기 위한 자동화 및 오케스트레이션 전략은 계속해서 진화하고 있다. I&O 리더는 SOAP에 투자함으로써 클라우드, 빅데이터, 그리고 데브옵스 이니셔티브에 대한 소비자 중심 민첩성을 개선해야 한다.

● SOAP 선택 시 클라우드 네이티브 애플리케이션 및 인프라 오케스트레이션에 대한 지원을 우선시해 클라우드 마이그레이션, IaaS 또는 SaaS 워크로드와의 통합에 대비한다.
● 공급업체 선정 시 클라이언트가 요구하는 기존 IT 시스템과의 통합을 카탈로그화해 구현 중 SOAP에 대한 사용자 지정 수정을 방지한다.
● 공급업체를 식별할 때 지역적 제한, 고객 지원 및 업체의 실행력을 고려한다.
● SOAP에 대한 투자로 디지털 혁신과 비즈니스 민첩성을 높여 자동화를 IT 및 비즈니스 가치의 핵심 요소로 대한다.