[아이티데일리] 엔비디아(CEO 젠슨 황)는 실시간 대화형 AI를 지원하는 추론 SW의 최신 버전 ‘엔비디아 텐서 RT 7’ 및 자율주행 차량용 SW 정의 플랫폼 ‘드라이브 AGX 오린’을 공개했다고 19일 밝혔다.

이번 공개된 ‘텐서RT’는 전 세계 개발자들이 대화형 AI 애플리케이션을 제공하는데 사용돼 그간 인간과 AI간 상호작용에 걸림돌이 됐던 추론 레이턴시(지연시간)를 크게 개선할 수 있을 것으로 기대된다.

엔비디아가 출시한 ‘텐서RT 7’은 엔비디아의 7세대 추론 SW 개발 키트로, 스마트한 인간과 AI간 상호작용을 가능케 했다. 특히, 음성 에이전트(voice agent), 챗봇, 추천 엔진 등의 애플리케이션을 실시간으로 구현할 수 있게 됐다. 뿐만 아니라 ‘텐서RT 7’은 AI 음성 애플리케이션을 구현하는데 필요한 트랜스포머 기반 순환신경망(RNN)을 자동으로 최적화하고 가속화하도록 설계된 최신 딥 러닝 컴파일러를 제공한다. 이를 통해, 대화형 AI의 구성요소가 CPU에서 실행될 때 보다 10배 이상 빨라지며, 지연시간은 실시간 상호작용에 필요한 수준인 300 밀리 초 임계값 미만으로 단축된다.

특히, ‘텐서RT 7’은 순환신경망이라는 순환 루프 구조를 사용한 시계열 시퀀스 데이터 시나리오를 예측하는 용도로 활용되는 AI 모델 세계가 더 빠르게 확장될 수 있도록 지원한다. 순환신경망은 대화형 AI 음성 네트워크 외에도 차량이나 위성의 도착 시간 계획, 전자 의료 기록에 기입될 상황 예측, 금융자산 예측, 사기행위 감지 등의 목적에도 사용될 수 있다.

최근 순환신경망 구성과 기능이 결합되는 상황이 폭발적으로 증가하면서 실시간 성능 기준을 충족하는 생산 코드를 빠르게 배포해야 하는 상황이 발생하게 됐다. 이로 인해 업무를 진행하는데 수개월이 지연되고 개발자들은 코드 최적화 작업을 수동으로 해야 했다. 그 결과, 대화형 AI 실행능력을 갖춘 소수 업체들만 대화형 AI를 구현할 수 있었다.

이에 ‘텐서RT’의 최신 딥 러닝 컴파일러를 통해 전 세계 개발자들은 맞춤형 자동 음성인식 네트워크와 텍스트-투-스피치용 웨이브RNN과 타코트론 2 등의 네트워크를 자동 최적화할 수 있는 능력을 갖출 수 있게 됐다. 이를 통해 최고 수준의 성능을 최저 지연시간에 제공할 수 있게 됐다. 또한, 엣지에서 클라우드로 추론 기능도 가속화할 수 있는데 ‘텐서RT 7’은 하이퍼스케일 데이터 센터, 내장형 또는 자동차용 GPU 플랫폼을 통해 훈련된 추론 신경망을 빠르게 최적화, 검증, 배포할 수 있다.

‘텐서RT 7’은 텐서RT 홈페이지를 통해 엔비디아 개발자 프로그램 회원들에게 개발 및 배포 목적으로 무료로 제공될 예정이다. 또한, 텐서RT 깃허브(GitHub) 저장소에서 최신 버전의 오픈소스 플러그인, 파서(parser), 샘플 등을 다운로드할 수 있다.

한편, 엔비디아는 ‘텐서RT 7’뿐만 아니라 자율주행 차량 및 로봇을 위한 최첨단 SW 정의 플랫폼인 ‘엔비디아 드라이브 AGX 오린(NVIDIA DRIVE AGX Orin)’도 공개했다. 170억 개의 트랜지스터로 구성된 ‘오린’이라는 새로운 시스템온칩(SoC)을 기반으로 하는 이 플랫폼은 4년 간의 연구개발(R&D) 투자를 통해 개발됐다.

‘오린’의 SoC는 엔비디아의 차세대 GPU 아키텍처와 Arm의 헤라클레스(Hercules) CPU 코어, 그리고 초당 200조의 연산을 제공하는 새로운 딥 러닝 및 컴퓨터 비전 액셀러레이터를 통합해 이전 세대인 ‘엔비디아 자비에(Xavier)’의 SoC 대비 7배 향상된 성능을 구현한다. ‘오린’은 ISO 26262 ASIL-D와 같은 체계적인 안전 표준을 충족시키면서, 자율주행 차량 및 로봇에서 동시에 작동하는 수많은 애플리케이션과 딥 뉴럴 네트워크를 처리하도록 설계됐다.

특히, SW 정의형으로 구축된 ‘엔비디아 드라이브 AGX 오린’은 자율주행 레벨 2부터 완전 자율주행 레벨 5 차량까지 확장 가능한 아키텍처 호환 플랫폼으로, OEM업체들이 대규모의 복잡한 SW 제품군을 개발하도록 지원한다. ‘오린’과 ‘자비에’는 모두 개방형 쿠다(CUDA), 텐서RT(TensorRT) API 및 라이브러리를 통해 프로그래밍이 가능하므로 개발자는 여러 제품 세대에 걸쳐 효율적으로 활용할 수 있다.

‘엔비디아 드라이브 AGX 오린’은 단일 아키텍처를 기반으로 하는 다양한 구성을 포함하고 있으며, 이는 자동차 제조업체의 2022년 생산일정을 목표로 한다.

젠슨 황(Jensen Huang) 엔비디아 창립자 겸 CEO는 “아마도 현재 우리 사회의 가장 큰 컴퓨팅 과제는 안전한 자율주행 차량을 만드는 일 일 것”이라며 “자율주행 차량을 구현하는데 필요한 투자 금액이 기하급수적으로 증가하고, 작업의 복잡성이 갈수록 높아지고 있는 가운데, ‘오린’과 같은 확장 가능하며 프로그래밍 가능한 소프트웨어 정의 인공지능(AI) 플랫폼이 필요해지고 있다”고 말했다.