엔비디아가 꿈꾸는 자율주행은 클라우드 없는 클라우드, software-defined

엔비디아가 GPU 제조기업에서 점차 소프트웨어와 솔루션 기업으로 진화하고 있다. 엔비디아의 CEO 젠슨 황은 이를 두고 “자율주행차의 미래는 소프트웨어 정의(The future of autonomous systems has to be software-defined)”라고 GTC 2019에서 밝힌 바 있다. IaaS 혹은 SaaS 클라우드와 유사하지만 하드웨어, 소프트웨어, 센서가 모두 포함돼 있다는 점에서 클라우드와는 다르다.

엔비디아는 페가수스(Pegasus), 자비에(Xavier) 등의 자동차 전용 하드웨어를 갖추고 있다. 이 제품은 차량에 직접 탑재되는 제품으로, 주로 30초에 한번 실시간 러닝을 실행하고 초 단위로 반응하게 설계돼 있다.

그러나 더 중요한 건 드라이브 컨스텔레이션(Drive Constellation)과 같은 소프트웨어다. 드라이브 컨스텔레이션은 실제 상황을 가정해 실제 도로의 모양 위에서 실제의 차량 정보를 갖고 시뮬레이션한다. 이를 통해 1. 데이터를 모으고, 2. 자율주행을 훈련하며 3. 훈련 데이터로 비주얼을 생성(추론)해내 시뮬레이션을 한다. 4. 이후 실제 주행을 시작한다. 이후 실제 주행에서의 데이터 역시 수집되고, 훈련되며, 추론된다. 즉, 엔비디아의 하드웨어와 소프트웨어를 포함한 플랫폼을 달고 있으면, 자신의 자동차 자체가 딥 러닝의 데이터가 되는 셈이다.

드라이브 컨스텔레이션은 두개의 서버에서 가동된다. 첫 번째 서버는 드라이브 심(NVIDIA DRIVE Sim) 소프트웨어를 실행하고 자율주행차의 센서를 시뮬레이션하며, 두번째 서버는 페가수스나 자비에와 같은 차량용 부품의 자율주행차 소프트웨어 스택 일체를 실행하고 시뮬레이션된 데이터를 처리한다. 이 두가지를 합치면 실시간 러닝과 실시간 대응을 실행할 수 있다.

최근 엔비디아는 드라이브 컨스텔레이션을 넘어 대량의 데이터를 러닝하는 개방형 오픈 플랫폼 생태계를 공개하기도 했다. 지난해 공개를 시작해 올해 다양한 자동차 관련 업체들이 파트너로서 참여하고 있다. 자동차 회사, 트럭 제조사, 센서 제조사, 우버 등의 모빌리티 회사, 칩셋을 설계하는 ISV 회사 등이 파트너로 참여한다. 이들과 함께 만들어가는 정보는 드라이브 컨스텔레이션과 실물 주행에서 다시 러닝의 데이터가 된다. 엔비디아는 이들에게 소프트웨어, 라이브러리, 툴, 뉴럴네트워크 등을 제공한다. 이들 정보는 클라우드에서 처리돼 사용자의 자동차로 다시 뿌려진다.

엔비디아는 이러한 소프트웨어와 하드웨어를 통해 레벨 2+의 자율주행 단계를 구현하고 있다. 현재 다양한 자동차들이 완전 자율주행(레벨 4나 레벨 5)에 도전하고 있다는 것을 감안하면 김빠지는 목표인 느낌이나 실제로는 2+가 구현이 돼야 4와 5도 구현할 수 있다. 자율주행 레벨 2는 사람이 운전석에서 가끔 운전을 하지만 일부 도로에서는 자율로 운영되는 수준이다. 미디어 브리핑을 담당한 엔비디아 본사의 오토모티브 담당 시니어 디렉터인 대니 샤피로(Danny Shapiro)는 “엔비디아의 자율주행 2+는 2년 내 실제 구현이 가능하며, 공항이나 학교처럼 지오펜스가 가능한 공간에서는 자율주행으로 움직일 수도 있다”고 밝혔다. 지오펜스는 가상의 테두리를 말한다. 자율주행에서의 지오펜스는 실제의 도로 정보에 건물, 장애물 등이 3D로 정보로 구현돼 있음을 말한다. 드론이나 VR, 자율주행차는 이 경계를 넘어가지 않는다. 또한, 엔비디아는 레벨 4 구축에 도전하는 제조사에게도 소프트웨어와 하드웨어를 제공하고 있다.

생태계에 참여한 기업들, 소니, 벨로다인, 토요타, 이스즈, 우버 등 다양한 기업들이 참여하고 있다

레벨 2+의 구현은 이미 완료됐으나 2년 내 출시를 예상하는 이유는 각국의 상황에 따라 규제나 절차가 확립돼야 하기 때문이다.

그렇다면 시뮬레이션은 실제 주행보다 위험하지는 않을까? 대니 샤피로 디렉터는 “실제 주행에서는 사고와 같은 위험한 사고가 자주 발생하지 않아 학습하기 어렵다”고 밝혔다. 예를 들어 야생 동물이 구역에서 갑자기 사슴이 등장했을 때를 가정해 사슴이 등장할 때까지 실제로 주행하는 것보다, 사슴이 등장하는 가상의 상황을 만들어 소프트웨어 모르게 시뮬레이션에 집어넣는 게 빠르다는 의미다. 만약 사슴을 포함한 장애물이 갑자기 등장했을 때 소프트웨어가 이를 처리하지 못한다면, 몇백번 다시 학습하면 된다.

시뮬레이션만의 특별한 장점도 있다. 새로운 소프트웨어 출시 때마다 이전의 데이터를 사용할 수 있는 것이다. 모든 차량에 소프트웨어를 깔기 전 가상 환경에서 테스트가 가능하다. 데이터는 엔비디아의 규격으로 표준화돼있므로 자동차 회사가 가져다 쓰기도 좋다.

5G나 인공위성망 등의 결합에 샤피로 디렉터는 “최선으로 연구하지는 않고 있다”고 대답했다. 통신망이 부족한 상태에서도 바로 차량이 반응하게 하는 것이 엔비디아의 비전이므로, 통신망이 적용되면 날씨나 교통 정체 등의 정보를 받아오는 센서로서 사용할 수는 있겠지만 전체 정보를 통신망에 의지하면 안 된다는 의미다.