일론 머스크가 테슬라를 자율 주행의 새로운 방향으로 이끈 방법

올해 8월 말 금요일, 일론 머스크는 팔로알토에 있는 테슬라 본사에서 모델 S에 올라타 내비게이션 화면에서 임의의 지점을 선택한 후 완전 자율 주행 기술을 사용하여 차량이 스스로 운전하도록 했습니다. 

45분 동안 모차르트를 들으며 그는 농담 삼아 격투기 시합에 도전했던 마크 저커버그의 집을 지나가는 등 자신의 여행기를 라이브 스트리밍했습니다. "문을 두드려서 격투를 하고 싶은지 정중하게 물어봐야 할 것 같습니다."라고 그는 웃으면서 말하며 차를 몰고 이동했습니다.

머스크는 이전에도 수백 번 FSD를 사용해 본 적이 있지만, 이번 주행은 훨씬 더 부드럽고 안정적이라는 점뿐만 아니라 완전히 달랐습니다. 그가 사용한 새로운 버전인 FSD 12는 자율 주행 차량을 완전히 변화시킬 뿐만 아니라 실제 상황에서 작동할 수 있는 인공 일반 지능을 향한 비약적인 도약이 될 것으로 믿고 있는 근본적인 새로운 개념을 기반으로 합니다. 

이 새로운 시스템은 이전의 모든 자율주행 소프트웨어처럼 수십만 줄의 코드를 기반으로 하는 것이 아니라, 새로운 대규모 언어 모델 챗봇이 수십억 단어의 인간 텍스트를 처리하여 답변을 생성하도록 스스로 학습하는 것처럼 사람이 어떻게 운전하는지에 대한 수십억 프레임의 비디오를 처리하여 운전하는 방법을 스스로 학습했습니다.

놀랍게도 머스크는 불과 8개월 전에 이 근본적으로 새로운 접근 방식을 테슬라에 도입했습니다.

테슬라의 오토파일럿 팀의 젊은 직원인 다발 슈로프는 12월에 열린 회의에서 머스크에게 "ChatGPT와 비슷하지만 자동차를 위한 것입니다."라고 설명했습니다. 그는 머스크가 2015년에 공동 설립한 연구소인 OpenAI에서 막 출시한 챗봇과 그들이 개발 중인 아이디어를 비교하고 있었습니다. 

슈로프는 "실제 인간 운전자가 복잡한 운전 상황에서 어떻게 행동했는지에 대한 방대한 양의 데이터를 처리한 다음 컴퓨터의 신경망을 훈련시켜 이를 모방하도록 합니다."라고 말했습니다.

테슬라의 책상에서 근무하는 다발 슈로프.

그때까지 테슬라의 오토파일럿 시스템은 규칙 기반 접근 방식에 의존하고 있었습니다. 차량의 카메라가 차선 표시, 보행자, 차량, 표지판 및 교통 신호 등을 식별했습니다. 그런 다음 소프트웨어는 다음과 같은 일련의 규칙을 적용했습니다. 

신호등이 적색일 때 정지하고, 녹색일 때 진행하며, 차선 표시의 중앙에 머물고, 충돌할 만큼 빠르게 오는 차가 없을 때만 교차로를 통과하는 등의 규칙을 적용했습니다. 테슬라의 엔지니어들은 이러한 규칙을 복잡한 상황에 적용하기 위해 수십만 줄의 C++ 코드를 수작업으로 작성하고 업데이트했습니다.

슈로프와 다른 사람들이 연구하던 '신경망 플래너'는 다른 접근 방식을 취했습니다. "규칙에 따라 자동차의 적절한 경로를 결정하는 것이 아니라, 인간이 행한 수백만 건의 사례를 통해 학습하는 신경망에 의존하여 자동차의 적절한 경로를 결정합니다."라고 Shroff는 말합니다. 

즉, 인간을 모방하는 것입니다. 어떤 상황에 직면했을 때 신경망은 수천 개의 유사한 상황에서 인간이 수행한 작업을 기반으로 경로를 선택합니다. 이는 인간이 말하기, 운전, 체스, 스파게티 먹기 등 거의 모든 것을 배우는 방식과 비슷합니다. 따라야 할 일련의 규칙이 주어지기도 하지만 주로 다른 사람들이 어떻게 하는지를 관찰함으로써 기술을 습득합니다. 

이는 앨런 튜링이 1950년 논문 "컴퓨팅 기계와 지능"에서 구상한 머신 러닝의 접근 방식이며, 1년 전 ChatGPT의 출시와 함께 대중에게 폭발적인 반응을 불러일으켰습니다.

2023년 초까지 신경망 플래너 프로젝트는 테슬라 고객의 차량에서 수집한 천만 개의 비디오 클립을 분석했습니다. 그렇다고 해서 인간 운전자의 평균만큼만 잘할 수 있을까요? 슈로프는 "아니요, 인간이 상황을 잘 처리한 경우에만 데이터를 사용했기 때문입니다."라고 설명합니다. 뉴욕주 버팔로에 거주하는 인간 라벨러들이 동영상을 평가하고 등급을 매겼습니다. 

머스크는 이들에게 "별 다섯 개짜리 우버 기사라면 할 수 있는 행동"을 찾으라고 지시했고, 이 동영상들이 컴퓨터 훈련에 사용되었습니다.

머스크는 팔로알토에 있는 오토파일럿 작업 공간을 자주 거닐며 엔지니어들 옆에 무릎을 꿇고 즉석에서 토론을 하곤 했습니다. 새로운 인간 모방 접근 방식을 연구하던 중 머스크는 의문이 들었습니다. 이것이 정말 필요했을까? 너무 과한 것은 아닐까요? 그의 격언 중 하나는 파리를 죽일 때는 순항 미사일을 사용하지 말고 파리채를 사용하라는 것이었습니다. 신경망을 사용하는 것이 불필요하게 복잡할까요?

슈로프는 신경망 플래너가 규칙 기반 접근 방식보다 더 잘 작동하는 사례를 머스크에게 보여주었습니다. 데모에서는 쓰레기통, 쓰러진 교통 콘, 무작위 파편이 흩어져 있는 도로를 설정했습니다. 

신경망 플래너의 안내를 받은 자동차는 장애물을 피해 차선을 넘고 필요에 따라 몇 가지 규칙을 어기며 주행할 수 있었습니다. 슈로프는 "규칙 기반에서 네트워크 경로 기반으로 전환하면 이렇게 됩니다."라고 설명합니다. "이 기능을 켜면 구조화되지 않은 환경에서도 자동차가 충돌하지 않습니다."

머스크를 흥분시킨 것은 미래로의 도약이었습니다. 그는 "제임스 본드 스타일의 시연을 해야 한다"며 "사방에서 폭탄이 터지고 하늘에서 UFO가 떨어지는 가운데 자동차가 아무것도 부딪히지 않고 속도를 내는 장면을 연출해야 한다"라고 말했습니다.

머신러닝 시스템에는 일반적으로 스스로 학습할 때 지침이 되는 메트릭이 필요합니다. 어떤 메트릭을 가장 중요하게 생각해야 하는지 결정하여 관리하는 것을 좋아했던 머스크는 이들에게 기준을 제시했습니다. 완전 자율 주행 기능을 갖춘 자동차가 사람의 개입 없이 주행할 수 있는 거리입니다. 

그는 "개입당 주행 거리에 대한 최신 데이터를 각 회의의 첫 번째 슬라이드로 사용했으면 합니다."라고 선언했습니다.  그는 직원들에게 매일 자신의 점수를 확인할 수 있는 비디오 게임처럼 만들라고 말했습니다. "점수가 없는 비디오 게임은 지루하기 때문에 개입당 마일이 늘어나는 것을 매일 볼 수 있으면 동기 부여가 될 것입니다."

팀원들은 작업 공간에 대형 85인치 텔레비전 모니터를 설치하여 FSD 차량이 개입 없이 평균 몇 마일을 주행했는지 실시간으로 표시했습니다. 직원들은 책상 근처에 종을 두고 개입을 유발하는 문제를 성공적으로 해결할 때마다 종을 울렸습니다.

728x90

2023년 4월 중순, 머스크는 새로운 신경망 플래너를 시험해 볼 때가 되었습니다. 그는 테슬라의 오토파일럿 소프트웨어 디렉터인 아쇼크 엘러스와미 옆 운전석에 앉았습니다. 오토파일럿 팀원 세 명이 뒷좌석에 탔습니다. 테슬라의 팔로알토 사옥 주차장을 떠날 준비를 하면서 머스크는 지도에서 차량이 갈 위치를 선택하고 운전대에서 손을 뗐습니다.

차가 주요 도로에 진입했을 때 첫 번째 무서운 문제가 발생했습니다. 자전거 운전자가 길을 향하고 있었습니다. 사람이라면 그랬을 것처럼 자동차는 스스로 양보했습니다. 

25분 동안 고속도로와 인근 도로를 주행하며 복잡한 회전을 처리하고 자전거, 보행자, 애완동물을 피해 달렸습니다. 머스크는 운전대를 전혀 만지지 않았습니다. 다만 사거리 정지 신호에서 지나치게 서행하는 등 차량이 지나치게 조심스럽다고 생각될 때 가속 페달을 밟아 개입한 것은 두어 번뿐이었습니다. 

한 번은 차가 그가 생각했던 것보다 더 나은 기동을 수행했습니다. "와우!"라고 그는 말하며 "내 인간 신경망조차도 여기서는 실패했지만 차는 제대로 해냈다"라고 말했습니다. 그는 너무 기뻐서 모차르트의 "작은 밤의 음악" 세레나데 G장조를 휘파람으로 불기 시작했습니다.

2023년 8월 25일에 FSD 12를 사용한 머스크의 드라이브 라이브스트림 프레임.

머스크는 마지막에 "대단한 일입니다."라고 말했습니다. "정말 인상적입니다." 그 후 그들은 모두 오토파일럿 팀의 주간 회의에 참석했고, 거의 모두 검은색 티셔츠를 입은 20명의 사람들이 회의 테이블에 둘러앉아 평가 결과를 들었습니다. 많은 사람들이 신경망 프로젝트가 성공할 것이라고 믿지 않았습니다. 머스크는 이제 자신은 이 프로젝트를 믿으며, 이를 추진하기 위해 자원을 투입해야 한다고 선언했습니다.

토론 중에 머스크는 팀이 발견한 중요한 사실에 주목했습니다. 신경망은 최소 백만 개의 비디오 클립을 학습하기 전까지는 제대로 작동하지 않았습니다. 덕분에 테슬라는 다른 자동차 및 AI 회사에 비해 큰 우위를 점할 수 있었습니다. 전 세계 약 2백만 대의 테슬라 차량이 매일 비디오 클립을 수집하고 있었기 때문입니다. 엘러스와미는 회의에서 "우리는 이 일을 할 수 있는 독보적인 위치에 있습니다."라고 말했습니다.

4개월 후, 새로운 시스템은 기존 접근 방식을 대체할 준비가 되었으며, 테슬라는 규제 당국의 승인을 받는 대로 출시할 계획인 FSD 12의 기반이 될 것입니다. 한 가지 극복해야 할 문제가 남아 있습니다. 아무리 뛰어난 운전자라도 교통 규칙을 어기는 경우가 많으며, 새로운 FSD는 설계상 인간의 행동을 모방합니다. 

예를 들어, 사람의 95% 이상은 정지 표지판을 완전히 멈추지 않고 천천히 지나갑니다. 미국 고속도로 안전국 국장은 현재 자율주행차에도 이러한 기능이 허용되어야 하는지 여부를 연구 중이라고 밝혔습니다.

https://www.cnbc.com/2023/09/09/ai-for-cars-walter-isaacson-biography-of-elon-musk-excerpt.html

How Elon Musk set Tesla on a new course for self-driving