자율주행 자동차 인지기술 - 플랫폼

자율주행 자동차 인지기술 - 플랫폼

17차시. ai기반 인지 하드웨어 플랫폼 기술 심화

서버에서 딥러닝 학습 (가속기와 gpu 하드웨어)

ai 딥러닝 가속기 기술 : 딥러닝에 사용되는 연산 (누적연산) 이를 가속화 해 빠른시간과 적은 전력 계산 가능하게 한다.

딥러닝 가속기 칩을 개발에 노력하고 있다.

많은 비트 연산은 필요가 없으며, 8비트 이하의 연산 수행이 가능하다.

GEMM : 딥러닝에서 가장 계산량이 많은 행렬의 곱 수행

딥러닝 가속기 구성 : 딥뉴럴 네트어크 - 가중치 활성화 값 저장 SRAM, 입력 데이터 저장 DRAM, 유닛간의 연결 로직

아키텍쳐 경량화 : 이론 또는 시뮬레이션을 통해 딥러닝 모델 도출, 하드웨어 스펙에 맞춰 압축

노드 푸르닝, 채널 프루닝 등 방법을 사용해 딥러닝 모델 압축

테슬라의 FSD 컴퓨터 : NNA(딥러닝 가속기) - 72Tops 연산속도 제공, 오토파일럿 알고리즘 제어 기능

카메라를 메인으로 처리위한 isp와 비디오 인코터, nna 후처리 수행을 위한 gpu, 메모리는 sram, dram

두개의 chip을 사용, 서로 다른 파워 장착

18차시. 고성능 센서 차량 네트워크 기술

대용량 데이터를 감당하기 위한 차량네트워크 필요

현재 CAN 방식의 네트워크를 사용

CAN/ CAN-FD 1Mbps 데이터 전송 속도 지원

현재 가장 많이 사용하는 차량 네트워크

Bus 토폴로지 방식(가운데에 공용 백본 네트워크) FlexRay 고속 데이터 전송을 위한 방식 MOST 24Mbps 속도 정보 전달, 멀티미디어 이더넷 p2p 토폴로지 방식, 고속 가능

p2p는 백본이 없기 때문에 속도 및 지연시간이 우수하다.

bus는 확장성과 비용이 우수하다.

이더넷 기술을 현재 많이 고려 : 차량 내 고속 데이터 통신 지원

10Mbps의 버스 방식을 고려하는 중이다.

Serdes : 고해상도 카메라 센서로부터 얻은 정보를 전송 ASA 중심으로 표준화

19차시. 고정밀 지도 관리 기술 심화

고정밀 지도는 MMS 시스템을 이용해 사전 제작

지형지도 : 센서 데이터를 이용하여 주변 지형을 3차원 형태로 구성

시맨틱 지도 : 측위와 관련된 특정 지형, 도로 정보, 랜드마크 등

자율주행 시 측위 기술을 수행해야 한다.

Odometry : 이전위치로부터 상대 움직임과 변위를 아는 기술

맵매칭 기술 : 나의 위치를 파악할 수 있는 기술

고정밀 지도 구성 : 도로의 구조 및 공간적인 구성

LDM 동적 정보 시스템 고정밀 지도에 올려서 융합한다.

LDM 데이터 베이스 정보가 구축되면, 자율주행차들과 공유하여 협력인지, 협력 주행이 가능해진다.

갱신과 관리가 필요하다.

클라우드 기반 지도 관리 플랫폼 필요

20차시. 고정밀 지도 기반 측위를 위한 딥러닝

고정밀 지도의 정보와 차량의 수집 정보를 통해 차량의 현재 위치를 알아내는 것

데이터 기반의 접근 방법

새로운 환경에 대해 측위 알고리즈므의 자연스러운 진화 가능, 모르는 모델에 대해 학습 가능

딥러닝 기반 Odometry 기술

카메라 영상으로 부터 움직임을 추적하는 Visual odometry 기술

라이더 odometry 기술

현재와 다음 스텝에서 포인트 데이터 정합할 수 있을지 정합 기술

생성된 지도 위 정보와 센서 정보를 취합

디스크립터 매칭 기술 : 센서 데이터로부터 중요한 로컬 특징점 추출 가능 : 벡터 형태\

21차시. 자율주행을 위한 예측 기술 심화

동적 객체의 과거 경로와 주변 상황을 반영하여 의도나 미래의 거동을 예측하는 기술

고전 예측 기술 : 등속도 또는 등가속도 모델에 의한 예측

선형 보간법에 의한, 칼만 필터 등 통계적 예측 모델으로 예측

고전 예측 기술에는 한계가 있음 - 의도나 상황, 상호작용의 영향을 고려하지 못함

인코더-디코더 구조

인코더 : 최근 t초 동안의 차량 경로 좌표를 순차적으로 입력

디코더 : 미래 s초의 경로를 생성

딥러닝을 이용하여 하나 이상의 다양한 경로를 생성 : 예측 정확도 향상 가능

22차시. 상황 예측을 위한 딥러닝 기술 심화

다양한 동적 객체들의 움직임을 예측

딥러닝 기술을 적용하면 센서 데이터로부터 동적 객체의 위치 뿐만 아니라 상태 정보까지 예측 가능

카메라 영상에 CNN 적용 : 보행자의 자율주행차 주시 여부, 방향 지시등 상태 파악 가능

과거 휴면 자세 정보를 통해서 미래의 휴먼 자세 상태 정보를 예측 가능하다.

거동 예측이 가능 하므로, 길을 건널 것인지 아닐지 판단 가능

비디오 예측 기술 동영상의 다음 프레임을 직접 예측하는 기술

가까운 미래는 가능 하지만, 먼 미래인 경우 동적 객체의 움직임 등에 대한 시맨틱 정보 활용 필요

자세 포지의 정답이 주어지지 않은 경우 비지도학습 방법에 대한 연구

의도 예측 방법 : 동적 객체 움직임의 목표 또는 의도를 예측하는 작업

from http://kingjae.tistory.com/69 by ccl(A) rewrite - 2021-07-29 11:00:40