인공지능 강의 13화 :: 오차역전파, 자기조직화 지도, LVQ

인공지능 강의 13화 :: 오차역전파, 자기조직화 지도, LVQ

728x90

인공지능 강의 13화를 보며 배운내용

KEYWORDS

오차역전파 : 다수의 은닉층을 포함하는 다층 퍼셉트론을 학습할 수 있는 지도학습 모델

출력층으로부터 입력층 방향으로 오차를 전달하며 연결가중치 업데이트

: 다수의 은닉층을 포함하는 다층 퍼셉트론을 학습할 수 있는 지도학습 모델 출력층으로부터 입력층 방향으로 오차를 전달하며 연결가중치 업데이트 관성항(or 모멘텀) : 경사하강법 적용 과정에서 이전 단계의 연결중치 변화량을 현 단계에 반영하기 위한 비율

연결가중치가 진동하듯, 변화로 수렴이 늦어지거나, 적절한 값을 수렴하지 못하는 문제 개선 가능

: 경사하강법 적용 과정에서 이전 단계의 연결중치 변화량을 현 단계에 반영하기 위한 비율 연결가중치가 진동하듯, 변화로 수렴이 늦어지거나, 적절한 값을 수렴하지 못하는 문제 개선 가능 경쟁학습: 입력 데이터에 대해 반응 권한을 다른 노드들과 경쟁을 통해 얻어내는 신경망 자율학습의 형태

오차역전파(Backpropagation: BP) 모델

다층 퍼셉트론을 훈련할 수 있는 학습 모델

다층 퍼셉트론: 입력층과 출력층 사이에 1개이상 은닉층 포함

선형 결정경계가 없을 때 해결방법

중간층의 해결 방법의 필요로 나왔다

활성함수: 시그모이드(Sigmoid) 함수와 같이 미분 가능한 함수 사용

출력층과 은닉층 j의 뉴런 간 연결 가중치 조정

은닉층 j와 은닉층 j-1 뉴런 간 연결 가중치 조정

이 방법을 여러 번 반복한다

관성(inertia)항

현 단계 변화량뿐만 아니라,

이전 단계 변화량을 적절한 관성계수 비율로 반영

결정경계 형태

단층 구조

선형경계

선형경계 2층 구조

볼록한 경계

볼록한 경계 3층이상 구조

임의 형태의 경계

다층 퍼셉트론 층이 많이 쌓이는 것을 해결해야 되는데

이럴 때 이용되는게 딥러닝(심층학습) 다음강의(14화)

자기조직화 지도(Self-Organizing Map: SOM)

Kohonen이 제안한 신경회로망 모델

밀접한 관계가 있는 정보를 다루는 뉴런은

가깝게 위치해서 짧은 연접 연결을 통해 상호작용 가능

목표

임의 차수의 입력 패턴 => 1차원 , 2차원 지도로 변환

위상적으로 순서화된 형태로 적응적 변환 일어나도록

학습 개념

경쟁 : 가장 큰 값을 갖는 노드가 승자가 됨

: 가장 큰 값을 갖는 노드가 승자가 됨 협력 : 승자 노드 중심으로 이웃 노드들의 위치를 결정해서 활성화

: 승자 노드 중심으로 이웃 노드들의 위치를 결정해서 활성화 적응: 활성화된 노드들의 판별식이 주어진 입력에 대해 강화

맵 위치 결정 과정

학습 표본이 있으면

제일 가까운 뉴런과 이웃 뉴런이 함께 조금씩 이동

LVQ( Learning Vector Quantization)

자기조직화 지도를 패턴 븐류에 활용하기 위한 모델

벡터 양자화

입력 신호를 근사화해서 표현

목표: 양자화 오차를 최소화하도록 대표 벡터의 위치 구함

LVQ의 학습

지도학습 방식에 따라 대표벡터 학습

학습표본 x가 입력되면

가장 유사한 연결 가중치 w를 갖는

출력노드 c가 승자노드가 되고 w 갱신

neuron by Solen Feyissa #unsplash

from http://forgottenknowledge.tistory.com/203 by ccl(A) rewrite - 2021-11-28 16:01:00