[ML-t][common] 01-2. 퍼셉트론(Perceptron) 이란?

[ML-t][common] 01-2. 퍼셉트론(Perceptron) 이란?

퍼셉트론(Perceptron) 이란?

퍼셉트론은 신경망의 기원이 되는 알고리즘으로 '다수의 신호를 입력받아 하나의 신호를 출력하는 것' 이다.

퍼셉트론(Perceptron) 의 구조

단순 퍼셉트론의 구조

퍼셉트론은 다수의 입력신호(X1,X2 ... Xn), 입력신호 별 가중치(Weight), 출력신호(Y)로 이루어져 있고 각각의 원은 뉴런, 또는 노드 라고 부른다. 출력신호는 '신호가 흐른다(1)' 혹은 '신호가 흐르지 않는다(0)' 의 두가지 값을 가질 수 있는데 입력신호들이 가중치를 거쳐 보낸 값이 정해진 한계값을 넘으면 1, 그렇지 않으면 0을 출력한다. 여기서 정해진 값은 입계값(threshold)이라고 하며 θ(theta) 기호로 표기한다.

하나의 입력 노드에서 출력노드로 흐를때 입력 노드의 값에 각각의 고유한 가중치가 곱해져서 보내진다. 출력 노드는 입력노드들로 부터 받은 X*W 값의 합이 임계값보다 높은지 낮은지를 판단하여 뉴런을 활성화(출력값이 1) 한다. 따라서 아래와 같은 수식으로 표현 할 수 있다.

퍼셉트론의 출력신호

가중치(Weight)와 편향(Bios)

가중치는 각 입력노드가 출력노드에 끼치는 영향력을 조절하는 요소이다. 가중치가 크다면 해당하는 입력노드가 출력노드를 결정하는 중요한 신호라는 것을 의미한다. 아래의 예시는 입력신호와 각 가중치의 곱의 합이 임계값을 넘지 못해 출력신호가 활성화 되지 못한 퍼셉트론이다.

우리가 위의 퍼셉트론의 출력신호가 활성화 되는 결과를 원한다고 할때 가중치 값을 수정하여 해결할 수 있다. 아래 그림과 같다.

위의 그림은 X1의 가중치 W1의 값을 0.1에서 0.3으로 수정하여 출력신호 Y를 활성화 시킨 예이다. 이때 가중치 W1의 값이 커졌다는 것은 입력신호 X1의 영향력이 커졌다라고 말 할 수 있다. 위와 같이 가중치의 값을 줄이고 늘리며 각 입력신호의 영향력을 조절하여 원하는 출력신호의 값을 얻을 수 있다.

위에서 출력신호를 표현하는 식에서 임계값(θ) 을 -b라는 기호로 치환하여 부등호 왼쪽으로 넘기면 아래와 같은 식으로 표현 가능하다.

퍼셉트론 출력신호 변형

이 식에서 b는 - 임계값(θ) 으로 '편향'(bios) 라고 한다. 편향은 출력노드가 얼마나 쉽게 활성화 하느냐를 조정하는 요소이다. 아래 이미지는 입력신호와 가중치의 곱의 합은 0을 넘지만 편향으로 인해 출력 신호를 활성화 시키지 못한 퍼셉트론의 예시이다.

위와 같이 편향이 작아 질 수록 결국 임계값이 커지는 것 이므로 퍼셉트론을 활성화 시키기 쉽지 않다. 우리가 편향을 수정하여 위의 출력신호를 활성화 시키고자 한다면 아래 이미지와 같이 편향 값을 조정해야 한다.

결론적으로 가중치는 입력신호가 출력신호에 미치는 영향도, 편향은 출력신호를 얼마나 쉽게 활성화 시키는지 기준이 되는 변수이고, 하나의 출력신호를 우리가 원하는 방향으로 출력시키기 위해(활성화 또는 비활성화) 사용자가 임의로 지정하고 변경하는 값(hyper parameter) 이다.

단순 퍼셉트론(Perceptron)의 한계

비선형 구조의 문제를 해결 할 수 없다.

단순 퍼셉트론은 선형 문제는 구분할 수 있으나 아래와 같은 비선형 구조의 문제를 해결 할 수 없다.

비선형 영역

※ 해결 방법 : 다층 퍼셉트론

위에서 우리는 입력과 출력만 가지는 퍼셉트론에대해 알아보았다. 다층 퍼셉트론은 이 입력노드와 출력노드 사이에 하나의 노드 모음을 추가하여 데이터를 분류 하는 것이다. 다층 퍼셉트론을 이용하면 기존 단순 퍼셉트론에서 해결하지 못했던 비선형 문제를 해결 할 수 있다.

가중치와 편향이 Hyper parameter 이다.

가중치는 입력신호가 많아질 수록 점점 늘어나는 매개 변수 이다. 위에서 설명했던 다층 퍼셉트론을 적용하면 가중치와 더불어 편향의 갯수 또한 늘어나게 되는데 이것을 사람이 수동으로 적절한 값을 찾아 조정하는 것은 굉장히 번거로운 과정이다.

※ 해결 방법 : 신경망(Neural Network)

신경망은 다층 퍼셉트론의 형태를 가져 비선형 영역의 문제를 해결 할 수 있으며 가중치와 편향 또한 자동으로 조정 할 수 있는 특성을 가진다. 자세한 내용은 다음 포스팅을 참고 해야 한다.

from http://25-1k.tistory.com/34 by ccl(A) rewrite - 2021-10-10 18:00:40