Dropout이란

Dropout이란

https://doorbw.tistory.com/147

위 블로그를 바탕으로 필사하며 공부

Dropout

우리가 dropout을 하는 이유는? overfitting 때문

* overfitting

- train data에 있어서는 100%의 accuracy를 내지만,

실제 test data에 있어서는 높은 예측율을 내지 못한다.

출처: 위 블로그

* overfitting을 해결할 방법

1. more training data

2. reduce the number of features

3. regularization

+ Neural Network에서는 또 다른 dropout이라는 방법이 있음

출처: 위 블로그

- 왼쪽 그림과 같은 모델에서 몇 개의 연결을 끊어서, 즉 몇 개의 노드를 죽이고 남은 노드들을 통해서만 훈련을 하는 것

- 이 때 죽이는, 쉬게 하는 노드들은 랜덤하게 선택

출처: 위 블로그

출처: 텐서플로우로 시작하는 딥러닝 기초

- 각 뉴런의 50% 부분만 사용해서 학습을 진행하겠다.

from http://yeon22.tistory.com/111 by ccl(A) rewrite - 2021-10-25 19:27:04