딥러닝의 역사
•
1957
◦
perceptron
•
1969
◦
XOR Problem 등장
◦
perceptron의 한계점 지적, 기대와 열기가 급속히 사그라듦
•
1986
◦
MLP
▪
기존의 Perceptron가 선형 Layer였기 때문에 XOR 문제 해결 불가
▪
그래서 Multi-Layer-Perceptron 등장
▪
여러개의 hidden layer를 두는 것
◦
Back-propagation
▪
MLP가 등장함으로써 Parameter 수가 증가, weight-bias 학습 어려워짐
▪
그래서 Back-propagation Algorithm 등장
▪
Feedforward 연산 이후 Error 예측값과 True 값과의 오차를 다시 Backword로 보내줌
▪
Node가 많아도 최적으로 학습할 수 있도록!
◦
Vanishing gradient problem
▪
Layer를 아무리 깊게 쌓아도 Back propagation 과정에서 Gradient가 사라지는 문제
▪
이 때문에 다시 한번 주류에서 밀려나게 됨
(SVM 등의 Kernel Method한테 밀림)
•
1989
◦
CNN의 초기 등장
◦
MNIST 필기 인식 문제에 적용됨
•
2007
◦
활성화 함수 문제
▪
이전에는 뉴런을 본따 Sigmoid Function을 사용했으나, 층이 깊어질수록 Gradient가 사라지는 걸 해결하기 위해 Rectified Linear Function, ReLu 사용
•
2012
◦
ImageNet
▪
Computor visionx
◦
AlexNet
▪
지도학습 (Supervised Learning)
▪
처음으로 Super Computor가 아닌 GPU를 사용해서 높은 성과를 내고 오픈소스로 공개
•
2013~2015
◦
결과로 나오기 시작
▪
처음으로 인간의 인식률 초과
▪
AlphaGo
▪
DeepMind (강화학습)
▪
등등
•
현재까지…
학습의 종류
•
지도학습
◦
정답을 주고 학습
◦
AlexNet
•
비지도학습
◦
정답 없이 학습
•
강화학습
◦
정답 대신 보상(reward)를 주고 학습
◦
DeepMind, OpenAI
CNN
Perceptron은 Fully-connect, 한번에 전체가 활성화되는 특징을 가짐
CNN은 고양이에서 발견한 뇌의 일부분만 작용하는 특성을 활용함
전체 input에서 3x3 등의 일부만 적용
LeNet5
1990년대
MNIST Dataset에 CNN을 적용해서 인식을 시도했더니 인식률이 95% +
AlexNet
Alex Krizhevsky
GPU사용, 2012년 ILSVRC에서 압도적인 승리를 거둚
GoogLeNet
여러개의 filter(4가지의 필터)를 사용하는 기법 사용
Factorizing Convolution
filter를 3개 사용하기 ~~ 등등 다양한 기법을 테스트해보면서 2015년 성능 95% 달성
이제는 대회가 의미가 없어짐.
ResNet 이후 끝 (목표달성)
Computor Vision
CNN
인식
= 이 사진에 뭐뭐가 있다!
object detectioning
여러개?