딥러닝 다계층

출력과 입력을 될 수 있는한 가깝게 하기 위해서는 어떻게 하면 좋을까? 이에대한 답은 정보량을 사용하면 된다. 예를들어 어떤 화소가 흑일때 옆의 화소도 반드시 흑이라면 그 2개의 화소는 합쳐서 취급해버리면된다. 즉 2개의 화소를 따로따로 숫자로써 은닉층에 건네주는것이 아니고 그 2개의 숫자가 합쳐져서 흑인지 백인지를 은닉층에 건네주면 되는 것이다. 간토우 지방의 날씨는 비슷하기 때문에 하나로 정리해서 취급하라는것과 같다.

여기에서 어디를 합치면 결과에 영향을 주지 않을것인지, 반대로 어디를 취급하면 크게 다른 결과가 나올것인지, 컴퓨터는 압축포인트를 오차역전파를 통해 스스로 학습하게 된다. 즉 복원에러가 최소가 되는 적절한 특징표현을 발견하는것이다.

수학이나 통계에 익숙한 오토인코더를 할때에는 앙케이트 분석 등으로 익숙한 주성분 분석과 같다고 보면된다.

주성분 분석이란 많은 변수를 가장 큰분산을 나타내는 주성분을 축으로 압축하는 방법으로 마케팅 분야에서 자주 사용된다. 실제로 오토인코더에 선형 가중치를 이용하고 최소 자승오차를 복원에러의 함수로 하면 주성분 분석과 일치하는 결과를 얻을 수 있다.

오토인코더의 경우에는 다양한 형태로 노이즈를 주고 그것을 통해 아주 신뢰도 높은 주성분을 꺼낼 수 있다. 이것이 딥, 즉 다계층으로 하는것을 가능하게 하고 그결과 주성분 분석에서는 꺼낼수 없는 높은 차원인 특징을 꺼낼수 있다.

딥러닝에서는 위와같은 작업을 한단한단 포개 간다. 첫 번째 단의 은닉층을 두번째 단의 입력으로 컴퓨터가 컴퓨터에 학습시키는것이다. (end-to-end learning 이라고 부른다.)

계층 포개어 탐구하다. 이미지 올리기