내멋대로 이해하는 딥러닝 #1 Introduction

Yoshua Bengio 교수님의 Deep Learning 책이 드디어 도착했습니다.(2주동안이나 기다렸다...) 
이 글에서는 책을 읽으면서 내가 이해하고싶은데로 이해하는 내용을 정리해보도록 합니다. ( 영어가 매우 부족한 관계로 내용은 반만 믿으시길 바랍니다..)

이 책에서는 목차로는 20 Chapter가 존재하며

1) Introduction

1. Applied Math and Machine Learning Basics

2) Linear Algebra

3) Probability and Information Theory

4) Numerical Computation

5) Machine Learning Basics

2. Deep Networks : Modern Practices

6) Deep Feedforward Networks

7) Regularization for Deep Learning

8) Optimization for Training Deep Models

9) Convolutional Networks

10) Sequence Modeling : Recurrent and Recursive Nets

11) Practical Methodology

12) Applications

3. Deep Learning Research

13) Linear Factor Models

14) Autoencoders

15) Representation Learning

16) Structured Probabilistic Models for Deep Learning

17) Monte Carlo Methods

18) Confronting the Partition Function

19) Approximate Inference

20) Deep Generative Models

이러한 형식으로 진행이 되어집니다.

1장에서는  딥러닝에 필요한 수학과 머신러닝의 기초에 대해 1~5Chapter동안 설명하며,
2장에서는 Deep Learning 의 기초를 설명하기위해 
Deep Learning 의 기초인 Feedforward Networks 에서부터 Trainning 방법 이미지 특징 추출 최적화 네트워크인 Convolutional NeuralNetwork와 시간의 순서에 따른 처리의 최적된 Recurrent neural network순으로 진행합니다.

3장에서는 Deep Learning 관련 실험들에 대해 설명하는것 같습니다. ( 이부분은 저도 봐야 알것같습니다.)

이 책의 참조사이트 주소 : www.deeplearningbook.org

다양한 자료와 강의용 Slide 도 제공합니다. 

딥러닝으로 부르게 된 이유 

 복잡한 문제를 계층적으로 표현하여 간단하게 표현한 그래프를 위에서부터 아래로 그래프는 깊어지며 많은 레이어를 보유하게 된다. 이러한 이유로 

AI Deep Learning 이라 부르게 되었습니다.

지식 기반의 학습

 딥러닝의 나오기 이전부터 IBM의 딥블루는 체스세계챔피언을 이길수 있는 역량을 이미 가지고 있었습니다. 논리적인 약속에 기반해 하드코딩하여 구석하는 인공지능을 지식기반의 학습이라 합니다.

머신러닝

 이러한 지식기반의 학습의 직면한 문제점은 하드코드된 시스템이기 때문에 AI System을 구석하기 위해서는 그들의 보유한 지식의 패턴을 추출해야할 필요가 있었습니다. 이러한 과정을 기계에게 맡겨 기계가 데이터의 패턴속에서 특징을 추출하는 것을 머신러닝이라 부르게 됩니다.

기본적으로 머신러닝 알고리즘으로는 Logistic regression이 존재하는데 결정을 하는데 도움을 줄 수 있으며, Naive Bayes 알고리즘은 Spam 이메일을 분리하는데 쓰이기도 합니다. 

이러한 머신러닝을 이용하여 뭘 할 수 있을까

Feature를 추출하여 할 수 있는 작업의 예

사진속에서 자동차인지 찾기 ( 자동차의 바퀴, 전조등 )