Middle

제목 : Whole Brain Emulation RoadMap 

저자 : Oxford University anders sandberg, Nick Bostrom

위의 글에서 내가 맘에드는 부분만 빼내어 재해석하였다. 

Whole Brain Emulation (WBE) 는 학술적으로  미래에 실현해야할 중요 기술중 하나이다.

이유로는 4가지를 크게 들 수 있다.

Research

- 뇌 에뮬레이션은 컴퓨터 신경 과학의 뉴런 모델의 정확도를 비약적으로 늘릴수 있을수 있기때문에  논리적인 끝이다. 

- 뇌를 이해하는데에 큰도움을 줄 수 있으며, 학습과 경험에서 많은 테스트 셋을 제공할 수 있을 것이다.

- 뇌 모방 엔지니어링은 AI와 Brain-Computer Interface 패턴 인식등에 큰 발전을 가져올 수 있을 것이다.

- 현재의 지식을 학습을 통해 미래의 급진적인 확률에 대해 나타낼 수 있습니다.( 이해가 안되내..)

Economics

- 경제적인 관점에서는 복사가능한 뇌는 분명 큰 효과를 가져 올 것이다. 그리고 적은 확률적인 연관 사건들 조차도  심오한 사회적인 결과를 가져올것이다. 

Individually

- 만약 특별한 뇌를 에뮬레이션 저렴하고 가능할것이다. 그리고 만약 개인적인 존재에대해 만날 수 있다. 

에뮬레이션은 backup과 copy를 통해 디지털 불명성을 부여 가능할 것이다.

Philosophy

-  두뇌 에뮬레이션 자체는 마음 철학과 정체성 철학에서 많은 아이디어를 시험하거나 그러한 아이디어에 대해 생각할 수있는 새로운 맥락을 제공합니다.

- 그것은 인간의 향상의 급진적인 새로운 형태를 나타낸다.

시스템을 이해하기 위한 최소 조건

Brain Emulation은 뇌의 기능적 이해 없이는 달성 될 수 없다.

어떤 데이터가 관련이 있는지를 인식 할 수있는 모델과 이론이 필요하며 이를 개발하고 테스트하기위한 데이터를 제공해야합니다.

이론적으로 두뇌 에뮬레이션은 실제적으로 오른쪽 가장자리를 따라 어딘가에서 일어날 것이며, 최상위 레벨의 전체적인 이해를 훨씬 밑도는 것으로 나타날 것입니다.

다양한 종류의 저 현상에 대한 폭 넓은 이해를 포함한다.

우리는 시뮬레이션을 테스트하고 우리가 추구해야 할 데이터의 종류를 아는 더 높은 수준의 현상에 대해 어느 정도 이해해야합니다.

올바른 이해를 개발하고, 데이터를 수집하고, 계측을 강조하고, 제한된 에뮬레이션을 실험하기위한 올바른 연구주기를 조성합니다.

관련 분야에 유용한 서비스를 제공하고 유익한 스핀 오프를 제공하는 것은 WBE 개발에 없어서는 안 될 요소입니다

에뮬레이션의 레벨과 성공의 기준

시뮬레이션 Scale 단위

1 .세포 단위 시뮬레이션

2. 화학적 시뮬레이션

3. 유전적 표현

4. 구획 모델 (세포내)

5. 세포 전체 모델 (뉴런)

6. 로컬 네트워크 (뉴런을 네트워크모듈로 교체)

7. 시스템모델 ( 기능을 수행단위가 되지 않을까 생각함)

Levels of Brain Emulation

1. Computational Module : Classic AI High level 정보의 표현과 정보의 학습으로 만들어내는 모듈

2. Brain region connectivity : 각 영역은 기능 모듈을 나타내며 서로간에 연결되어 (species universial) “connectome”

3. Analog Network population model : 뉴런의 분포를 흉내내어 그들간의연결을 구현해는다. Activity 와 뉴런들의 상태 그룹을 그들의 시간별로 그룹으로 표현한다. 이것은 컨넥션 모델 ANN과 유사하다.

4. spiking neural network : firing state 와 synaptic states 가 추가된다.

5. Eletrophysiology : 전기적 신호 membrane state 가 추가된다. ion channel, 속성, 상태 ion 연결 전하량의 기준이 추가된다. 

6. Metabolome 대사체 : 대사물 신경 전달물지에 대해 고려되어야 한다.

7. Proteme : 단백질과 유전자 표현레벨이 추가되어야 한다.

8. State of protein complexes  : 4개의 단백질구조

9. Distribution of complexes : 세포내의 지도를 구성 할정도

10. Stochastic behavior of single molecules 세포 위치 또는 세포 기계 모델이 뇌 전체를 구성가능한정도

11. Quantum : 뇌와 양자 간의 연결이 가능한정도

4단계의 spiking 까지는 Threshold를 구성하여 tanh나 relu를 구현하면 될 것같은데 이후부터는 현재의 딥러닝에서 고려가 되어있는지는 자세히 모르겠다.

데이터의 필요

저단계의 Emulation에서는 엄청난양의 간단한 정보를 필요로 한다.

고단계로 갈 수록 적은량의 복잡한 정보를 필요로 한다.

학자들의 예측

뇌의 에뮬레이션이 필요로하는 레벨은 과연 어느정도인가 하면 대부분의 학자들은  4~6 레벨이면 뇌의 에뮬레이션을 구성할 수 있을것이라 고려하였다.

그러나 2명의 학자는 8~9 레벨에서 할 수 있을 것이라 예측하였다.

그러나 해당 글의 필자는8~9레벨의 에뮬레이션은 고차원의 에뮬레이션으로 저레벨의 에뮬레이션에서는 필요없을 것이라 생각한다.

그렇기에 이글에서는 4~6레벨에 집중하여 적도록 한다.

RoadMap

1. 요구사항

WBM 는 진행하기 위해 3가지의 능력이 필수사항으로 요구되어진다.

• Brain Scan
• Scan에는 각 조직의 역할 ( 세포와 축색돌기 상응관계 정의 등) 필요로하다.
• 일반적으로 뇌과학에서 많이 쓰이지만, WBM에서 요구되는 정도는 이전보다 거대한 크기에서 손상에의 데메지가 적도록 조작이 가능해야 한다.
• Software Model 작성
• Imaging Method
• 소프트웨어로로 만들기 위해서는 크게 3가지의 메인 이슈가 존재한다.
• 동시까지는 아니지만 뇌전체의 구석구석까지도 이미지할 수있는 능력
• 각 부위의 기능에 적절한 정보를 얻는 능력
• 가장 작은 시스템까지도 에뮬레이션이 가능하도록 하는능력
• Image To Software
• 만들어진 Image를 소프트웨어화 시키는데에는 터무니없는 정교한 작업이 필요로 된다.
• 이미지를 해석하여 적절한 시뮬레이션 파라미터로 변환하는 작업
• 기계화 뇌과학 모델의 충분한 정확도
• 이미지 프로세싱은 왜곡과 노이즈를 절대 피할수 없는 문제가 될 것이며, 적합한 데이터를 가끔 잃기도 할것이다.
• 과도한 데이터 저장공간의 필요를 막기 위해 아마도 이 과정 중에는 원본 스캔데이터를 바로 넣는것이 아닌 압축된 형태로 적용하게 될터인데 그로인한 손실이 있을 수 있다.
• 스캔 데이터 해석
• 데이터의 관계도를 측정
• 전기적 신호의 연관성, 세포 타입, 시뮬레이션 파라미터 정의
• 그다음 이 정보를 에뮬레이션을 위한 "Inventory Database"라 한다.
• 위의 작업들이 소프트웨어 모델을 작업을 하기위한 선행 작업이라 보면 된다.
• Software Model
• Software Model 작성에는 효율적으로 컴퓨터에 적용할 수 있는 뉴런 행동에 대한 수학적 모델이 필요로 한다.
• 컴퓨터 뇌과학은 현재 뉴런의 속성, 뉴런의 네트워크, 시냅스, 학습 과정등에 초점이 맞춰져있다.
• WBM에서는 이러한 것 뿐만아니라 여타 다른 subsystem들에 대한 모든 적절한 좋은모델이 필요로 하다.
• 위와 함께 스캔데이터로부터 적절한 파라미터를 추출하여 써야한다.
• 이로써 스캔된 뇌 전체의 컴퓨터화 된 모델이 만들어지게 된다.
• Emulation Brain
• 위의 과정등을 통해 모델이 만들어졌다면 이제 Emulation을 하면될탠데 이문제를 해결하기 위해서는 엄청난 양의 컴퓨터 자원이 필요로한다.
• 위의 자료들을 유지할 수 있을만한 메모리가 필요
• 적절한 속도로 돌아 갈 수 있도록 할 CPU가 필요
• 위의 복잡한 작업들을 병렬로 처리 할 수 있도록 해야한다.
• 위의 과정들을 처리 할 수 있을 만한 내부 Bandwidth또한 필수적이다.

WBE 개발에 있아서너느 필요로하는 주요 기술(Scanning, Interpretation, simulation)들이 존재한다. 만약 특정 어떠한것이 늦어진다면 어떻게 될것인가?

1. 그들이 만약 독립적으로 발달하게 된다면 사람레벨의 에뮬레이션을 하는데에 세가지 모두 충분히 발달하지 못할 가능성이 높다

2. 만약 컴퓨터 성능이 제한이라면 더욱더 복잡한 생물의 에뮬레이션 모델이 나타나야 할것이다.

3. 만약 Scanning 이나 Image Interpretation, Neural Simulation이 제한적이라면 비교적 획기적인 반전이 가능하다.

또한 Scanning Tech 가 작은 컴퓨팅에서 사용가능하도록 간단한 유기체에서 복잡한 유기체로 이전가능한 소프트웨어가 필요로하다. 

4. 컴퓨터 제한또는 스캐닝에 병목현상이 있는 경우 개발속도는 경제적에 따라 결정 되게 될것이다.

솔직히 WBE는 경제적이나 정치적으로 결정될 가능성이 매우 큰기술이다. 만약 충분한 연구가 만들어지게 되면 그때부터는 급속도로 WBE가 발전이 가능하도록 될것이다.

Yoshua Bengio 교수님의 Deep Learning 책이 드디어 도착했습니다.(2주동안이나 기다렸다...) 
이 글에서는 책을 읽으면서 내가 이해하고싶은데로 이해하는 내용을 정리해보도록 합니다. ( 영어가 매우 부족한 관계로 내용은 반만 믿으시길 바랍니다..)

이 책에서는 목차로는 20 Chapter가 존재하며

1) Introduction

1. Applied Math and Machine Learning Basics

2) Linear Algebra

3) Probability and Information Theory

4) Numerical Computation

5) Machine Learning Basics

2. Deep Networks : Modern Practices

6) Deep Feedforward Networks

7) Regularization for Deep Learning

8) Optimization for Training Deep Models

9) Convolutional Networks

10) Sequence Modeling : Recurrent and Recursive Nets

11) Practical Methodology

12) Applications

3. Deep Learning Research

13) Linear Factor Models

14) Autoencoders

15) Representation Learning

16) Structured Probabilistic Models for Deep Learning

17) Monte Carlo Methods

18) Confronting the Partition Function

19) Approximate Inference

20) Deep Generative Models

이러한 형식으로 진행이 되어집니다.

1장에서는  딥러닝에 필요한 수학과 머신러닝의 기초에 대해 1~5Chapter동안 설명하며,
2장에서는 Deep Learning 의 기초를 설명하기위해 
Deep Learning 의 기초인 Feedforward Networks 에서부터 Trainning 방법 이미지 특징 추출 최적화 네트워크인 Convolutional NeuralNetwork와 시간의 순서에 따른 처리의 최적된 Recurrent neural network순으로 진행합니다.

3장에서는 Deep Learning 관련 실험들에 대해 설명하는것 같습니다. ( 이부분은 저도 봐야 알것같습니다.)

이 책의 참조사이트 주소 : www.deeplearningbook.org

다양한 자료와 강의용 Slide 도 제공합니다. 

딥러닝으로 부르게 된 이유 

 복잡한 문제를 계층적으로 표현하여 간단하게 표현한 그래프를 위에서부터 아래로 그래프는 깊어지며 많은 레이어를 보유하게 된다. 이러한 이유로 

AI Deep Learning 이라 부르게 되었습니다.

지식 기반의 학습

 딥러닝의 나오기 이전부터 IBM의 딥블루는 체스세계챔피언을 이길수 있는 역량을 이미 가지고 있었습니다. 논리적인 약속에 기반해 하드코딩하여 구석하는 인공지능을 지식기반의 학습이라 합니다.

머신러닝

 이러한 지식기반의 학습의 직면한 문제점은 하드코드된 시스템이기 때문에 AI System을 구석하기 위해서는 그들의 보유한 지식의 패턴을 추출해야할 필요가 있었습니다. 이러한 과정을 기계에게 맡겨 기계가 데이터의 패턴속에서 특징을 추출하는 것을 머신러닝이라 부르게 됩니다.

기본적으로 머신러닝 알고리즘으로는 Logistic regression이 존재하는데 결정을 하는데 도움을 줄 수 있으며, Naive Bayes 알고리즘은 Spam 이메일을 분리하는데 쓰이기도 합니다. 

이러한 머신러닝을 이용하여 뭘 할 수 있을까

Feature를 추출하여 할 수 있는 작업의 예

사진속에서 자동차인지 찾기 ( 자동차의 바퀴, 전조등 )

https://www.youtube.com/watch?v=lfHX2hHRMVQ

동영상 : RL Course by David Silver - Lecture 2: Markov Decision (DeepMind의 David Silver님 강의)

Reinforcement Learning 에 대해 공부하면서 Dr. David Silver님의 강의를 참조하여 공부하였습니다.

1. 강화 학습이란?

강화학습이란 어떤 환경에서 에이전트가 현재의 상태를 인식하여 어떤 행동을 취한다. 그러면 그 에이전트는 환경으로부터 결과(Reward)를 얻게 된다. 그 결과는 양수와 음수 모두 가능하며, 강화학습의 알고리즘은 그 에이전트가 앞으로 누적될 포상을 최대화 하는 일련의 행동으로 정의되는 정책을 찾는 방법이다.

사람이 게임을 한다고 생각해봅시다. 처음 그게임을 해보게 되면 이 게임은 ~~한 시스템이고 ~~한 조작을 해서 이렇게 조작하면 이길 수 있다. 근데 너의 손은 얼마나 빨리 움직이지? 이렇게 게임을 하지는 않을 것입니다. 아마도 아무것도 모르고 게임을 해보면 어떻게 게임을 하는지 이렇게 조작하면 지고 이렇게하면 이긴다는 것을 학습 할 것입니다.

강화 학습도 이와 같이 agent가 아무것도 모르는 환경에서 경험을 통해 학습하는 것입니다. 간단히 생각해 "컴퓨터니까 다 계산해서 게임하거나 로봇을 움직이거나 하면 안돼?" 라고 생각할 수 있지만 작은 grid world경우에야 모든 것을 계산해 할 수 있지만, 바둑같은 경우 혹은 실제 세상에서는 모든 것을 계산하는것은 불가능 한 일입니다. 하지만 모든 사람이 프로 바둑기사는 될 수는 없어도 하다보면 바둑을 둘 수 있게 됩니다. 인공지능이 사람의 그러한 학습 방법을 모티브 삼아서 학습 하는 것입니다.

강화 학습의 정의를 살펴 보면 "상태", "환경", "행동", "포상" 과 같은 단어들이 등장합니다. 문제를 풀고 싶을 때 가장 먼저 하는 것이 문제의 정의입니다. 실재로 무엇인가를 학습하기 위해서는 그 학습의 바탕이 되는 문제를 정의가 필수적입니다. 실재로 무엇인가를 학습하기 위해서는 그 학습의 바탕이 되는 문제의 정의가 필수적입니다. 강화학습에서는 그 문제는 MDP( Markov Decision Process)로 정의되며 특정Environment에서 Agent(사람으로 치면 뇌)가 그 Environment를 MDP로 이해합니다. 이 MDP라는 것에 대해서 살펴보는 것으로 강화 학습의 공부가 시작합니다.

2. MDP(Markov Decision Process)이란?

MDP를 배우기 전에 Markov하다는 말의 정의와 Markov Chain, Markov Reward Process에 대해 먼저 알아 봅니다. Markov는 러시아 수학자입니다.

Dynamics은 확률분포와 완전히 분리하여 정의 할 수 있습니다.

만약 신호가 Markov property인 경우 다른 한편으로는 환경과 작업이 3.4식과 3.5식이 같은 경우 모든 기록들 이경우에는 환경과 작업은 모두 Markov property를 가지고 있습니다.

첫 식 처럼 처음 어떤 상태로부터 시작해서 현재 상태까지 올 확률이 바로 전상태에서 현재 상태로 올 확률과 같을때 두번째 식처럼 표현 될 수 있고 state는 Markov 하다고 일컬어질 수 있습니다.

게임이라고 생각하면 어떤 상황은 이전 모든 상황에 영향받아 지금 상황이 된것이기 때문에 사실 지금 상황에 이전 상황의 정보가 모두 담겨 있습니다. 우리가 접근 하는 모든 state가 Markov property라 할 수 없지만 그럴 경우 state는 Markov라고 가정하고 강화학습으로 접근합니다.

강화 학습에서는 value라는 어떤 가치가 현재의 state의 함수로 표현되기 때문에 state가 Markov하다는 것은 상당히 중요합니다. 따라서 강화학습에서는 state가 Markov 하다라고 가정하고 실재로도 이렇게 가정했을 경우 문제가 생기지 않습니다. 

위 그림에서 로봇이 세상을 바라보고 이해하는 방식이 MDP가 됩니다. MDP란 Markov Decision Process의 약자로 state, action, state, probability, matrix, reward, discounted factor로 이뤄져 있습니다.

로봇이 있는 위치가 state, 앞뒤로 움직이는게 action 보석은 reward입니다.