시작으로는 HDFS Permission부터 이해해보자.

HDFS Permission Overview

 하둡 파일 시스템은 Files 과 Directories를 관리하기 위해서 POSIX model를 수단으로 하였다. 각 File, Directories는 사용자 와 그룹과 연관 지어진다.

 기존 POSIX model 과 차이점은 HDFS에서는 실행파일에 대한 개념이 존재 하지 않는다.

파일의 경우

r permission은 파일을 읽어들이는데 필요

w permission은 파일을 쓰거나, 파일에 추가내용 적을시 필요

디렉토리 경우

r permission은 디렉토리의 리스트를 확인시 필요

w permission은 파일 또는 디렉토리를 생성 또는 삭제에 필요하다.

x permission은 자식 디렉토리에 접근하기 위해 필요하다.

디렉토리에 대해서는 소유자 또는 슈퍼유저 파일 소유자를 제외하고 디렉토리 접근 방지 설정을 할 수 있다.

종합적으로 파일이나 디렉토리의 권한을 관리하기위한 Model이다. 파일또는 디렉토리가 생성되면, 그 소유자는 클라이언트 프로세스 사용자 ID 이며, 그룹은 소유자의 그룹이다.

ACL (액세스 제어 목록)

HDFS는 기존의 POSIX 권한 모델 뿐만 아니라, ACL을 지원한다. ACL은 사용자와 그룹의 계층 권한을 구현하는데 유용하다.

ACL은 파일의 소유자와 파일의 그룹 뿐만 아니라 명명된 사용자 또는 명명된 그룹에 권한 설정하는 방법을 제공한다.

기본적으로 ACL을 제공하지는 않지만 네임노드 구성에서

dfs.namenode.acls.enabled= true 로 설정하면 이후부터 ACL인식이 가능합니다.

ACL 을 이용한 권한 관리

ACL Control 방법

JAVA methods:

·       public void modifyAclEntries(Path path, List<AclEntry> aclSpec) throws IOException;

·       public void removeAclEntries(Path path, List<AclEntry> aclSpec) throws IOException;

·       public void public void removeDefaultAcl(Path path) throws IOException;

·       public void removeAcl(Path path) throws IOException;

·       public void setAcl(Path path, List<AclEntry> aclSpec) throws IOException;

·       public AclStatus getAclStatus(Path path) throws IOException;

ACLs Shell Commands

·       hdfs dfs -getfacl [-R] <path>
Displays the Access Control Lists (ACLs) of files and directories. If a directory has a default ACL, then getfacl also displays the default ACL.

·       hdfs dfs -setfacl [-R] [-b |-k -m |-x <acl_spec> <path>] |[--set <acl_spec> <path>]
Sets Access Control Lists (ACLs) of files and directories.

hdfs dfs -setfacl -x user:alice /user/hdfs/file

·       hdfs dfs -ls <args>
The output of ls will append a ‘+’ character to the permissions string of any file or directory that has an ACL.

ACL 권한 체크 절차

참조 사이트 : 

A Step by Step Backpropagation Example

참조 : https://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/

1. Backpropagation의 배경

Backpropagation은 뉴럴 네트워크를 학습시키기 위한 가장 일반적인 방법이다.

이 글에서는 이것이 어떻게 작동되어지는지 Backpropagation이 정확히 이해해보자.

2. Backpropagation Python Code
Python Script를 다운로드 받고 어떻게 구현하였는지에대해 설명이 적혀있다.

3. Backpropagation 시각화
Backpropagation이 어떠한 원리로 작동하는지에 대해 시각화를 제공한다. Neral Network visualization
각 논리 게이트의 종류에 따른 학습의 진행을 확인 가능하다.

4. 추가 정보
이 예제에서 유용한점을 찾게된다면 계속해서 뉴럴 네트워크 학습을 너희들의 어플리케이션에 사용가능하고, Adrian Rosebrock의 Deep Learning 과 python을 추천한다는데.. 어려워보이내

5.미리 보기
이번 튜토리얼에서는 2개 입력값, 2개 hidden layor, 2개 출력값.
추가적으로 hidden layor와 output은 bias 추가하여 계산한다. 

Here’s the basic structure:

6. 

CS231n : Neural Networks Part 2: Setting up the Data and the Loss (한국어 번역)

http://ishuca.tistory.com/382

fundamental of Machine Learning

https://www.youtube.com/watch?v=j3za7nv7RfI 

gaussian process regression 찾아보기

머신러닝은 두가지종류

parametic (1차함수일거야 2차함수일거야 예측)

nonparametic(모형 예측 없이)

parametic하다보면 너무 복잡해짐을 줄이기 위해 regularization 한다.

팁은 데이터를 한번에 학습 시키는것이 아니라 일부를 떼서 먼저 학습시키고지속적으로 valid체크후 계속 학습

Nonparametic 에서는 SVM(Support Vector Machine)2차함수에서는 도저히 이데이터가 왜 이형태인지알수없지만 몇가지 Feature가 추가될때그함수가 이해가 될수 있다. 와 GPR(Gaussian process regression)에 대해 배웠다.

그리고 최종적으로는 demension reduction에 대해 배웠다.

PCA(principal component analysis)

여러 디멘션의 값들을 가장 빈도가높은 쪽으로 모아서 나타내 1차원형태로라도 보여준다는데 모르겠다.

칸아카데미의 선형대수 강의

https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces

Coursera Stanford University Professor Andrew Ng's Course

시작으로는 Linear Algebra에대 배우게 되는데

크게 3단계로 Hypothesis Function, Cost Function, Gradient Descent에 대해 배우게 된다.

Hypothesis Function

h세타(x) = 세타0 | 세타1*x 의 형태로

x(input) y(output)

0        4

1        7

2        7

3        8

형태를 가지고 있을 경우

세타0는 2, 세타1은 2 그러므로 hypothesis function은 h0(x) = 2 +2x 가 되어진다.

Cost Function

우리는 hypothesis function의 정확성을 알기 위해 x와 y의 hypothesis function을 통한 결과들의 평균을 구하는 방법

예측값 에서 y를 뺀값을 2곱의 평균을 구한다. 앞의 1/2은 미분을 하였을시 편하게 풀어내기 위해서 적은 1/2이고 결과값에는 크게 영향을 미치지 못한다.

이것으로 우리는 정확한 예측한 function이 정확한 결과를 가져오는지 가져오지 못하는지에 대해 알 수 있게 되었다.

Gradient Descent

그래서 우리는 이제 hypothesis function 의 정확도를 측량 가능하다. 그래서 이것을 이요하여 자동적으로 hypothesis function의 정확도를 늘려주는 방법을 gradient descent라 한다.

위의 식을 j=0 이 되거나 1에 도달할때 까지 반복하면 된다.

개인적으로 Raft 알고리즘에 대해 알아볼 일이 생겼다. 

이 Raft알고리즘은 Paxos 알고리즘의 기존의 잘못된 점을 고쳐 발전시킨 알고리즘이라고 한다. 그렇다면 과연 Paxos와 Raft 알고리즘이 속해 있는 합의 알고리즘이 무엇인지 알아보겠다.

합의 알고리즘은 분산 시스템의 결함 허용 방식의 하나이다.
이는 결함이 있는 분산 시스템이 합의된 하나의 제안을 공유할 수 있도록 설계되어 있다.

분산 컴퓨팅 시스템과 다수 Agent 시스템의 기본적인 문제점은 잘못된 프로세스가 존재하에 시스템의 안정성을 달성하는 것이다. 이것은 자주 프로세스들을 몇몇 데이터(컴퓨터 계산중 필요한)를 수락하기 위해 필요하다.

예를 들어 합의 어플리케이션은 데이터베이스에 트랜잭션 커밋 여부, 인증된 리더(State machine replication와 Atomic broadcasts)를 수락하기 위해 포함한다..

현실에서 어플리케이션들은 include clock synchronization, PageRank, opinion formation, power smart grids, state estimation, control of UAVs, load balancing등이 포함되어진다.

합의 문제는 다수의 프로세스를 하나의 데이터 값으로 묶는 약속이 필요하다.

몇몇 프로세스들은 실패 또는 믿을수 없는 다른 방향으로 갈 수도 있고 그래서 합의 프로토콜들은 반드시 fault tolerant or resilient(탄력적이어야하고, 실패 결함이 있어야 한다).

프로세스들은 반드시 어디가에서 4개의 그들의 후보값을 넣고 다른 하나와 의사소통하고 하나의 합의 값으로 수락한다.

합의 문제는 멀티 클러스터 시스템을 제어하기위한 기본적인 문제이다. 

어쨌든 하나 또는 다수 실패 프로세스들은 만약 합의가 도달하지 못하거나 잘못 도달하도록  비뚤어지게 한다.

약속들은 합의문제를 해결이 되도록 그려진다. 제한된 숫자의 Faulty 프로세스들과 거래하도록 디자인 되어진다.

이러한 약속들은 반드시 몇 개의 요구사항이 만족 되어야 한다.

예를 들어 하찮은 프로토콜은 모든 프로세스의 출력 바이너리 값을 가지게 될것이다.

1.    이것은 유용하지 않고 요구사항이 출력은 이와 같이 수정되어지면 어떠한 입력과도 반드시 의존하게된다.

이것은 출력값의 합의 프로토콜은 반드시 몇몇 프로세스의 입력값이다. 다른 요구사항은 프로세스는 결정 할지도 모른다.

이 오류 가 발생하지 않는 경우 올바른 프로세스실행 불린다. 실패를 중단합의 프로토콜 에 내성 는 다음과 같은 속성을 만족해야한다

종료

모든 올바른 프로세스가 어떤 값을 결정한다.

효력

모든 프로세스가동일한 값 v 를 제안 하는 경우 , 모든 과정은 정확한 V 를 결정한다.

청렴

모든 올바른 과정은 대부분 하나의 값으로 결정 하고, 어떤 값 v 를 결정하면 , 다음에 v 일부 프로세스에 의해 제안 되어 있어야합니다.

협정

모든 정확한 프로세스 는 동일한 값에 동의해야한다 .

이러한 프로세스의 동의하는 과정을 합의라 한다.

기계 학습이란?

일반적으로 기계학습은 컴퓨터가 경험, 예, 유추를 통해 학습할 수 있게 하는 적응 메커니즘과 관련이 있다. 학습 능력은 시간이 흐르면서 지능형 시스템의 성능을 개선한다. 기계 학습 메커니즘은 적응형 시스템의 기초로 형성한다. 기계학습에서 가장 많이 알려진 접근법은 인공 신경망(artificial neural network)과 유전 알고리즘(genetic algorithm)이다. 이 장에서는 신경망에만 집중한다.

신경망이란 무엇인가?

신경망은 인간의 뇌를 기반으로 한 추론 모델로 정의할 수 있다. 인간의 뇌는 조밀하게 서로 연결된 신경세포의 집합으로 이루어져있는데, 이 신경세포는 뉴런(neuron)이라는 기본적인 정보 처리 단위이다. 인간의 뇌는 100억개의 뉴런과 각 뉴런을 연결하는 6조개의 연결부위, 즉 시냅스(synapse)의 집합체다. 여러개의 뉴런을 동시에 사용함으로써 인간의 뇌는 현존하는 어떤 컴퓨터보다 빠르게 그 기능을 수행할 수 있다.

복잡한 전기 화학 반응은 신호를 한쪽 뉴런에서 다른쪽 ㄴ런으로 전파한다. 시냅스에서 나온 화학물질은 세포체의 전위에 변화를 일으킨다. 전위가 임계치(threshold 또는 임계값(threshold value))에 이르면 전기 파동인 활동 전위(action potential)가 축색 돌기를 통해 내려 보내진다. 그 파동은 퍼져나가다가 마침내 시냅스에 도달하고, 시냅스의 전위를 증가시키거나 감소시킨다. 그러나 가장 흥미로운 발견은 신경망이 적응성을 나타낸다는점이다. 뉴런들 사이의 연결강도는 자극패턴에 반응하여 장기적인 변화를 나타낸다. 또한 뉴런은 다른 뉴런과 새롭게 연결할 수 있다. 어떤 때는 뉴런의 집합체가 이쪽에서 저쪽으로 통채로 이동할 수도 있다. 이러한 메커니즘은 인간의 뇌에서 일나는 학습의 기초를 형성한다.

인간의 뇌는 매우 복잡하고, 비선형적이며, 변렬적인 정보 처리 시스템으로 생각할 수 잇다. 정보는 신경망의 특정위치가 아니라 신경망 전체에 동시에 저장되고 처리된다. 즉 신경망에서는 데이터 저장과 처리가 일부지역이 아니라 전체에 이루어진다.

적응성에 따라 잘못된 답으로 이끄는 뉴런들 사이의 연결은 약화되는 반면, 올바른 답으로 이끄는 연결은 강화된다. 그 결과, 신경망에 경험을 통한 학습 능력이 생긴다.

생물학적인 신경망에서 학습은 기초적이고 필수적인 특성이다. 쉽고 자연스러운 학습 방법 때문에 컴퓨터도 생물학적인 신경망을 모방하도록 학습할 수 있다.

오늘날의 인공 신경망(ANN, Artificial Neural Network)이 인간의 뇌를 흉내낸 정도가 비록 종이비행기로 초음속 항공기를 흉내낸 수준에 불과하다 해도 이는 크게 진일보한 것이다. ANN에는 '학습' 능력이 있다. 즉 성능을 개선하는 데 경험을 활용한다. 표본이 충분히 주어지면 ANN은 아직 발견하지 못한 사실을 일반화할 수 있다.  손을 쓴 글씨를 인식할 수 있고, 인간의 대화에서 단어를 판별해낼 수 있으며, 공항의 폭발물을 탐지할 수 있다. 또한 ANN은 전문가가 인식해내지 못한 패턴을 찾아낼 수도 있다. 예를들어, 체이스 맨하탄 은행에서는 도난당한 신용카드들의 사용내역을 검사하기위해 인공신경망을 사용했으며, 가장 의심스러운 매출이 $40~$80 정도의 여성구두라는 점을 발견해냈다.

인공신경망은 뇌를 어떻게 모델링 하는가?

인공신경망은 뉴런이라고 하는 아주 단순하지만 내부적으로 매우 복잡하게 연결된 여러 프로세서로 이루어져 있다. 이는 생물학적인 뇌의 뉴런과 유사하다. 뉴런은 이쪽뉴런에서 저쪽뉴런으로 신호가 지나가는 가중치가 있는 링크들로 연결되어 있다. 각각의 뉴런에서 저쪽 뉴런으로 신호가 지나가는 가중치가 있는 링크들로 연결되어 있다. 각각의 뉴런은 연결을 통해 여러 입력 신호를 받지만, 출력 신호는 오직 하나만 만든다. 출력신호는 뉴런에서 나가는 연결( 생물학적으로는 축색돌기에 해당을 통해 전달 된다. 나가는 연결은 같은 신호를 전달하는 여러가지 순서대로 퍼져나간다.( 신호하나가 가지들 사이에서 나뉘지않는다.) 나가는 가지들은 신경망 내 다른 뉴런의 입력과 연결된다. 

인공 신경망은 어떻게 '학습'하는가?

뉴런은 링크(link)로 연결되어 있고, 각 링크에는 그와 연관된 수치적인 가중치(numercial weight)가 있다. 가중치는 ANN에서 장기 기억을 위한 기본적인 수단으로, 각 뉴런 입력 강도, 즉 중요도를 표현한다. 신경망은 가중치를 반복적으로 조정하여 학습한다.

IT의 일상화가 이뤄지는 스마트 시대에는 소셜, 사물, 라이프로그 데이터등이 결합되며 '빅데이터'의 영향력이 증대

5년 이내에 데이터의 폭발적 증가로 인한 혼돈과 잠재적인 가능성이 공존하는 '빅데이터(Big Data) 시대'가 도래

차세대 이슈로 빅데이터가 떠오르는 이유

1.ICT 주도권이 데이터로 이동

ICT ( Information & Communication Technology) 컴퓨터, 더 나아가 정보를 접근하고 저장하고 전송하고 조작할 수 있게하는 필수적인 전사적 소프트웨어, 미들웨어, 스토리지, 오디오 비주얼 시스템을 강조하는 용어이다

1. ICT 주도권이 데이터로 이동

2. 공간, 시간, 관계, 세상을 담는 데이터

3. 미래 경쟁력과 가치 창출의 원천

스마트 사회를 여는 열쇠, 빅데이터로의 변화

빅데이터 시대에는 데이터가 IT에서 분리된 독립적인 주체로 발전하며 IT의 주도권이 인프라, 기술, SW에서 데이터로 전이

- 스마트 시대에는 데이터의 저장-검색-관리-공유-분석-추론의 전체적인 과정이 업그레이드되며 정보화 시대와 차별적으로 성장

최근 빅데이터가 이슈가 되자 데이터 분석의 중요성에 대한 인식과 다양한 데이터 마이닝 기법은 새롭게 재조명

- 수집된 데이터에서 유용한 정보를 찾아내는 데이터 마이닝은 혁명적인 신기술로 평가되고 있으나 기대보다 실제 효과는 저조

- 그러나 데이터 생성과 유통속도가 빨라지며 데이터의 절대적인 양이 많아지자 의미있는 정보를 발견할 가능성이 높아짐.

숨겨진 정보를 채굴하는 디지털 시대의 마이닝

디지털 시대에는 쌓여있는 데이터속에서 유용하고, 가치있는 정보를 찾기위한 노력이 끊임없이 진행 중

- 실생활 속에서 축적되는 다양한 유형의 데이터가 증가할 수록 데이터의 활용가치는 무한히 상승

-마이닝 기법은 기업의 의사결정, 마케팅, 고객관리 뿐만아니라 금융, 의학, 교육, 환경 등의 분야에서 혁신적으로 적용

< 데이터를 기반으로한 마이닝(mining) 기법들>

* 데이터 마이닝은 기업의 비즈니스 전략외에도 컴퓨터 과학이나 통계적관점으로 활용되어 부가가치가 높은 정보를 창출

- 국방 분야 (테러 위협 분석등), 의료분야 ( 질병진단 및 유전자 분석등), 에너지 분야( 전력수요 예측및 자원탐사 등)에서 활용

- IBM의 왓슨(Watson), 애플의 시리(Siri)처럼 사람의 말을 이해하고, 대안을 제시하는 인공지능 분야에서도 데이터는 필수 요소

숨겨진 정보를 채굴하는 디지털 시대의 마이닝

* 기업들은 수많은 고객, 업무, 거래 데이터를 활용하여 발 빠른 의사 결정, 미래 수요 예측, 경영 성과 관리에 기여하는 BI 전략 도입

- BI(Business Intelligence)는 의사 결정에 필요한 데이터를 수집, 저장, 처리, 분석하는 일련의 기술과 응용 시스템

 대용량 데이터의 저장소인 DW(Data Warehouse), 데이터 질의 및 보고 도구, 데이터 마이닝, 비즈니스 성과관리 등의 요소로 구성

- 고객관계관리(CRM)도 고객의 행동이나 평가를 분석하여 예측에 기반한 맞춤형 마케팅, 고객 니즈 대응, 신뢰도 향상에 기여

데이터 마이닝에서 ' 빅데이터 마이닝'으로

* 맥락 이해와 추론이 기반이 되는 인공지능형 서비스, 상황 인식 서비스, 개인 맞춤 서비스의 발전

- 사용자의 개인 정보나 상황 정보, 환경 정보, 위치 정보 등과 수많은 경우의 데이터를 결합하여 개인 특화 서비스 제공 가능

- 대용량 데이터 분석을 활용한 인지, 지각 결정을 제공하는 자율 시스템이 점차 확대 될것으로 예상

데이터의 과거 - 현재 - 미래

저장           >  검색     > 관리  > 공유    > 분석     > 추론

데이터베이스 > 검색엔진 > KMS > Web2.0 > 빅데이터 > 상황인식

빅데이터의 주요 특성과 요소

* 스마트 시대 주요 패러다임 선도를 위해서는 빅데이터의 활용이 핵심이며, 그 수준이 경쟁력과 성패를 좌우

- 성공적이고 차별화된 빅데이터 활용 전략의 수립은 빅데이터의 특성과 요소를 잘 이해하는 것에서 시작

- 대용량 데이터 분석을 활한 인지, 지각, 결정을 제공하는 자율 시스템이 점차 확대될것으로 예상

* 빅데이터의 특성은 일반적으로 3V* 

SamuBrain, exp. 4, cognitive mental organs: MPU (Mental Processing Unit), COP-based Q-lerning, acquiring higher-order knowledge

Currently I am working on a manuscript titled "Samu in His Prenatal Development" where I want to establish a definition of a mathematical machine for learning. It is for this reason that I have made various experiments on the subject.

The project called SamuBrain is an implementation of a version of the definition in question. In this experiment, I have been investigating the possibility of developing a "cognitive mental organ" which is called Mental Processing Unit (or briefly MPU) in the terminology of the sources of the project: https://github.com/nbatfai/SamuBrain

An MPU consisting of two lattices, one input and one output lattice. The input lattice (called reality) represents the perception of the agent. Each cell of the output lattice (called Samu's predictions) is equipped with a COP-based[*] SAMU engine[+] to predict the next state of the corresponding input cell. Three different inputs are shown to the agent in the experiment:

1) 5 gliders move in the input lattice in accordance with Conway's Game of Life (https://github.com/nbatfai/SamuLife)
2) 9 simple "pictures" are shown (https://github.com/nbatfai/SamuStroop)
3) a simple "film" is shown (https://github.com/nbatfai/SamuMovie)

The agent must learn and recognize these complex patterns. It is shown in video at https://youtu.be/_W0Ep2HpJSQ

[*]: http://arxiv.org/abs/1108.2865
[+]: http://arxiv.org/abs/1511.02889

1장 학습 정리

IT의 일상화가 이뤄지는 스마트시대에는 소셜, 사물, 라이프로그데이터등이 결합되며 빅데이터의 영향력 증대

5년 이내에 데이터의 폭발적 증가로 인한 혼돈과 잠재적인 가능성이 공존하는 빅데이터 시대가 도래

차세대 이슈로 빅데이터가 떠오르는 이유

1. ICT 주도권이 데이터로 이동

2. 공간, 시간, 관계 세상을 담는 데이터

3. 미래 경쟁력과 가치창출의 원천