IT의 일상화가 이뤄지는 스마트 시대에는 소셜, 사물, 라이프로그 데이터등이 결합되며 '빅데이터'의 영향력이 증대
5년 이내에 데이터의 폭발적 증가로 인한 혼돈과 잠재적인 가능성이 공존하는 '빅데이터(Big Data) 시대'가 도래
차세대 이슈로 빅데이터가 떠오르는 이유
1.ICT 주도권이 데이터로 이동
ICT ( Information & Communication Technology) 컴퓨터, 더 나아가 정보를 접근하고 저장하고 전송하고 조작할 수 있게하는 필수적인 전사적 소프트웨어, 미들웨어, 스토리지, 오디오 비주얼 시스템을 강조하는 용어이다
1. ICT 주도권이 데이터로 이동
2. 공간, 시간, 관계, 세상을 담는 데이터
3. 미래 경쟁력과 가치 창출의 원천
스마트 사회를 여는 열쇠, 빅데이터로의 변화
빅데이터 시대에는 데이터가 IT에서 분리된 독립적인 주체로 발전하며 IT의 주도권이 인프라, 기술, SW에서 데이터로 전이
- 스마트 시대에는 데이터의 저장-검색-관리-공유-분석-추론의 전체적인 과정이 업그레이드되며 정보화 시대와 차별적으로 성장
최근 빅데이터가 이슈가 되자 데이터 분석의 중요성에 대한 인식과 다양한 데이터 마이닝 기법은 새롭게 재조명
- 수집된 데이터에서 유용한 정보를 찾아내는 데이터 마이닝은 혁명적인 신기술로 평가되고 있으나 기대보다 실제 효과는 저조
- 그러나 데이터 생성과 유통속도가 빨라지며 데이터의 절대적인 양이 많아지자 의미있는 정보를 발견할 가능성이 높아짐.
분류 |
현재(AS - IS) |
융합지식기반(TO-BE) |
|
활용 변화 |
데이터개방 |
웹기반 인터페이스 |
원본/분석/가시화 3계층 |
이슈접근 |
후집계/원인 파악하는 사후대책반 |
실시간 이슈 탐지를 통한 선대응적 기획반 |
|
활용형태 |
부처별 수직적 활용 |
범부처/민간 수평적 분석 |
|
주체 |
업무 운영 담당자 |
분석, 기획 담당자 |
|
분석 변화 |
분석대상 |
정형화된 DB데이터 |
정형데이터 + SNS, 질문등의 비정형 데이터 |
규모 |
기가 ~ 테라바이트급 |
페타 ~ 제타 바이트급 |
|
분석범위 |
단일 저장소(Silo) |
다중 저장소 |
|
적용시간 |
일괄(batch) 처리 |
인타임 처리 |
|
데이터 |
저장 후 분석 |
흐름(on-the-fly)분석 |
|
숨겨진 정보를 채굴하는 디지털 시대의 마이닝
디지털 시대에는 쌓여있는 데이터속에서 유용하고, 가치있는 정보를 찾기위한 노력이 끊임없이 진행 중
- 실생활 속에서 축적되는 다양한 유형의 데이터가 증가할 수록 데이터의 활용가치는 무한히 상승
-마이닝 기법은 기업의 의사결정, 마케팅, 고객관리 뿐만아니라 금융, 의학, 교육, 환경 등의 분야에서 혁신적으로 적용
< 데이터를 기반으로한 마이닝(mining) 기법들>
구 분 |
내 용 |
데이터 마이닝 (Data Minig) |
- 대용량의 데이터, 데이터베이스등에서 감춰진 지식, 기대하지 못했던 경향, 새로운 규칙 등의 유용한 정보를 발견하는 과정 - 데이터 마이닝을 통해 정보의 연관성( 순차 패턴, 유사성 등) 을 파악함으로써 가치있는 정보를 만들어 의사결정에 적용 |
텍스트 마이닝 (Text Minig) |
-자연어로 구성된 비정형 텍스트 데이터에서 패턴 또는 관계를 추출하여 가치와 의미있는 정보를 찾아내는 마이닝 기법 - 텍스트 마이닝은 사람들이 말하는 언어를 이해할 수 있는 자연어처리(Natural Language Processing) 기술에 기반함 |
웹 마이닝 (Web Minig) | - 인터넷 상에서 수집된 정보를 데이터 마이닝 방법으로 분석 통합하는 기법 -웹 마이닝은 콘텐츠 마이닝( 웹 검색, 수집 데이터), 구조 마이닝(웹 사이트 구조), 활용 마이닝(사용자 이용형태) 등으로 세분화 |
소셜 분석, 소셜 마이닝 (Social Mining) | - 소셜 미디어에 올라오는 글과 사용자를 분석해 소비자의 흐름이나 패턴등을 분석하고, 판매나 홍보에 적용 - 마케팅 분야뿐만 아니라 사회의 흐름과 트렌드, 여론 변화 추이를 읽어내는 소셜 미디어 시대의 새로운 마이닝 기법 |
현실마이닝 (Reality Minig) | -사람들의 행동 패턴을 예측하기 위해 사회적 행동과 관련된 정보를 기기(휴대폰, GPS 등)을 통해 얻고 분석하는 기법 -휴대폰 등 모바일 기기들을 통해 현실에서 발생하는 정보 기반으로 인간관계와 행동 양태등을 추론 |
* 데이터 마이닝은 기업의 비즈니스 전략외에도 컴퓨터 과학이나 통계적관점으로 활용되어 부가가치가 높은 정보를 창출
- 국방 분야 (테러 위협 분석등), 의료분야 ( 질병진단 및 유전자 분석등), 에너지 분야( 전력수요 예측및 자원탐사 등)에서 활용
- IBM의 왓슨(Watson), 애플의 시리(Siri)처럼 사람의 말을 이해하고, 대안을 제시하는 인공지능 분야에서도 데이터는 필수 요소
숨겨진 정보를 채굴하는 디지털 시대의 마이닝
* 기업들은 수많은 고객, 업무, 거래 데이터를 활용하여 발 빠른 의사 결정, 미래 수요 예측, 경영 성과 관리에 기여하는 BI 전략 도입
- BI(Business Intelligence)는 의사 결정에 필요한 데이터를 수집, 저장, 처리, 분석하는 일련의 기술과 응용 시스템
대용량 데이터의 저장소인 DW(Data Warehouse), 데이터 질의 및 보고 도구, 데이터 마이닝, 비즈니스 성과관리 등의 요소로 구성
- 고객관계관리(CRM)도 고객의 행동이나 평가를 분석하여 예측에 기반한 맞춤형 마케팅, 고객 니즈 대응, 신뢰도 향상에 기여
데이터 마이닝에서 ' 빅데이터 마이닝'으로
* 맥락 이해와 추론이 기반이 되는 인공지능형 서비스, 상황 인식 서비스, 개인 맞춤 서비스의 발전
- 사용자의 개인 정보나 상황 정보, 환경 정보, 위치 정보 등과 수많은 경우의 데이터를 결합하여 개인 특화 서비스 제공 가능
- 대용량 데이터 분석을 활용한 인지, 지각 결정을 제공하는 자율 시스템이 점차 확대 될것으로 예상
데이터의 과거 - 현재 - 미래
저장 > 검색 > 관리 > 공유 > 분석 > 추론
데이터베이스 > 검색엔진 > KMS > Web2.0 > 빅데이터 > 상황인식
빅데이터의 주요 특성과 요소
* 스마트 시대 주요 패러다임 선도를 위해서는 빅데이터의 활용이 핵심이며, 그 수준이 경쟁력과 성패를 좌우
- 성공적이고 차별화된 빅데이터 활용 전략의 수립은 빅데이터의 특성과 요소를 잘 이해하는 것에서 시작
- 대용량 데이터 분석을 활한 인지, 지각, 결정을 제공하는 자율 시스템이 점차 확대될것으로 예상
* 빅데이터의 특성은 일반적으로 3V*
