CrowdSourcing (많은 사람이 참여하여 문제를 해결하도록 하는 의미) 라는 아이디어 자체는 새롲비 않지만, 그 용어는 가장 최근 2006년에 생기기 시작했다. 기본 구상은 도전과제가 제시 되고, 참가자들은 최적의 해결책을 찾기위해 상호 독립적으로 경쟁한다는 것이다. 제임스 서로위키가 저술한 [대중의 지혜]의 중심주제는 어떤 현상에 대해 대중들이 전문가보다 평균적으로 훨씬 나은 결정을 한다는 것이다. 그것은 단지 대중들이 올바른 해결책에 도달할 수 있는 특정한 여건아래에서만 작동한다. 그것은 개인들이 독립적인 사고해야한다는 전제조건하에서다.서로 대화하는 집단에서는 집단사고가 발생할 수 있다.
즉, 상호 영향 때문에 잘못된 해결책이 도출 될 수 있다. 어떤 문제는 크라우드 소싱방식으 접근이 잘맞는다.
아마존 메커니컬 터크(Amazon Mechanical Turk)는 사람들에게 과업이 주어지는 온라인 크라우드 소싱 서비스다. 예컨데'행복하다' 혹은 '슬프다'와 같은 분류명을 붙일 필요가 있는 일련의 이미지들이 있다. 이 분류명들은 지도 학습 문제를 위한 훈련데이터세트의 기초를 사용 될수 있다. 사람들이 분류명을 붙인 이미지들로 알고리즘을 훈련 시킨 다음에 새로운 이미지에 자동적으로 뷴류명을 붙이도록 할 수 있다. 그러므로 메커니컬 터크의 중심구상은 인간이 기계를 돕기위해 상당히 반복적인 일을 처리하고, 그런다음 그기계가 인간을 돕기 위해 업무를 자동화 한다는 것이다.
자동화가 필요한 과업이 있는 어느 연구자라도 참여자들에게 보상을 제공하는 한 아마존 멬니컬 터크를 이요할 수 있다. 또한 누구나 그 크라우드 소싱 서비스에 가입하고, 그것의 일부가 될 수 있다. 어느정도의 품질관리 이슈가 있기는 하지만 말이다. 만약 사람들이 실제로 이미지를 살펴보지 않은채 매 두이미지 마다 행복하다 라는 분류먕을 붙였고, 그것을 연구자들이 알아차린다면 분류명을 붙이는데 다시는 사람을 활용하지 않을 것이다.
메커니컬 터크는 사람을 도와주는 기계에 사람이 도움준다는 점에서 Artificial artificial intelligence 의 사례다.
캐글 경진 대회 : 크라우드 소싱 방식으로 참가하여 데이터 과학자로서 풀어나갈수 있다.
단독 참가자 : 훈련 데이터 세트와 검증 세트를 주어진다.
서로간의 경쟁을 통해 뛰어난 정확도를 가진 모형을 만들기도 하지만 뛰어넘기 효과로 인해 효율은 좋지만 너무 복잡한 모형이 나와 터무니없이 복잡해 실제 생산에서는 쓸 수 없었다.
