콜모고로프(Kolmogorov)는 중첩 정리(superposition theorem)를 통해 n개의 입력 변수와 1개의 출력 변수가 주어진 임의의 함수를 적절한 선형 비선형 변환을 통해 중간계층에 2n+1개의 변수만을 갖는 3계층 구조로 표현하는 것이 가능하다는 것을 보였다. 이런 측면에서 본다면 계층이 더 추가된 다계층 인공신경망이 특정 모델을 학습하기에 더 적합한 것인지, 혹은 임의의 함수를 학습할 수 있는지 등의 흥미로운 질문이 남아있다고 할 수 있다.더구나 딥러닝이 이항 지수함수를 가정하고, 서로 인접한 계층 간의 관계만을 …

최근 개발된 알고리즘들이 주목하고 있는 공통적인 내용은 표현력이 풍부한 다계층 구조에서 역전파법의 과잉적합을 피하면서 적절한 희소성 표현(Sparse Representation)을 찾는 것이다. 최근 보고에 따르면 구글은 순환 인공신경망(Recurrent Neural Network)을 딥러닝 알고리즘으로 학습시켜 자동 언어 번역기를 실험 중이다. 딥러닝의 발전이 사물인식과 음성인식 등을 넘어 머신러닝의 실용적 발전을 어디까지 이끌어 갈지 기대된다.머신러닝 알고리즘은 데이터를 표현하는 모델과 분리해 생각하기 어렵다. 현재 제한된 볼즈……

깁스 표본법이라는 과정에서 시간을 많이 요하게 되는데, 토론토 연구팀은 실제 데이터의 경우에는 여러 반복을 수행하는 깁스 표본법을 한 단계의 반복으로 줄여 수행하는 방법(Contrastive Divergence)이 계산도 빠르면서 정확도에 큰 영향을 주지 않는다는 것을 실증적으로 보였다. 이를 통해 많은 양의 데이터를 쉽게 선행 학습 할 수 있도록 해 딥 네트워크의 성공을 이끌었다. 더불어 모델이 학습시키는 데이터에 의존적이 되는 과잉적합(overfitting)을 해결하기 위해 주어진 확률로 네트워크에 있는 변수들을 생략하는 방법인……

기존에 존재하는 모델들을 뛰어 넘으며 인공신경망 모델과 알고리즘의 새로운 연구를 이끌고 있다. 다층 제한 볼즈만 기계(Rectricted Boltzmann Machine)의 학습 알고리즘은 기본적으로는 전통적인 경사 하강법을 통해 이뤄진다. 구체적으로 살펴보면, 주어진 데이터를 제한 볼즈만 기계로 표현할 때의 확률을 매개변수로 미분해 확률을 증가시키는 방식으로 매개변수를 수정해 나가는 방법이다.…

인공신경망의 학습 알고리즘은 한 계층을 학습하는 퍼셉트론(Perceptron) 알고리즘과 계층 간 정보(오류)를 전달하는 역전파법(Backpropagation)이 널리 알려졌으나, 기존의 역전파법이 다계층의 네트워크에서는 다계층을 통해 정보를 전달하는 과정에서 소멸돼 정보를 효과적으로 작동하지 못해 복잡한 분류작업에는 한동안 사용되지 못하고 있었다. 2000년대 중반 토론토대 힌튼교수 연구팀 등의 활발한 연구결과에 힘입어 다층 인공신경망의 초기 상태를 제한된 볼즈만 기계를 이용해 특정 데이터를 설명할 수 있도록 선행학습(pre-tr……

효율적인 학습이 가능한 모델과 알고리즘이 있음을 보였다. PAC 러닝에 대한 연구는 마이클 컨스(Michael Kearns)에 의해 약한(정확도 α가 50%보다 크지만 정확하지는 않은) 학습기를 통해 강한(더 정확도가 높은) 학습기를 학습할 수 있는지에 대한 질문으로 이어졌으며, 오아브 프로인트(Yoav Freund)와 로버트 샤피르(Robert Schapire)에 의해 에이다부스트(Adaboost)가 고안되는 계기가 됐다. 에이다부스트와 같은 부스팅 알고리즘은 이론적으로도 학습이 진행됨에 따라 정확도가 점차적으로 증가하는 것을 보……