인공신경망의 학습 알고리즘은 한 계층을 학습하는 퍼셉트론(Perceptron) 알고리즘과 계층 간 정보(오류)를 전달하는 역전파법(Backpropagation)이 널리 알려졌으나, 기존의 역전파법이 다계층의 네트워크에서는 다계층을 통해 정보를 전달하는 과정에서 소멸돼 정보를 효과적으로 작동하지 못해 복잡한 분류작업에는 한동안 사용되지 못하고 있었다. 2000년대 중반 토론토대 힌튼교수 연구팀 등의 활발한 연구결과에 힘입어 다층 인공신경망의 초기 상태를 제한된 볼즈만 기계를 이용해 특정 데이터를 설명할 수 있도록 선행학습(pre-train) 할 수 있는 방법이 고안됐다.