깁스 표본법이라는 과정에서 시간을 많이 요하게 되는데, 토론토 연구팀은 실제 데이터의 경우에는 여러 반복을 수행하는 깁스 표본법을 한 단계의 반복으로 줄여 수행하는 방법(Contrastive Divergence)이 계산도 빠르면서 정확도에 큰 영향을 주지 않는다는 것을 실증적으로 보였다. 이를 통해 많은 양의 데이터를 쉽게 선행 학습 할 수 있도록 해 딥 네트워크의 성공을 이끌었다. 더불어 모델이 학습시키는 데이터에 의존적이 되는 과잉적합(overfitting)을 해결하기 위해 주어진 확률로 네트워크에 있는 변수들을 생략하는 방법인 드롭아웃(Drop out)을 제안해 최근 이미지 인식 분야 및 음성인식 성능을 다시 한 번 크게 향상시켰다.