임현교, 김주봉, 권도형, 한연희,

Journal of Advanced Technology Research, Vol. 2, No. 1, pp. 6-14, 6월. 2017
10.11111/JATR.2017.2.1.002, Full Text:
Keywords: Machine-Learning, Deep Learning, Convolution Neural Network, Neural Network, Optimizer
Abstract

최근 머신 러닝에 대한 관심이 높아짐에 따라 딥 러닝의 Neural Network에 대한 관심이 높아지고 있다. 특 히, 다양한 Neural Network가 등장 하면서 네트워크에서 사용되는 네트워크 파라미터에 대한 최적화 알고 리즘의 관심이 증가하고 있다. 또한, 다양한 Neural Network 가 등장함에 따라 네트워크 파라미터를 최적화 시키는 알고리즘도 나타나고 있다. 하지만 새로운 Optimizer들이 모든 Neural Network에 최적화 되어 있지 않기 때문에 학습 데이터의 입력 값과 네트워크 파라미터 값에 따라 학습 결과 값이 달라지는 문제가 있다. 따라서, 본 논문에서는 loss 함수의 값을 최소화 시키기 위한 네트워크 파라미터의 최적화 알고리즘들을 소개 하며, 이를 위하여 현재 자주 사용되고 있는 Gradient Descent, Momentum, Adagrad, Adadelta, Adam Optimizer들에 따라 MNIST의 CNN의 학습 결과의 정확도를 비교 평가 하였다.

Statistics
Cite this article