Навчання глибоких моделей: алгоритми оптимiзацiї як
ключ до ефективностi

Myroslava Stopets, Yurii Shcherbyna

Анотація


Через надзвичайно велику кількість даних, які ми опрацьовуємо процес побудови та навчання моделі є дуже затратним і потребує великих обчилювальних ресурсів. Саме тому постає проблема як можна оптимізувати даний поцес від якого значною мірою залежить результат глибокого навчання. Ефективні алгоритми оптимізації можуть значно покращити здатність моделі до навчання, дозволяючи їй вловлювати складні закономірності, видобувати змістовні репрезентації та робити точні прогнози.

В межах цієї роботи було досліджено проблему оптимізації в навчанні глибоких моделей. Описано переваги та недоліки різних підходів до процесу оптимізації навчання. На прикладі стандартного набору даних MNIST було перевірено ефетивність таких стратегій оптимізації: алгоритми оптимізації з адитивною швидкістю навчання, наближені методи другого порядку, базові алгоритми оптимізації. Як результат перевірки проведено висновки щодо того, як різні оптимізатори впливають на зменшення похибки передбачень та як обирати алгоритм оптимізації в залежності від задачі, яку потрібно вирішити.

Ключові слова: алгоритми опимізації, глибокі моделі, навчання моделей, ефективність мережі, наближені методи другого порядку, адитивна швидкість навчання.


Повний текст:

PDF

Посилання


Ian Goodfellow, Aaron Courville, Yoshua Bengio. Deep Learning. - 2015.

Mykel J. Kochenderfer,Tim A. Wheeler. Algorithms for Optimization // Massachusetts Institute of Technology - 2019

Quoc V., Jiquan Ngiam, Adam Coates, Abhik Lahiri, Bobby Prochnow, Andrew Y. // On optimization methods for deep learning // Computer Science Department,Stanford University, Stanford, CA 94305, USA - 2011


Goodfellow, I. J., Vinyals, O., and Saxe, A. M. Qualitatively characterizing neural network optimization problems. In International Conference on Learning Representations. - 2015.

Lili Jiang. A Visual Explanation of Gradient Descent Methods (Momentum, Ada-Grad, RMSProp, Adam) [Електронний ресурс] // Jiang Lili - Jun, 2020. - Режим доступу:https://towardsdatascience.com/a-visual-explanation-of-gradient-descent-methods-momentum-adagrad-rmsprop-adam-f898b102325c

Hong Hui Tan, King Hann Lim. Review of second-order optimization techniques in artificial neural networks backpropagation. // Department of Electrical and Computer Engineering - Curtin University Malaysia // IOP Conf. Series: Materials Science and Engineering. - 2019




DOI: http://dx.doi.org/10.30970/vam.2024.33.12029

Посилання

  • Поки немає зовнішніх посилань.