АЛГОРИТМ ОПТИМІЗАЦІЇ AMSGrad І ХАОС В БАГАТОШАРОВИХ НЕЙРОННИХ МЕРЕЖАХ ІЗ СТОХАСТИЧНИМ ГРАДІЄНТНИМ СПУСКОМ

Serhiy Sveleba, I. Katerynchuk, I. Kuno, O. Semotyuk, Ya. Shmygelsky, S. Velgosh, A. Kopach, V. Kuno

Анотація


В роботі з допомогою логістичної функції, яка описує процес подвоєння, та Фур’є спектру функції похибки було проведено тестування стохастичного методу оптимізації AMSGrad.

Реалізація алгоритму оптимізації градієнтного спуску за допомогою AMSGrad було здійснено для багатошарової нейронної мережі з прихованими шарами. В середовищі Python була написана програма розпізнавання друкованих цифр. Масив кожної цифри складався з набору «0» і «1» розміром 4х7. Вибірка кожної цифри містила набір з 5 можливих спотворень цифри і набір з 3 масивів які не відповідали жодній із цифр. Нейронна мережа містила 3 прихованих шари з 28 нейронами в кожному шарі.

Встановлено що гіперпараметр beta1, що описує вклад лінійного градієнта функції похибки, пов'язаний із подвоєнням кількості локальних і глобальних мінімумів функції похибки в процесі перенавчанні нейронної мережі. Гіперпараметр beta2, що описує вклад квадрата градієнта функції похибки, пов'язаний із утворенням блочної структури, яка блокує процес подвоєння кількості локальних мінімумів.

Ключові слова: оптимізаційні методи, функція похибки, AMSGrad, швидкість навчання, діаграма розгалуження.


Повний текст:

PDF

Посилання


  1. Sashank J. On the Convergence of Adam and Beyond /Sashank J. Reddi, Satyen Kale, Sanjiv Kumar. – Published as a conference paper at ICLR 2018. – 2019. – P. 1-23. https://doi.org/10.48550/arXiv.1904.09237
  2. Jason Brownlee. Optimization for Machine Learning. Finding Function Optima with Python. – The MIT Press. – 2021. – 403p.
  3. Diederik P. Adam: a method for stochastic optimization / Diederik P. Kingma, Jimmy Lei Ba – Published as a conference paper at ICLR 2015. – 2015. – P. 1-15. https://doi.org/10.48550/arXiv.1412.6980
  4. Yu. Taranenko Information entropy of chaos URL: https://habr.com/ru/post/447874/
  5. Свелеба С. Xаотичні стани багатошарової нейронної мережі / С. Свелеба, І. Катеринчук, І. Куньо, І. Карпа, О. Семотюк, Я. Шмигельський, Н. Свелеба, В. Куньо // Electronics and information technologies. – 2021. – Issue 13. – P. 96–107.
  6. Sveleba S. Specifics of the learning error dependence of multilayered neural networks from the activation function during the process of printed digits identification / S. Sveleba, I. Katerynchuk, I. Kuno, O. Semotiuk, Ya. Shmyhelskyy, N. Sveleba // Electronics and Information Technologies. – 2022. – Issue 17. – P. 36–53.




DOI: http://dx.doi.org/10.30970/eli.21.7

Посилання

  • Поки немає зовнішніх посилань.