ХАОТИЧНІ СТАНИ БАГАТОШАРОВОЇ НЕЙРОННОЇ МЕРЕЖІ

Serhiy Sveleba, I. Katerynchuk, I. Kunyo, I. Karpa, O. Semotyuk, Ya. Shmygelsky, N. Sveleba, V. Kunyo

Анотація


В роботі проведено дослідження впливу швидкості навчання η на процес навчання багатошарової нейронної мережі. Програма для багатошарової нейронної мережі була написана на мові Python. Швидкість навчання розглядалась, як постійна величина і визначалось її оптимальне значення, при якому спостерігається найкраще навчання. Для аналізу впливу швидкості навчання на процес навчання, використовувалась логістична функція, яка описує процес подвоєння частоти. Показано, що функція похибки навчання характеризується біфуркаційними процесами, які приводять до хаотичного стану при η>0,8. Визначено оптимальне значення швидкості навчання, яке визначає появу процесу подвоєння кількості локальних мінімумів. Збільшення кількості прихованих шарів та кількості нейронів в кожному шарі не приводить до кардинальної зміни діаграми логістичної функції, а отже і оптимальної величини швидкості навчання. Показано, що збільшення кількості прихованих шарів, як і кількості нейронів в них, при збільшенні швидкості навчання супроводжується появою хаотичного стану, який характеризується відсутністю процесу навчання. Використовуючи Фур’є розклад функції похибки, в роботі досліджено процес біфуркації в залежності від швидкості навчання, і на базі цих досліджень розроблена програма для визначення величини оптимальної швидкості навчання нейронної мережі.

Ключові слова: багатошарова нейронна мережа, оптимальна швидкість навчання, біфуркації, хаотичні стани.


Повний текст:

PDF

Посилання


[1] Руденко О. Г. Штучні нейронні мережі / О. Г. Руденко, Є. В. Бодянський. – Харків: Компанія СМІТ, 2006. – 404 с.

[2] Субботін С. О. Нейронні мережі: теорія та практика: навч. посіб. / С. О. Субботін. – Житомир: Вид. О.О. Євенок, 2020. – 184 с.

[3] Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теорія и практика. – М.: Горячая линия - Телеком, 2001. – 382 с.

[4] Субботін С. О. Нейронні мережі: навчальний посібник / С. О. Субботін, А.О. Олійник; під заг. ред. проф. С.О. Субботіна. – Запоріжжя: ЗНТУ, 2014. – 132 с.

[5] Yurij Olenych, Sergiy Sveleba, Ivan Katerynchuk, Ivan Kunio, Ivan Karpa Features of deep studyneural network / [Електронний ресурс]. – Режим доступу: https://openreviewhub.org/lea/paper-2019/features-deep-study-neural-network#

[6] Информационная энтропия хаоса / Хабр (habr.com))

[7] Кузнецов А.П. Динамические системы и бифуркации – Саратов: ООО Издательский центр «Наука», 2015. – 168 с.

[8] Хазова Ю.А. Элементы теории бифуркаций. Часть 1. Динамические системы: учебно-методическое пособие / Ю.А. Хазова – ФГАОУ ВО «Крымский федеральный университет имени В. И. Вернадского». – Симферополь, 2019. – 55 с.




DOI: http://dx.doi.org/10.30970/eli.16.3

Посилання

  • Поки немає зовнішніх посилань.