БАГАТОШАРОВА НЕЙРОМЕРЕЖА З ОПТИМІЗАЦІЙНИМ МЕТОДОМ НАВЧАННЯ AMSGrad

Анотація

В роботі з допомогою логістичної функції, що описує процес подвоєння кількості локальних мінімумів, та Фур’є спектрів функції похибки для багатошарової нейромережі, за умови застосування  оптимізаційного методу AMSGrad здійснена аналіз похибки навчання. Встановлено, що застосування оптимізаційного метода AMSGrad спричиняє появу блочної структури функції похибки в процесі навчання багатошарової нейромережі. Показано, що функція похибки навчання описується значною кількісті існуючих періодичностей, які виникають внаслідок перенавчанням окремо взятих нейронів. Збільшення кількості локальних мінімумів багатошарової нейромережі при підході до глобального мінімуму, зумовлене процесом перенавчанням нейронів, яке спричиняє появу періодичної поведінки функції похибки. Оскільки функція похибки нейромережі є симбіозом  від функції похибки кожного нейрону, то її поведінка буде характеризуватись спектром можливих періодичностей. В залежності від такого параметра як крок навчання alpha, функція похибки навчання нейромережі буде описувати як стаціонарним так і хаотичним режим навчання нейромережі. Стаціонарний режим навчання нейромережі описується  перенавчанням незначної кількості нейронів, а функція похибки є періодичною функцією і описується кількома періодичнстями. За цих умові функція похибки описується існуванням кількох локальних мінімумів. При збільшенні кроку навчання alpha, внаслідок подвоєння кількості локальних мінімумів нейромережа переходить в хаотичний режим навчання. Показано, що даному режимі навчання функція похибки нейромережі характеризується спектром існуючих періодичностей, а середній хвильовий вектор по такому ансамблю може приймати неспівмірне значення.

Встановлено, що контроль експоненціальної швидкості спаду середніх градієнтів і квадрату градієнта цільової функції похибки в оптимізаційному методі AMSGrad приводить до зменшення кількості нейронів що перенавчаються. Тобто корекціє швидкості навчання кожного нейрона, знімає виродженість даної системи шляхом запобігання процесам перенавчання нейронів. Особливо яскраво це проявляється при збільшенні кількості ітерацій і кількості прихованих шарів. Показано, що оптимізаційний метод AMSGrad в багатошарових нейромережах, за умови неоднорідності вхідного масиву, спричиняє появу блочної структури функції похибки навчання, яка засвідчує про неоднорідність процесу навчання нейронів в прихованих шарах. Збільшення вкладу квадрата градієнта проходить до вирівнювання процесу навчання нейронів, що супроводжується зменшенням кількості нейронів які перенавчаються.

Ключові слова: багатошарова нейронна мережа, метод AMSGrad, локальні мінімуми, блочна структура