ОСОБЛИВОСТІ ЗАЛЕЖНОСТІ ПОХИБКИ НАВЧАННЯ БАГАТОШАРОВІ НЕЙРОННІ МЕРЕЖІ ВІД ФУНКЦІЇ АКТИВАЦІЇ В ПРОЦЕСІ РОЗПІЗНАВАННЯ ДРУКОВАНИХ ЦИФР

Анотація

В роботі проведено дослідження процесу навчання при розпізнаванні друкованих цифр залежно від виду функції активації. Дослідження впливу виду функції активації, кількість ітерацій на процес навчання нейронної системи здійснювався з використанням аналізу Фур’є спектрів функції похибки навчання та діаграм розгалуження. З цією метою в середовищі Phyton розроблена програма для багатошарової нейронної мережі, яка передбачає задання кількості прихованих шарів і кількості нейронів в них, та швидкості навчання Швидкість навчання розглядалась, як постійна величина і визначалось її оптимальне значення, при якому спостерігається найкраще навчання. Для аналізу впливу швидкості навчання на процес навчання, використовувалась логістична функція, яка описує процес подвоєння частоти. Показано, що функція похибки навчання характеризується біфуркаційними процесами, які приводять до хаотичного стану при η>0,8. Визначено оптимальне значення швидкості навчання, яке визначає появу процесу подвоєння кількості локальних мінімумів. Встановлено, що сигмоїдальна функція активації (в порівнянні з функціями активації ReLU та гіперболічний тангенс) найкраще задовольняє процес навчання трьох шарової нейронної мережі для розпізнавання цифр заданих масивом 4х7 нулів і одиниць. Порівняно з іншими функціями активації для неї спостерігається незначна зміна похибки навчання при переході від однієї цифри до іншої. Показано, що збільшення кількості прихованих шарів не приводить до різкого збільшення похибки навчання. Збільшення кількості ітерацій навчання супроводжується появою періодичних залежностей величини логістичної функції від швидкості навчання, період яких є змінною величиною від кількості ітерацій та швидкості навчання. Використовуючи Фур’є спектри функції похибки від величини швидкості навчання, можна стверджувати, що збільшення кількості ітерацій спричиняє збільшення кількості гармонік, які в кінцевому випадку приводять до появи хаотичного стану нейронної мережі.

Ключові слова: Багатошарова нейронна мережа, функція активації,  оптимальна швидкість навчання, розпізнавання цифр.