ВПЛИВ ВЕЛИЧИНИ ТА ЙМОВІРНОСТІ МУТАЦІЇ НА НАВЧАННЯ ДЛЯ ТРАДИЦІЙНОГО ГЕНЕТИЧНОГО АЛГОРИТМУ ТА NEAT. СТРАТЕГІЯ ЗМІНИ ПАРАМЕТРІВ МУТАЦІЇ ПРИ ВИЯВЛЕННІ СТАГНАЦІЇ ПРИСТОСОВАНОСТІ

Анотація

На даний момент існує значна кількість методів нейроеволюції. В той час, коли генетичним алгоритмам доводиться конкурувати із іншими методами тренування нейромереж, перші почали демонструвати свої переваги з розвитком обчислювальної техніки і добре себе проявили у задачах, з якими більш традиційні методи, такі як градієнтний спуск, не можуть застосовуватись. Це говорить про доцільність подальшого розвитку цього напрямку. Окрім розробки нових методів нейроеволюції, досліджуються вже існуючі. Різна конфігурація параметрів навчання може мати значний вплив на результат, і окрім вивчення впливу цих параметрів також розроблюються різні стратегії підбору цих параметрів або навіть їх автоматичної зміни під час навчання.

Метою даної роботи є дослідити вплив параметрів на перебіг навчання двох популярних методів нейроеволюції: традиційного генетичного алгоритму зі статичною топологією нейромережі та методу нейроеволюції аугментуючих топологій – NEAT. В першому методі досліджуваним параметром буде величина мутації, а для NEAT – величина мутації і ймовірності структурних мутацій. Окрім того, для обох методів запропоновано стратегію динамічної зміни досліджуваних параметрів, які повинні вирішити проблему потрапляння в локальний екстремум, що загрожує отриманню не найкращих можливих результатів навчання. Всі досліди проводились на одній прикладній задачі з керуванням польоту ракети від Землі до Місяця, яка вимагає значної точності тренованих ваг нейромережі для успішності навчання. Результати навчання аналізувались за такими показниками: середня пристосованість в поколінні, найкраща пристосованість в поколінні, відсоток успішних особин в поколінні. Проведені досліди продемонстрували, що при наявності вимог до високих показників точності, необхідним є малі значення величини мутації для традиційних генетичних алгоритмів, але це створює ризики потрапляння в локальний екстремум. Досліди NEAT показали, що вимоги задачі до значної точності не дозволяли досягти найкращих результатів. Запропонована стратегія зі зменшення величини мутації та ймовірності мутацій змогла зменшити ризик cходження до субоптимального рішення в обох методах, тому такий підхід вцілому зміг себе виправдати. Подальші дослідження цієї стратегії разом із порівнянням із іншими існуючими підходами можуть проявити й інші свої переваги, і тому показують доцільність продовження пошуків.

Ключові слова: генетичні алгоритми, нейроеволюція, штучні нейронні мережі, NEAT