МОДУЛЬНИЙ ПРОСТІР ПОШУКУ ДЛЯ АВТОМАТИЗОВАНОГО ПРОЕКТУВАННЯ НЕЙРОННОЇ АРХІТЕКТУРИ

Анотація

Анотація. За минулі роки дослідження підтвердили, що автоматизоване машинне навчання та
пошук архітектури нейронної мережі - це неминуче майбутнє для завдань розпізнавання зображень.
Крім того, одним із вирішальних аспектів будь-якого автоматизованого пошуку виявився попередньо
визначений простір пошуку. Як показали багато обчислювальних досліджень, техніка модуляризації
здатна спростити базовий простір пошуку, сприяючи повторному використанню успішних блоків. У
зв’язку з цим, ця наукова стаття має на меті дослідити використання модуляризації в
автоматизованому машинному навчанні. У цій статті ми пропонуємо та оцінюємо модульований
простір, з огляду на істотне обмеження попередньо визначених блоків для пошуку архітектури. Щоб
зробити простір пошуку істотним, ми показали всі модулі простору, як багато секторальні мережі. Тому
кожну архітектуру в просторі пошуку однозначно описано вектором. У нашому випадку модуль є заздалегідь заданою кількістю параметризованих шарів з інформацією про їхні взаємозв’язки. Ми
застосували запропонований модульний простір до генетичного алгоритму та оцінили його на наборах
даних CIFAR-10 та CIFAR-100 на основі модулів з еталонного тесту NAS-Bench-201. Щоб розглянути
складність простору пошуку, ми випадковим чином відібрали двадцять п’ять модулів та включили їх у
базу даних. Загалом, наш підхід знайшов конкурентні архітектури в середньому за 8 GPU годин.
Кінцева модель досягла точності перевірки 89,1 % та 73,2 % на наборах даних CIFAR-10 та CIFAR-100
відповідно. Процес навчання зайняв дещо меншу кількість графічних годин порівняно з іншими
підходами, а отримана мережа містила менше параметрів, сигналізуючи про легкість моделі. Такий
результат вказує на значний потенціал складних підходів до ранжування. Проведені експерименти
також виявили, що простий і зрозумілий простір пошуку може бути застосований до складного
завдання пошуку нейронної архітектури. Має сенс провести подальші дослідження, щоб вивчити, як
попередньо визначена база знань модулів може посприяти модульному простору пошуку.