МОДУЛЬНОЕ ПРОСТРАНСТВО ПОИСКА ДЛЯ АВТОМАТИЗИРОВАННОГО ПРОЭКТИРОВАНИЯ НЕЙРОННОЙ АРХИТЕКТУРЫ

Аннотация

Аннотация. За прошедшие годы исследования подтвердили, что автоматическое машинное
обучение и поиск архитектуры нейронной сети являются неизбежным будущим для задач
распознавания образов. Кроме того, одним из важнейших аспектов любого автоматизированного
поиска оказалось предопределенное пространство поиска. Как показали многие исследования,
технология модуляризации может упростить основное пространство поиска, способствуя успешному
повторному использованию блоков. В связи с этим, представленная научная статья направлена на
исследование использования модуляризации в автоматизированном машинном обучении. В данной
статье мы предлагаем и оцениваем модульное пространство, основанное на существенном
ограничении предопределенных блоков для поиска архитектуры. Для того, чтобы сделать
пространство поиска существенным, мы предоставили все модули пространства в виде
многоотраслевой сети. Поэтому каждая архитектура внутри пространства поиска может быть
однозначно описана отдельным вектором. В нашем случае модуль представляет предопределенное
количество параметризованных слоев с информацией об их соотношениях. Мы применили
предложенное модульное пространство к генетическому алгоритму и оценили его на наборах данных
CIFAR-10 и CIFAR-100 на основе модулей из эталонного теста NAS-Bench-201. Чтобы рассмотреть
проблему сложности пространства поиска, мы случайным образом выбрали двадцать пять модулей и
включили их в базу данных. В целом, наш подход позволил получить конкурентные архитектуры в
среднем за 8 GPU часов. Окончательная модель достигла валидационной точности 89,1% и 73,2% на
наборах данных CIFAR-10 и CIFAR-100 соответственно. Процесс обучения потребовал чуть меньше
GPU-часов по сравнению с другими подходами, а полученная сеть содержала меньше параметров,
сигнализируя о легкости модели. Такой результат может показать значительный потенциал сложных
подходов к ранжированию. Проведенные эксперименты также показали, что простое и прозрачное
пространство поиска может быть применим к сложной задаче поиска архитектур нейронной сети.
Имеет смысл провести дальнейшие исследования для изучения того, каким образом
предопределенная база знаний модулей может способствовать модульному пространству поиска.