ИИ-архитектор создал 105 нейросетей эффективнее человеческих

Система ASI-Arch провела 1773 эксперимента и спроектировала нейросети, превзошедшие по эффективности архитектуру Mamba2. Лучший вариант модели показал прирост в 0,97 процентного пункта, самостоятельно оптимизировав механизмы линейного внимания для обработки последовательностей данных без участия инженеров на этапе генерации идей.

Факты и Новости·10 октября 2026·прочт.: 195

Процесс разработки занял 20 000 часов работы графических процессоров. Система действовала поэтапно: сначала отсеивала неудачные решения в малом масштабе, затем переходила к тестированию на моделях с 340 млн параметров. Из 1350 прошедших первый фильтр вариантов 105 показали выдающиеся результаты. Финальное тестирование на моделях с 1,3 млрд параметров подтвердило преимущество ИИ-архитектур на 16 различных наборах данных.

Ключевым инженерным приемом, который «изобрела» ASI-Arch, стало объединение нескольких путей обработки информации с динамическим выбором оптимального маршрута для конкретных данных. Это решение позволило эффективнее балансировать между локальным контекстом и дальними зависимостями. Применение найденных принципов к существующим архитектурам, таким как Mamba2, GLA и HGRN2, также привело к заметному улучшению их показателей. Этот опыт подтверждает способность ИИ самостоятельно проектировать устройство нейронных сетей, накапливая знания о наиболее эффективных конфигурациях для обработки последовательностей.