На 1000 раз эффективнее. Или по крайней мере, таков основной посыл.
Компания Unconventional AI представила новую модель Un-0, которая генерирует изображения без традиционной цифровой «тяжести». Вместо кремниевых транзисторов, переключающих биты, эта система использует физику. А именно — сеть физических осцилляторов.
Компания основана бывшими ведущими специалистами из MIT, Stanford, Google и Databricks. Они утверждают, что этот «сверхэффективный» подход может изменить наше представление о вычислительной инфраструктуре. Подробности были опубликованы 25 июня. Модель доступна с открытым исходным кодом на GitHub.
Но что это на самом деле означает для вашего счета за электричество и будущего генеративного ИИ?
Физика генерации изображений
Давайте посмотрим, как мы пришли к этому состоянию. Стандартные генераторы изображений на базе ИИ, такие как DALL-E или Midjourney, полагаются на традиционные вычисления. Они используют миллиарды крошечных переключателей — транзисторов.
Эти переключатели то включаются, то выключаются.
Они выполняют сложные математические вычисления. Система начинает с хаотичного шума, пытается его устранить, предсказывает отсутствующие пиксели и повторяет этот процесс от 20 до 100 раз. Каждое прохождение улучшает качество изображения. Это изнурительный математический труд.
Un-0 поступает иначе. Он опирается на модель Курамото.
Она включает в себя осцилляторы — устройства, производящие непрерывные волны, подобно метроному. Представьте два маятника, соединенные пружиной. Со временем они синхронизируются, их ритмы выравниваются.
Un-0 масштабирует этот принцип. Тысячи осцилляторов, связанных вместе.
Как Un-0 генерирует изображения
Процесс не основан на коде в привычном смысле, он является динамическим.
Различные паттерны углов осцилляторов представляют разные классы изображений: обувь, поезда, кошки.
Модель начинает с большой группы случайных осцилляторов. Затем вводится меньшая «контрольная» группа. Она устанавливается в определенный угол, выступая в роли промпта.
Эти группы физически связаны. Когда начинается движение, контрольная группа затягивает остальные в синхронизацию. Со временем система стабилизируется в определенном паттерне.
Здесь происходит снимок состояния.
Углы всех осцилляторов преобразуются в сетку чисел. Декодер переводит эту сетку в цветовые пиксели. Появляется изображение. Не требуется массовое умножение матриц. Только физическая динамика.
Энергоэффективность — главная цель
Зачем все эти сложности? Энергопотребление.
Традиционные модели ИИ прожорливы. Они переключают транзисторы триллионы раз в секунду. Каждое переключение требует энергии. Накопленная стоимость этих затрат потрясает воображение.
Обучение GPT-3 от OpenAI потребовало 1287 мегаватт-часов. Этого хватит, чтобы обеспечить средний дом в Великобритании электричеством на 475 лет. Это только одна модель, а мы обучаем новые каждый день.
Un-0 заявляет о значительной экономии энергии. Идея проста: дать току течь беспрепятственно. Использовать замкнутые контуры, где естественный путь создает колебания. Без принудительного переключения. Без флиппинга. Просто поток.
Теоретическая эффективность. Реальный потенциал.
Результаты тестирования
Команда протестировала Un-0 по стандартным бенчмаркам: CIFAR-10 и ImageNet 64×64.
В качестве метрики использовалась Fréchet Inception Distance (FID). Чем ниже значение, тем лучше точность.
В тестах CIFAR-10:
* 1 024 осциллятора показали результат 11.01.
* 4 096 осцилляторов показали результат 8.76.
ImageNet 64×64 оказался сложнее.
* 6 656 осцилляторов показали результат 8.41.
* 16 384 осциллятора показали результат 6.74.
Эти результаты сопоставимы с ранними поколениями GAN, такими как BigGAN или iDDPM. Но они пока не конкурируют с DALL-E 3.
«Мы рассматриваем Un-0 как многообещающий первый подход», — отметили в команде. Качество перекрывается с моделями, созданными несколько лет назад. Традиционные генераторы пока превосходят Un-0 по абсолютному качеству. Разрыв сохраняется, но направление движения новое.
Аппаратная реальность
Есть нюанс.
На данный момент Un-0 работает на традиционном оборудовании. Это симуляция.
Цель — создать реальные чипы на основе осцилляторов. Аппаратное обеспечение, которое использует физические законы вместо бинарной логики. Именно там должны проявиться преимущества в эффективности. Пока же мы видим логику, а не конечный продукт.
Команда выложила веса модели, скрипты обучения и исследования аблиации. Они хотят, чтобы другие проверили её, провели симуляции.
«Мы рассматриваем Un-0 как многообещающий первый proof-of-concept», — написали авторы. «Он указывает на направление нового компьютера».
Компьютера, который использует физику для достижения энергоэффективности.
Это конец эры транзисторов? Вероятно, не завтра. Но это начало. Начало другого рода.
Код открыт. Физика надежна. Остальное — задача инженерии.
Увидим, смогут ли чипы соответствовать теории.
