У 1000 разів ефективніше. Або принаймні такий основний посил.
Компанія Unconventional AI представила нову модель Un-0, яка генерує зображення без традиційної цифрової тяжкості. Замість кремнієвих транзисторів, що перемикають біти, ця система використовує фізику. А саме – мережа фізичних осциляторів.
Компанія заснована колишніми провідними фахівцями з MIT, Stanford, Google та Databricks. Вони стверджують, що цей «надефективний» підхід може змінити наше уявлення про обчислювальну інфраструктуру. Подробиці було опубліковано 25 червня. Модель доступна з відкритим вихідним кодом GitHub.
Але що це насправді означає для вашого рахунку за електрику та майбутнього генеративного ІІ?
Фізика генерації зображень
Погляньмо, як ми прийшли до цього стану. Стандартні генератори зображень на базі ІІ, такі як DALL-E або Midjourney, покладаються на традиційні обчислення. Вони використовують мільярди крихітних перемикачів — транзисторів.
Ці перемикачі то вмикаються, то вимикаються.
Вони виконують складні математичні обчислення. Система починає з хаотичного шуму, намагається його усунути, пророкує відсутні пікселі та повторює цей процес від 20 до 100 разів. Кожне проходження покращує якість зображення. Це виснажлива математична праця.
Un-0 надходить інакше. Він спирається на модель Курамото.
Вона включає осцилятори — пристрої, що виробляють безперервні хвилі, подібно до метроному. Уявіть два маятники, з’єднані пружиною. Згодом вони синхронізуються, їх ритми вирівнюються.
Un-0 масштабує цей принцип. Тисячі осциляторів, пов’язаних разом.
Як Un-0 генерує зображення
Процес не заснований на коді у звичному значенні, він є динамічним.
Різні патерни кутів осциляторів представляють різні класи зображень: взуття, поїзди, коти.
Модель починається з великої групи випадкових осциляторів. Потім запроваджується менша «контрольна» група. Вона встановлюється у певний кут, виступаючи у ролі промпта.
Ці групи фізично пов’язані. Коли починається рух, контрольна група затягує інші синхронізацію. Згодом система стабілізується у певному патерні.
Тут відбувається знімок стану.
Кути всіх осциляторів перетворюються на сітку чисел. Декодер переводить цю сітку на кольорові пікселі. З’являється зображення. Не потрібне масове множення матриць. Лише фізична динаміка.
Енергоефективність – головна мета
Навіщо всі ці складнощі? Енергоспоживання.
Традиційні моделі ІІ ненажерливі. Вони перемикають транзистори трильйони разів на секунду. Кожне перемикання потребує енергії. Накопичена вартість цих витрат вражає уяву.
Навчання GPT-3 від OpenAI зажадало 1287 мегават-годин. Цього вистачить, щоб забезпечити середній будинок у Великій Британії електрикою на 475 років. Це лише одна модель, а ми навчаємо нові щодня.
Un-0 заявляє про значну економію енергії. Ідея проста: дати струму текти безперешкодно. Використовуйте замкнуті контури, де природний шлях створює коливання. Без примусового перемикання. Без фліпінгу. Просто потік.
Теоретична ефективність. Справжній потенціал.
Результати тестування
Команда протестувала Un-0 за стандартними бенчмарками: CIFAR-10 та ImageNet 64×64.
Як метрика використовувалася Fréchet Inception Distance (FID). Чим нижче значення, тим краща точність.
У тестах CIFAR-10:
* 1024 осцилятора показали результат 11.01.
* 4096 осциляторів показали результат 8.76.
ImageNet 64×64 виявився складнішим.
* 6656 осциляторів показали результат 8.41.
* 16384 осцилятора показали результат 6.74.
Ці результати можна порівняти з ранніми поколіннями GAN, такими як BigGAN або iDDPM. Але вони поки що не конкурують з DALL-E 3.
«Ми розглядаємо Un-0 як перспективний перший підхід», — зазначили в команді. Якість перекривається із моделями, створеними кілька років тому. Традиційні генератори поки що перевершують Un-0 за абсолютною якістю. Розрив зберігається, але напрямок руху новий.
Апаратна реальність
Є нюанс.
Наразі Un-0 працює на традиційному обладнанні. Це симуляція.
Мета – створити реальні чіпи на основі осциляторів. Апаратне забезпечення, яке використовує фізичні закони, замість бінарної логіки. Саме там мають виявитися переваги в ефективності. Поки що ми бачимо логіку, а не кінцевий продукт.
Команда виклала ваги моделі, скрипти навчання та дослідження абліації. Вони хочуть щоб інші перевірили її, провели симуляції.
«Ми розглядаємо Un-0 як перспективний перший proof-of-concept», — написали автори. “Він вказує на напрямок нового комп’ютера”.
Комп’ютер, який використовує фізику для досягнення енергоефективності.
Це кінець епохи транзисторів? Певно, не завтра. Але це початок. Початок іншого.
Код відкрито. Фізика надійна. Решта – завдання інженерії.
Побачимо, чи чіпи зможуть відповідати теорії.
