1000 razy skuteczniejszy. A przynajmniej taki jest podstawowy przekaz.
Niekonwencjonalna sztuczna inteligencja wprowadziła nowy model Un-0, który generuje obrazy bez tradycyjnej cyfrowej ciężkości. Zamiast tranzystorów krzemowych przełączających bity, system ten wykorzystuje fizykę. Mianowicie sieć oscylatorów fizycznych.
Firma została założona przez byłych czołowych ekspertów z MIT, Stanford, Google i Databricks. Twierdzą, że to „ultrawydajne” podejście może zmienić sposób, w jaki myślimy o infrastrukturze obliczeniowej. Szczegóły opublikowano 25 czerwca. Model jest dostępny jako open source w serwisie GitHub.
Ale co to naprawdę oznacza dla rachunków za prąd i przyszłości generatywnej sztucznej inteligencji?
Fizyka generowania obrazu
Zobaczmy, jak dotarliśmy do tego punktu. Standardowe generatory obrazów AI, takie jak DALL-E czy Midjourney, opierają się na tradycyjnym przetwarzaniu. Używają miliardów maleńkich przełączników zwanych tranzystorami.
Te przełączniki włączają się i wyłączają.
Wykonują złożone obliczenia matematyczne. System zaczyna od losowego szumu, stara się go wyeliminować, przewiduje brakujące piksele i powtarza proces od 20 do 100 razy. Każde przejście poprawia jakość obrazu. To wyczerpująca praca matematyczna.
Un-0 robi rzeczy inaczej. Opiera się na modelu Kuramoto.
Obejmuje oscylatory – urządzenia wytwarzające fale ciągłe, takie jak metronom. Wyobraź sobie dwa wahadła połączone sprężyną. Z biegiem czasu synchronizują się, ich rytmy się wyrównują.
Un-0 skaluje tę zasadę. Tysiące oscylatorów połączonych ze sobą.
Jak Un-0 generuje obrazy
Proces nie opiera się na kodzie w tradycyjnym sensie, jest dynamiczny.
Różne wzory kątów oscylatora reprezentują różne klasy obrazów: buty, pociągi, koty.
Model zaczyna się od dużej grupy losowych oscylatorów. Następnie wprowadzana jest mniejsza grupa „kontrolna”. Jest instalowany w określonym rogu i działa jako podpowiedź.
Grupy te są fizycznie połączone. Kiedy rozpoczyna się ruch, grupa kontrolna synchronizuje pozostałych. Z biegiem czasu system stabilizuje się według określonego schematu.
W tym miejscu następuje migawka stanu.
Kąty wszystkich oscylatorów są przekształcane w siatkę liczb. Dekoder tłumaczy tę siatkę na kolorowe piksele. Pojawia się obraz. Nie jest wymagane masowe mnożenie macierzy. Tylko dynamika fizyczna.
Efektywność energetyczna jest głównym celem
Po co ta cała złożoność? Zużycie energii.
Tradycyjne modele sztucznej inteligencji są energochłonne. Przełączają tranzystory biliony razy na sekundę. Każdy przełącznik wymaga energii. Skumulowany koszt tych kosztów jest oszałamiający.
Szkolenie GPT-3 OpenAI wymagało 1287 megawatogodzin. To wystarczy, aby zasilać przeciętny dom w Wielkiej Brytanii przez 475 lat. To tylko jeden model i codziennie szkolimy nowych.
Un-0 zapewnia znaczne oszczędności energii. Pomysł jest prosty: pozwolić prądowi płynąć bez przeszkód. Używaj zamkniętych pętli, w których naturalna ścieżka wytwarza wibracje. Żadnego wymuszonego przełączania. Żadnego przerzucania. Po prostu płynąć.
Teoretyczna skuteczność. Prawdziwy potencjał.
Wyniki testu
Zespół przetestował Un-0 w porównaniu ze standardowymi testami porównawczymi: CIFAR-10 i ImageNet 64×64.
Zastosowaną metryką była Odległość wejściowa Frécheta (FID). Im niższa wartość, tym lepsza dokładność.
W testach CIFAR-10:
* 1024 oscylatory pokazały wynik 11,01.
* 4096 oscylatorów dało wynik 8,76.
ImageNet 64×64 okazał się trudniejszy.
* 6656 oscylatorów dało wynik 8,41.
* 16 384 oscylatorów dało wynik 6,74.
Wyniki te są porównywalne z wynikami wcześniejszych generacji sieci GAN, takich jak BigGAN czy iDDPM. Ale nie konkurują jeszcze z DALL-E 3.
„Uważamy, że Un-0 jest obiecującym pierwszym podejściem” – zauważył zespół. Jakość porównywalna z modelami powstałymi kilka lat temu. Tradycyjne generatory nadal przewyższają Un-0 pod względem absolutnej jakości. Luka pozostaje, ale kierunek ruchu jest nowy.
Rzeczywistość sprzętowa
Jest niuans.
W tej chwili Un-0 działa na tradycyjnym sprzęcie. To jest symulacja.
Celem jest stworzenie prawdziwych chipów opartych na oscylatorach. Sprzęt wykorzystujący prawa fizyczne zamiast logiki binarnej. Tutaj powinny pojawić się korzyści w zakresie efektywności. Na razie widzimy logikę, a nie produkt końcowy.
Zespół opublikował masy modeli, scenariusze szkoleniowe i badania ablacyjne. Chcą, żeby inni to przetestowali, przeprowadzili symulacje.
„Postrzegamy Un-0 jako obiecujący pierwszy dowód koncepcji” – napisali autorzy. „Wskazuje kierunek nowego komputera”.
Komputer wykorzystujący fizykę do osiągnięcia efektywności energetycznej.
Czy to koniec ery tranzystorów? Prawdopodobnie nie jutro. Ale to jest początek. Inny rodzaj początku.
Kod jest otwarty. Fizyka jest niezawodna. Reszta to zadanie inżynieryjne.
Zobaczymy, czy chipy spełnią teorię.
