Het is duizend keer efficiënter. Of dat is tenminste de toonhoogte.
Onconventionele AI heeft een nieuw model onthuld genaamd Un-0. Het genereert beelden zonder het typische digitale zware werk. In plaats van dat siliciumtransistors bits aan en uit zetten, maakt dit systeem gebruik van natuurkunde. Concreet een netwerk van fysieke oscillatoren.
Het bedrijf werd gelanceerd door voormalige zwaargewichten van MIT, Stanford, Google en Databricks. Ze beweren dat deze ‘superefficiënte’ aanpak de manier waarop we over computerinfrastructuur denken, zou kunnen veranderen. De details zijn op 25 juni verdwenen. Het model is open-source op GitHub.
Maar wat betekent dat eigenlijk voor uw energierekening? En voor de toekomst van generatieve AI?
De fysica van het genereren van afbeeldingen
Laten we eens kijken hoe we hier terecht zijn gekomen. Standaard AI-beeldgeneratoren zoals DALL-E of Midjourney vertrouwen op traditioneel computergebruik. Ze gebruiken miljarden kleine schakelaars. Transistoren.
Deze schakelaars schakelen. Op. Uit. Op. Uit.
Ze voeren complexe wiskunde uit. Het systeem begint met statische ruis. Het probeert dat geluid weg te trekken. Het voorspelt welke pixels ontbreken. Dit herhaalt hij 20 tot 100 keer. Elke pas verfijnt het beeld. Het is een sleur. Een wiskundige.
Un-0 doet iets anders. Het is gebaseerd op het Kuramoto-model.
Het gaat hierbij om oscillatoren. Apparaten die continue golven produceren. Als een metronoom. Stel je twee slingers voor, verbonden door een veer. Ze synchroniseren uiteindelijk. Hun ritmes komen overeen.
Un-0 schaalt dit op. Duizenden oscillatoren met elkaar verbonden.
Hoe Un-0 afbeeldingen genereert
Het proces is niet op code gebaseerd. Het is dynamisch.
Verschillende patronen van oscillatorhoeken vertegenwoordigen verschillende beeldklassen. Schoenen. Treinen. Katten.
Het model begint met een grote groep willekeurige oscillatoren. Vervolgens introduceert het een kleinere “controlegroep”. Deze groep is ingesteld op een specifieke hoek. Het fungeert als prompt.
Deze groepen zijn fysiek met elkaar verbonden. Wanneer de beweging begint, trekt de controlegroep de anderen op één lijn. Na verloop van tijd. Het systeem nestelt zich in een patroon.
Dan komt de momentopname.
De hoeken van alle oscillatoren worden een raster van getallen. Een decoder vertaalt dat raster naar kleurenpixels. Er verschijnt een afbeelding. Geen enorme matrixvermenigvuldiging vereist. Gewoon fysieke dynamiek.
Energie-efficiëntie is het hoofddoel
Waarom de moeite nemen? Energieverbruik.
Traditionele AI-modellen hebben honger. Ze schakelen transistors biljoenen keren per seconde om. Elke draai kost energie. De cumulatieve kosten zijn enorm.
Het trainen van de GPT-3 van OpenAI duurde 1.287 megawattuur. Genoeg om een gemiddeld Brits huis 475 jaar lang van stroom te voorzien. Dat is slechts één model. En we trainen elke dag meer.
Un-0 beweert aanzienlijk minder stroom te gebruiken. Het idee is eenvoudig. Laat de stroom onbelemmerd stromen. Gebruik gesloten lussen waarbij het natuurlijke pad de oscillatie creëert. Geen forceren. Geen omdraaien. Gewoon stromen.
Theoretische efficiëntie. Potentieel uit de echte wereld.
Benchmarkresultaten
Het team testte Un-0 tegen standaardbenchmarks. CIFAR-10 en ImageNet 64×64.
Ze gebruikten Fréchet Inception Distance (FID) als maatstaf. Lager is beter. Hogere nauwkeurigheid.
In de CIFAR-10-tests:
* 1.024 oscillatoren scoorden 11,01.
* 4.096 oscillatoren scoorden 8,76.
ImageNet 64×64 was moeilijker.
* 6.656 oscillatoren scoorden 8,41.
* 16.384 oscillatoren scoorden 6,74.
Deze scores zijn vergelijkbaar met eerdere generaties GAN’s. Zoals BigGAN of iDDPM. Ze verslaan DALL-E 3 niet. Nog niet.
“Wij beschouwen Un-0 als een veelbelovende eerste aanpak”, merkte het team op. De kwaliteit overlapt met gevestigde modellen van jaren geleden. Conventionele generatoren zijn nog krachtiger in absolute kwaliteit. De kloof blijft bestaan. Maar de richting is nieuw.
De hardwarerealiteitscontrole
Er is een vangst.
Op dit moment draait Un-0 op traditionele hardware. Het is een simulatie.
Het doel is om daadwerkelijke, op oscillatoren gebaseerde chips te bouwen. Hardware die gebruik maakt van fysieke wetten in plaats van binaire logica. Dat is waar de efficiëntiewinst zich zou manifesteren. Tot die tijd zien we de logica. Niet het eindproduct.
Het team heeft de modelgewichten vrijgegeven. De trainingsscripts. De ablatiestudies. Ze willen dat anderen het testen. Om simulaties uit te voeren.
“Wij beschouwen Un-0 als een veelbelovende eerste proof-of-concept”, schreven ze. “Het wijst in de richting van een nieuwe computer.”
Eén die natuurkunde exploiteert. Om energie-efficiëntie te bereiken.
Is dit het einde van het transistortijdperk? Waarschijnlijk niet morgen. Maar het is een begin. Een ander soort begin.
De code is geopend. De natuurkunde is goed. De rest is techniek.
We zullen zien of de chips de theorie kunnen bijhouden.
