Es ist 1.000-mal effizienter. Zumindest ist das der Ton.
Unconventional AI hat ein neues Modell namens Un-0 vorgestellt. Es erzeugt Bilder ohne den typischen digitalen Aufwand. Anstelle von Siliziumtransistoren, die Bits ein- und ausschalten, nutzt dieses System die Physik. Konkret handelt es sich um ein Netzwerk physikalischer Oszillatoren.
Das Unternehmen wurde von ehemaligen Schwergewichten vom MIT, Stanford, Google und Databricks gegründet. Sie behaupten, dass dieser „supereffiziente“ Ansatz unsere Einstellung zur Computerinfrastruktur verändern könnte. Die Details wurden am 25. Juni veröffentlicht. Die Version ist Open Source auf GitHub.
Doch was bedeutet das eigentlich für Ihre Energierechnung? Und für die Zukunft der generativen KI?
Die Physik der Bilderzeugung
Schauen wir uns an, wie wir hierher gekommen sind. Standard-KI-Bildgeneratoren wie DALL-E oder Midjourney basieren auf traditioneller Datenverarbeitung. Sie nutzen Milliarden winziger Schalter. Transistoren.
Diese Schalter schalten um. An. Aus. An. Aus.
Sie führen komplexe Mathematik durch. Das System startet mit statischem Rauschen. Es versucht, dieses Rauschen zu subtrahieren. Es sagt voraus, welche Pixel fehlen. Dies wird 20 bis 100 Mal wiederholt. Jeder Durchgang verfeinert das Bild. Es ist ein Kinderspiel. Eine mathematische.
Un-0 macht etwas anderes. Es basiert auf dem Kuramoto-Modell.
Dabei handelt es sich um Oszillatoren. Geräte, die kontinuierliche Wellen erzeugen. Wie ein Metronom. Stellen Sie sich zwei Pendel vor, die durch eine Feder verbunden sind. Sie synchronisieren sich schließlich. Ihre Rhythmen stimmen überein.
Un-0 vergrößert dies. Tausende miteinander verbundene Oszillatoren.
Wie Un-0 Bilder generiert
Der Prozess ist nicht codebasiert. Es ist dynamisch.
Unterschiedliche Oszillatorwinkelmuster repräsentieren unterschiedliche Bildklassen. Schuhe. Züge. Katzen.
Das Modell beginnt mit einer großen Gruppe von Zufallsoszillatoren. Dann wird eine kleinere „Kontrollgruppe“ eingeführt. Diese Gruppe ist auf einen bestimmten Winkel eingestellt. Es dient als Aufforderung.
Diese Gruppen sind physisch miteinander verbunden. Wenn Bewegung beginnt, bringt die Kontrollgruppe die anderen in Einklang. Im Laufe der Zeit. Das System richtet sich nach einem Muster.
Dann kommt der Schnappschuss.
Die Winkel aller Oszillatoren werden zu einem Zahlengitter. Ein Decoder übersetzt dieses Raster in Farbpixel. Ein Bild erscheint. Keine massive Matrixmultiplikation erforderlich. Nur physikalische Dynamik.
Energieeffizienz ist das Hauptziel
Warum sich die Mühe machen? Energieverbrauch.
Traditionelle KI-Modelle sind hungrig. Sie schalten Transistoren Billionen Mal pro Sekunde um. Jeder Wurf kostet Energie. Die Gesamtkosten sind atemberaubend.
Das Training des GPT-3 von OpenAI dauerte 1.287 Megawattstunden. Genug, um ein durchschnittliches Haus in Großbritannien 475 Jahre lang mit Strom zu versorgen. Das ist nur ein Modell. Und wir trainieren jeden Tag mehr.
Un-0 gibt an, deutlich weniger Strom zu verbrauchen. Die Idee ist einfach. Lassen Sie den Strom ungehindert fließen. Verwenden Sie geschlossene Schleifen, bei denen der natürliche Weg die Schwingung erzeugt. Kein Zwang. Kein Umdrehen. Einfach fließen.
Theoretische Effizienz. Reales Potenzial.
Benchmark-Ergebnisse
Das Team testete Un-0 anhand von Standard-Benchmarks. CIFAR-10 und ImageNet 64×64.
Als Messgröße verwendeten sie die Fréchet Inception Distance (FID). Niedriger ist besser. Höhere Genauigkeit.
In den CIFAR-10-Tests:
* 1.024 Oszillatoren erzielten 11,01.
* 4.096 Oszillatoren erzielten eine Punktzahl von 8,76.
ImageNet 64×64 war schwieriger.
* 6.656 Oszillatoren erzielten eine Punktzahl von 8,41.
* 16.384 Oszillatoren erzielten eine Punktzahl von 6,74.
Diese Werte sind mit denen früherer Generationen von GANs vergleichbar. Wie BigGAN oder iDDPM. Sie schlagen DALL-E 3 nicht. Noch nicht.
„Wir betrachten Un-0 als einen vielversprechenden ersten Ansatz“, stellte das Team fest. Die Qualität überschneidet sich mit etablierten Modellen von vor Jahren. Herkömmliche Generatoren sind in absoluter Qualität immer noch leistungsstärker. Die Lücke bleibt bestehen. Aber die Richtung ist neu.
Der Hardware-Realitätscheck
Es gibt einen Haken.
Derzeit läuft Un-0 auf herkömmlicher Hardware. Es ist eine Simulation.
Ziel ist es, echte Oszillator-basierte Chips zu bauen. Hardware, die physikalische Gesetze statt binärer Logik nutzt. Hier würden die Effizienzgewinne zum Tragen kommen. Bis dahin sehen wir die Logik. Nicht das Endprodukt.
Das Team veröffentlichte die Modellgewichte. Die Trainingsskripte. Die Ablationsstudien. Sie möchten, dass andere es testen. Um Simulationen durchzuführen.
„Wir betrachten Un-0 als einen vielversprechenden ersten Proof-of-Concept“, schrieben sie. „Es deutet auf einen neuen Computer hin.“
Eines, das die Physik ausnutzt. Um Energieeffizienz zu erreichen.
Ist das das Ende des Transistorzeitalters? Wahrscheinlich nicht morgen. Aber es ist ein Anfang. Ein Start der anderen Art.
Der Code ist offen. Die Physik ist solide. Der Rest ist Technik.
Wir werden sehen, ob die Chips mit der Theorie mithalten können.
