Es 1.000 veces más eficiente. O al menos ese es el discurso.
La IA no convencional ha presentado un nuevo modelo llamado Un-0. Genera imágenes sin el típico trabajo pesado digital. En lugar de transistores de silicio que encienden y apagan bits, este sistema utiliza la física. Específicamente, una red de osciladores físicos.
La empresa fundada por antiguos pesos pesados del MIT, Stanford, Google y Databricks. Afirman que este enfoque “súper eficiente” podría cambiar nuestra forma de pensar sobre la infraestructura informática. Los detalles se publicaron el 25 de junio. El modelo es de código abierto en GitHub.
Pero, ¿qué significa eso realmente para tu factura de energía? ¿Y para el futuro de la IA generativa?
La física de la generación de imágenes.
Veamos cómo llegamos hasta aquí. Los generadores de imágenes de IA estándar como DALL-E o Midjourney se basan en la informática tradicional. Utilizan miles de millones de pequeños interruptores. Transistores.
Estos interruptores alternan. En. Apagado. En. Apagado.
Realizan matemáticas complejas. El sistema comienza con ruido estático. Intenta restar ese ruido. Predice qué píxeles faltan. Lo repite de 20 a 100 veces. Cada pasada refina la imagen. Es una rutina. Uno matemático.
Un-0 hace algo diferente. Se basa en el modelo Kuramoto.
Esto involucra osciladores. Dispositivos que producen ondas continuas. Como un metrónomo. Imaginemos dos péndulos conectados por un resorte. Eventualmente se sincronizan. Sus ritmos se alinean.
Un-0 amplía esto. Miles de osciladores conectados entre sí.
Cómo Un-0 genera imágenes
El proceso no está basado en código. Es dinámico.
Diferentes patrones de ángulos del oscilador representan diferentes clases de imágenes. Zapatos. Trenes. Gatos.
El modelo comienza con un gran grupo de osciladores aleatorios. Luego introduce un grupo de “control” más pequeño. Este grupo está configurado en un ángulo específico. Actúa como indicador.
Estos grupos están físicamente vinculados. Cuando comienza el movimiento, el grupo de control alinea a los demás. Con el tiempo. El sistema se asienta en un patrón.
Luego viene la instantánea.
Los ángulos de todos los osciladores se convierten en una cuadrícula de números. Un decodificador traduce esa cuadrícula en píxeles de color. Aparece una imagen. No se requiere una multiplicación masiva de matrices. Sólo dinámica física.
La eficiencia energética es el objetivo principal
¿Por qué pasar por el problema? Consumo de energía.
Los modelos tradicionales de IA tienen hambre. Giran los transistores billones de veces por segundo. Cada giro cuesta energía. El costo acumulado es asombroso.
Entrenar el GPT-3 de OpenAI requirió 1.287 megavatios-hora. Suficiente para alimentar una casa promedio en el Reino Unido durante 475 años. Ese es sólo un modelo. Y cada día entrenamos más.
Un-0 afirma utilizar mucha menos energía. La idea es sencilla. Deje que la corriente fluya sin obstáculos. Utilice bucles cerrados donde el camino natural crea la oscilación. Sin forzar. Sin voltear. Simplemente fluye.
Eficiencia teórica. Potencial del mundo real.
Resultados de referencia
El equipo probó Un-0 comparándolo con puntos de referencia estándar. CIFAR-10 e ImageNet 64×64.
Utilizaron la distancia de inicio de Fréchet (FID) como métrica. Más bajo es mejor. Mayor precisión.
En las pruebas CIFAR-10:
* 1.024 osciladores obtuvieron una puntuación de 11,01.
* 4.096 osciladores obtuvieron una puntuación de 8,76.
ImageNet 64×64 fue más difícil.
* 6.656 osciladores obtuvieron una puntuación de 8,41.
* 16.384 osciladores obtuvieron una puntuación de 6,74.
Estas puntuaciones son comparables a las de las primeras generaciones de GAN. Como BigGAN o iDDPM. No están venciendo a DALL-E 3. Todavía.
“Consideramos que Un-0 es un primer enfoque prometedor”, señaló el equipo. La calidad coincide con los modelos establecidos desde hace años. Los generadores convencionales son aún más potentes en calidad absoluta. La brecha permanece. Pero la dirección es nueva.
La verificación de la realidad del hardware
Hay una trampa.
En este momento, Un-0 se ejecuta en hardware tradicional. Es una simulación.
El objetivo es construir chips reales basados en osciladores. Hardware que aprovecha las leyes físicas en lugar de la lógica binaria. Ahí es donde se materializarían las ganancias en eficiencia. Hasta entonces, estamos viendo la lógica. No el producto final.
El equipo publicó los pesos del modelo. Los guiones de formación. Los estudios de ablación. Quieren que otros lo prueben. Para ejecutar simulaciones.
“Consideramos que Un-0 es una primera prueba de concepto prometedora”, escribieron. “Apunta en la dirección de una computadora nueva”.
Uno que explota la física. Para lograr la eficiencia energética.
¿Es este el fin de la era de los transistores? Probablemente no mañana. Pero es un comienzo. Un comienzo diferente.
El código está abierto. La física es sólida. El resto es ingeniería.
Veremos si los chips pueden seguir el ritmo de la teoría.
