Cómo 8 empleados de Google inventaron la IA moderna

En 2017, la Inteligencia Artificial (IA) experimentó una revolución significativa con la aparición de un estudio innovador denominado “La atención es todo lo que necesitas”, realizado por Noam Shazeer, Llion Jones, Jakob Uszkoreit, Illia Polosukhin, Ashish Vaswani, Niki Parmar, Łukasz Kaiser y Aidan Gomez.

El modelo, al que llamaron “Transformer”, se distingue por depender exclusivamente de mecanismos de atención, que prescinde de las redes neuronales recurrentes (RNN) y las redes que se utilizaban tradicionalmente en tareas de traducción de secuencias. El análisis se convirtió en un hito para el desarrollo de tecnologías avanzadas como ChatGPT, Dall-E, y Midjourney, redefiniendo el enfoque hacia las redes neuronales mediante la implementación de los transformadores y la técnica de autoatención.

El “Transformer” ha demostrado ser efectivo en otras aplicaciones de procesamiento de lenguaje natural. Lo que sugiere que el “Transformer” fue una herramienta valiosa en una variedad más amplia de tareas de inteligencia artificial, promovió avances significativos en el campo.

Los experimentos realizados por los especialistas revelan que esa arquitectura es capaz de obtener resultados superiores no solo en términos de precisión y calidad del texto generado, sino también en eficiencia operativa. La capacidad del “Transformer” para operar sin las complejidades asociadas a las redes convencionales abre nuevas posibilidades para el desarrollo futuro de la inteligencia artificial.

El impacto de esta innovación se extendió rápidamente fuera del ámbito científico y reformuló cómo se aborda el procesamiento del lenguaje natural, para también incitar una reevaluación de la estrategia de innovación dentro de empresas líderes como Google. A pesar de sus aplicaciones potenciales enormemente valiosas, Google no fue la entidad líder en capitalizar este avance, lo que permitió a startups como OpenAI avanzar con tecnologías basadas en transformadores como GPT.

• Noam Shazeer: cofundador y CEO de Character AI. Se sorprendió al ver que era el primero en el artículo revolucionario en el campo de la IA, porque eligieron democráticamente a sus coautores por presentarse como contribuyentes equitativos.
• Jakob Uszkoreit: hijo del reconocido lingüista computacional Hans Uszkoreit, se convirtió en cofundador y CEO de Inceptive. Su interés en la traducción de idiomas lo llevó a unirse a Google, donde su trabajo contribuiría a cambiar el curso de la inteligencia artificial.
• Illia Polosukhin: de origen ucraniano y cofundador de Near. Trabajó en Google intentando hacer más eficientes las búsquedas en línea, lo que eventualmente lo condujo a colaborar en el desarrollo de los transformadores.
• Ashish Vaswani: con la experiencia previa en la construcción de modelos de traducción automática, se mudó a Google, donde se involucró radicalmente en el proyecto transformador, antes de cofundar Essential AI.
• Niki Parmar: tras terminar sus estudios de maestría, Parmar decidió unirse a Google, donde tuvo la oportunidad de trabajar en el equipo de transformadores, marcando un punto de inflexión en su carrera y eventualmente llevándola a cofundar Essential AI.
• Llion Jones: originario de Gales y cofundador de Sakana AI, Jones se unió al equipo de transformadores impulsado por su curiosidad y la convicción en el potencial de la autoatención para cambiar el procesamiento del lenguaje natural en IA.
• Łukasz Kaiser: polaco, y una figura clave en OpenAI, quien, aportó a la teoría computacional, se sumó al proyecto transformador y contribuyó significativamente a su éxito.
• Aidan Gomez: canadiense y cofundador de Cohere, este joven investigador se unió a Google como pasante, desempeñó un papel crucial en el desarrollo de los transformadores gracias a su fresca perspectiva y energía.

Al contemplar el legado que “La atención es todo lo que necesitas” y sus autores han dejado, es claro que han establecido un nuevo paradigma en cómo las máquinas comprenden y generan lenguaje. Esta obra ha marcado un antes y un después en el procesamiento del lenguaje natural y también ha inspirado una continua exploración en los límites de lo que la inteligencia artificial puede alcanzar, confirmando que, en efecto, a veces la atención puede ser todo lo que se necesita.

Cada uno de estos investigadores, provenientes de diversas partes del mundo y con historias personales únicas, se unieron en Google para crear los transformadores. El equipo, un crisol de talentos y experiencias, destacó por su colaboración y el respeto por la igualdad de contribuciones, incluso en la nomenclatura de su trabajo fundamental. Pese a las perspectivas y trayectorias variadas, lograron avanzar significativamente en la inteligencia artificial y establecer las bases para futuras innovaciones en el campo. Ahora mismo, cada uno, en su camino después de Google, sigue impactando el mundo tecnológico, llevando el legado de su colaboración hacia nuevas fronteras de exploración y desarrollo en IA.