Cómo es Reformer, la nueva red neuronal de Google

Uno de los desafíos más grandes a la hora de hablar de inteligencia artificial es lograr que el sistema comprenda de manera efectiva y rápida el contexto. Entender contenido que se da en secuencias como ocurre en la música, los videos o en cualquier lenguaje requiere de una buena comprensión del contexto.

En el dominio del lenguaje, las redes neuronales de memoria a largo plazo (LSTM, por sus siglas en inglés) cubren suficiente contexto para traducir oración por oración de un texto. El modelo Transformer empleado por Google no solo mejoró el rendimiento en la traducción de oración por oración, sino que también podría usarse para generar artículos completos a través de un resumen de múltiples documentos; así como para producir fotos y música.

Ahora Google anunció la llegada de Reformer, una versión mejorada de Transformer. Este modelo está diseñado para manejar ventanas de contexto (se denomina así al rango de datos que se tienen en cuenta en la traducción) de hasta 1 millón de palabras, usando solo 16GB de memoria.

El modelo combina dos técnicas para resolver los problemas de atención y asignación de memoria que limitan la aplicación de Transformer a ventanas de contexto largas. Reformer utiliza hash sensible a la localidad (LSH) para reducir la complejidad de asistir a secuencias largas; y capas residuales reversibles para usar de manera más eficiente la memoria disponible.

En Google hicieron una prueba con Reformer: lo emplearon para completar imágenes parciales. Cuando se le muestra al fragmentos de fotos, el sistema es capaz de generar una imagen completa píxel por píxel.

Pero hay algo más: Reformer también puede procesar novelas completas y en un solo dispositivo. Google contó en su comunicado que Reformer pudo procesar la novela Crimen y el castigo de una sola vez.

“En el futuro, cuando haya más conjuntos de datos con texto de formato largo para entrenar, técnicas como Reformer pueden hacer posible generar composiciones largas y coherentes”, se concluye en el texto.

BERT, el cambio en el algoritmo de Google que mejora las búsquedas

En septiembre de 2019 Google dio a conocer un cambio importante en su algoritmo que permite optimizar las búsquedas, por medio de la técnica denominada BERT, que favorece la interpretación de las frases en contextos. Y en diciembre se anunció que esta herramienta, que hasta ahora sólo estaba disponible en inglés, comenzaría a estar disponible en español, portugués entre otro y que desembarcaba, además, en más de 20 piases.

El gran aporte de BERT es que permite una interpretación bidireccional, es decir que para interpretar un término en contexto se tiene en cuenta tanto la palabra que le antecede como la que tiene a continuación.

Así, por ejemplo, en la oración “accedí a la clave bancaria”, el concepto “clave” es interpretado teniendo en cuenta el fragmento “accedí a” y “bancaria”. A esto se refiere el concepto de interpretación bidireccional.

BERT permite poder resolver algunas interpretaciones que, de otro modo, podrían resultar ambiguas. Si, por ejemplo, se escribe en el buscador “2020 turista a Tailandia necesita certificado vacuna” se entenderá con mayor precisión que la búsqueda es de información para saber si es condición tener este documento.

BERT también aprende a modelar las relaciones entre oraciones mediante el entrenamiento previo en una tarea que se puede generar a partir de cualquier corpus de texto.