Ep 28 - José Cañete (CenIA, creador de BETO) - Generando modelos grandes para lenguaje

*José habla personalmente y no representando a ninguna empresa o institución de ninguna manera. Toda la información aquí descrita es nuestra interpretación y no necesariamente lo que José quiso decir.

José Cañete (@jocannete) es ingeniero de Machine Learning en el Centro Nacional de Inteligencia Artificial (CenIA) en Chile. Una iniciativa apoyada por el gobierno y sector privado chileno para empujar la inteligencia artificial no solo en Chile sino en todos los países hispanohablantes. El CenIA conjunta investigadores de las mayores universidades chilenas y en los siguientes años escucharemos hablar de ella más y más. José es co creador de BETO, la versión en español más famosa de BERT. Un modelo que cambio el mundo del Machine Learning. Antes trabajó en la Universidad de Chile y como Lead Data Scientist en Adereso Minds.

Comienzo del paper de BETO: ‘’El idioma español es uno de los 5 principales idiomas hablados en el mundo. Sin embargo, encontrar recursos para entrenar o evaluar modelos de lengua española no es una tarea fácil. En este documento, ayudamos a cerrar esta brecha presentando un modelo basado en BERT modelo de lenguaje pre-entrenado exclusivamente con datos en español”.

Podcast: copadas

Habilidades que lo han llevado al éxito:

-Ser multidisciplinario. Desenvolverse en diversas áreas.

-Salir de la zona de confort.

Camino para crear a BETO:

-Profesores en Chile crearon recursos en ML en español. Fue una oportunidad para llegar a personas de habla hispana.

-Recolectaron todo el texto posible en español en BERT para formar el dataset.

-Se sumaron más personas que ayudaron a evaluar el modelo.

Importancia de BERT para el deep learning:

-La parte fundamental del BERT es que su representación final que da el modelo basado en Transformers no es fija.

-La técnica de attention te permite paralelizar las operaciones. Entrenar con corpus gigantes de textos para tener resultados interesantes.

Futuro del NLP:

-Los modelos serán más grandes y más difíciles de entrenar.

-Habrá técnicas para gestionar modelos de forma más eficiente.

-Buenos resultados en tareas concretas. Será un mundo en el que un modelo estará entrenado para realizar varias tareas.

-Los modelos de Transformers seguirán presentes a lo largo del tiempo. Son similares a un computador actual.

-Transformers entrenados para ordenar.

Recursos computacionales para crear un modelo como BETO:

-Datos hardware que se entrenan en GPUs.

Stacks tecnológicos:

-Python, especialmente Pytorch.

-Jupiter Notebooks.

-Colab.

-Script.

-Visual studio code.

-HuggingFace.

Recomendaciones para hispanohablantes:

-Aprender distintas áreas.

-Participar en eventos para formar parte de una comunidad.

-Tener varios hobbies.