Ep 15 - Jose Camacho (Cardiff University UK) - Haciendo Procesamiento del Lenguaje Natural de punta con los embeddings.

Disclaimers:

*José no representa a la Universidad de Cardiff. Toda la información aquí descrita es mi interpretación y no necesariamente lo que José quiso decir.

José es uno de los mayores expertos en Procesamiento del Lenguaje Natural (NLP). Es lecturer en la School of Computer Science and Informatics de la Universidad de Cardiff donde lidera el grupo NLP de Cardiff. Es co autor del libro "Embeddings in Natural Language Processing: Theory and Advances in Vector Representations of Meaning" (Dic, 2020). Desde 2021 es fellow del UK Research and Innovation (UKRI), un programa que apoya a innovadores e investigadores en el Reino Unido. Antes estuvo en Google AI como fellow doctoral y participó en el proyecto FLEXILOG, un ambicioso proyecto del para desarrollar el NLP por parte del Consejo Europeo de Investigación. Es un International Master en Ajedrez.

Twitter: @CamachoCollados

Link a modelos: https://huggingface.co/cardiffnlp

Habilidades clave que han llevado a José al éxito:

- Motivación por lo que hace.

- Colaboración. El trabajo en equipo ha sido un aspecto fundamental para su crecimiento.

Temas que ha pensado últimamente:

- El ajedrez. Considera que el ajedrez ha tenido una influencia positiva en su profesión. La IA y el ajedrez han ido de la mano desde hace más de 20 años.

- Considera que en ML además de los modelos los datos también son importantes. Si los datos no son de calidad, los modelos presentarán errores.

- Los idiomas también juegan un papel importante en el mundo de la IA. El español ha tomado más fuerza y se ha conectado más con el ML.

Los embeddings:

- El embedding es un vector de números que representa algo. Es una combinación de números fácil de procesar.

- El embedding funciona de una manera muy peculiar. Todas las palabras o frases que tengan el mismo contexto los asocia como similares.

- Por ejemplo, si tenemos las palabras “pantera” y “tigre” los embeddings de cada una de ellas estarían relacionados entre ellos. En el caso de las palabras “pantera” y “perro” los embeddings no tendrían una asociación tan cercana.

El futuro de los embeddings:

- Actualmente se está trabajando en crear modelos más dinámicos que sepan los contextos actuales como el Covid-19.

- Se necesita que el modelo conozca el espacio temporal. Que sepa interpretar imágenes además de texto.

-  En un futuro es probable que los modelos puedan leer y escuchar el lenguaje humano para entender los contextos.

Modelo Twitter Roberta Base Sentiment:

- El modelo clasifica los tweets o una frase corta para analizar su sentimiento: si es negativo, positivo o neutro. Se puede analizar la opinión de los usuarios en distintos contextos como el político.

- Este modelo llegó a estar en el # 1 de los más descargados en @huggingface. Fue publicado a finales de 2020 y es utilizado por grandes empresas.

- Está basado en ROBERTA y luego especializado al campo de las redes sociales.

- Su éxito radica en su aplicabilidad.

Consejos para hispanohablantes que quieren trabajar en reconocidos institutos:

- Motivación y pasión por hacer las cosas.

- Compartir lo que vayas haciendo. Puedes escribir artículos de blog.

- Buscar tutoriales e información online.

- Trabajar en equipo. Colaborar con personas interesadas en el mismo campo.

Herramientas para aprender NLP:

- Comenzar utilizando Python.

- Emplear frameworks como Pytorch o Tensorflow.

- Aprender a usar Hugging Face.