Ep 14 - Haritz Puerto (UKP Lab) - Haciendo que la IA resuelva preguntas

Haritz habla personalmente y no representando a ninguna empresa o institución de ninguna manera.

Toda la información aquí descrita es mi interpretación y no necesariamente lo que Haritz quiso decir.

Haritz es investigador ciéntifico en el Ubiquitous Knowledge Processing (UKP) Lab en la TU Darmstadt. Fundado en 2009, el UKP es uno de los centros más importantes de investigación en procesamiento del lenguaje natural del mundo. El trabajo de Haritz se ha enfocado en Question Answering, es decir, algoritmos que sirven para contestar preguntas, generar preguntas y graph neural networks. Hizo su maestría en el Korea Advanced Institute of Science and Technology (KAIST) donde también trabajó en el laboratorio de Information Retrieval (IR) and Natural Language Processing (NLP).

Twitters: @HaritzPuerto @UKPLab

Material recomendado por Haritz:

- Introduccion a QA por Stanford.

- NLP con Deep Learning por Stanford.

- Illustrated Transformer por Jay Alammar.

- Illustrated BERT por Jay Alammar.

Habilidades clave que han llevado a Haritz al éxito:

- Trabajo duro.

- Estudiar desde el primer día.

- Capacidad de adaptación.

Consejos para hispanohablantes:

- Ser autodidacta. En ML es posible con coursera y tutoriales en internet.

- Google Colab para programar. GPUs buenas gratis.

- Hacer comunidad en Hugging Face y Kaggle.

- Usar Kaggle para poner en practica con problemas reales todo lo aprendido y hacer un portafolio con eso (tutoriales/proyectos personales + Kaggle).

- Buen GPA en el pregrado para luego obtener becas para la maestría.

- Para posgrados no mirar solo EE.UU, en otros países hay universidades muy buenas con becas. Por ejemplo becas en gobiernos asiáticos o europeos.

Algunas cosas interesantes para Haritz:

- Cómo producir código limpio y reproducible en ML.

- Muchos papers no abren el código y cuando lo abren no es fácil adaptarlo a otros contextos. A veces es difícil reproducir código. Es necesario conseguir que los modelos o códigos puedan ser reproducibles por otras personas.

- En la universidad solemos aprender los patrones de ingeniería de software, github, etc. Pero ML es un poco diferente y aunque todo eso también se aplica, hacen falta mas cosas. Por ejemplo, los datasets también tienen versiones pero pueden ocupar mucho espacio.

¿Qué es el Questión Answering (QA) en ML?

QA es la tarea de dar una respuesta en texto a una pregunta en texto.

Ej. es uno de los módulos de Siri, el asistente de Iphone. Cuando le preguntamos algo a Siri el móvil tiene que convertir nuestra voz en texto. Luego entenderlo y buscar información para responder nuestra pregunta (ir a Wikipedia, por ejemplo) y generar una respuesta corta.

Tipos de algoritmos involucrados en el QA:

- Antes de 2016 se empleaban sistemas basados en reglas como if/else.

- En los últimos años ha evolucionado el campo gracias a las redes neuronales y, sobre todo, BERT ha pertmitido un crecimiento exponencial desde 2018.

¿Qué es MetaQA?

- Es un modelo que distribuye y modera las preguntas recibidas entre un conjunto de modelos expertos en diferentes áreas como matemáticas, películas, etc. Así se crea un modelo efectivo sin la necesidad de crear un súper modelo que ocupe más recursos computacionales.