Ep 27 - Sergio Pérez (Graphcore) - Hardware y machine learning

*Sergio habla personalmente y no representando a ninguna empresa o institución de ninguna manera. Toda la información aquí descrita es nuestra interpretación y no necesariamente lo que Sergio quiso decir.

Sergio (@sergiopprz en Twitter) es ingeniero de aplicaciones de IA en Graphcore (@grafcoreai) donde se enfoca en implementar y optimizar aplicaciones de ML de última generación utilizando la tecnología Poplar SDK e IPUs. Cuenta con una licenciatura en matemáticas e ingeniería aeroespacial. Recientemente, defendió su doctorado en el Imperial College London.

Ha liderado iniciativas en educación abierta, política científica, diplomacia y comunicación con el objetivo de construir una sociedad mejor. Su pasión es desarrollar software basado en inteligencia artificial y matemáticas para resolver problemas desafiantes.

Habilidades claves en su carrera:

-Tener referencias externas a uno mismo.

-Buscar mentores. Puedes conseguirlos en la universidad o en comunidades.

Qué son las IPUs y qué hace el equipo de aplicaciones en Graphcore:

-Las IPUs han sido diseñadas para algoritmos de IA y tienen propiedades como paralelismo de baja precisión y aritmética de tipo disperso. Es de los pocos dispositivos en el mundo diseñados específicamente para IA.

-El equipo de aplicaciones de Graphcore analiza o estudia aplicaciones que otras empresas de investigación han desarrollado e implementarlas en las IPUs.

Habilidades técnicas para aprender a trabajar con IPUs:

-Dialogar con empresas para saber qué algoritmos necesitan.

-Buscar una manera de implementarlo en Tensorflow y Pytorch.

-Tensorflow y Pytorch son solo la superficie de programas. Por debajo y hasta llegar a los drivers hay muchos más lenguajes de programación.

-Conocimiento en Python y C++.

-Las IPUs son compatibles con Transformers. Puedes entrenar modelos T5.

¿El IPU-POD16 de Graphcore es más veloz que un VGX A100 de NVIDIA?

-Hay dos factores que hacen diferentes a las IPUs y las GPUs: 1) paralelismo y 2) acceso a la memoria.

-Todos estos chips se basan en ejecutar tareas de forma paralela. Los GPUs tienen muchos núcleos que trabajan en paralelo con una sola instrucción. Las IPUs son múltiple instrucción, múltiple dato.

-La GPUs y las IPUs se basan en memoria de tipo RAM-estática y RAM-dinámica. En las IPUs la memoria está muy cerca en cada uno de los núcleos, es decir, cada núcleo tiene una memoria asociada y suficiente para almacenar el modelo.

-Con las IPUs se busca ser eficientes y mantener el grado de libertad para mantener los algoritmos.

¿Dónde conseguir las IPUs?

-Graphcore anteriormente vendía los IPUs. Ahora se puede acceder a ellas a través de la plataforma Spell.ml de manera gratuita por un par de horas.

Futuro de Graphcore con las IPUs:

-Aumentar la adopción de las IPUs.

-Utilizarlo para modelos que ya son una realidad como BERT.

-Desarrollar la nueva generación de modelos de ML que van a permitir llegar a niveles de IA inalcanzables con modelos actuales.

-Seguir mejorando el producto. Hacer optimizaciones guiadas por la comunidad.

Recomendaciones para hispanohablantes que quieren trabajar en Graphcore:

-Estudiar una carrera orientada a IA.

-Estudiar en los ratos libres conocimientos básicos.

-Ser autodidacta.