#33 - O estado da arte é self-supervised! Como pré treinar arquiteturas de transformers em NLP e visão computacional.

Fala galera, nesse episódio eu falo sobre o processo de pré treinamento dos modelos estado da arte em NLP e visão computacional usando arquiteturas de transformers. Desde 2017 nós treinamos redes de NLP (BERT, GPT, ELECTRA) com um modelo de linguagem mascarado usando um processo self-supervisionado, e agora (à partir de 2022) nós somos capazes de treinar arquiteturas de visão (MAE) usando o mesmo processo de modelo de linguagem mascarada. Esse pré treinamento self-supervisionado nos habilita a treinar modelos poderosos que realmente conseguem entender semântica e contexto mesmo sem rótulo nos dados. No episódio eu também falo sobre uma arquitetura de transformers para dados tabulares (TabTransformer - 2020) usando a mesma abordagem atingindo resultados estado da arte comparado com métodos de ensemble.

Instagram: https://www.instagram.com/podcast.lifewithai/

Linkedin: https://www.linkedin.com/company/life-with-ai

BERT paper: https://arxiv.org/pdf/1810.04805.pdf

GPT3 paper: https://arxiv.org/pdf/2005.14165.pdf

ELECTRA paper: https://arxiv.org/pdf/2003.10555.pdf

MAE paper: https://arxiv.org/pdf/2111.06377.pdf

TabTransformers paper: https://arxiv.org/pdf/2012.06678.pdf