Computex 2024
Tech Café
00:00
Le Grawking pour accélérer l'apprentissage des Transformer
Les Transformeurs peuvent apprendre des règles logiques par le Grawking, mais manquent de généralisation pour la composition. L'ajout de mémoire intercouche pourrait résoudre ce problème. Le Grawking peut permettre une compréhension approfondie et accélérer l'apprentissage des modèles, bien que cela nécessite une surcharge d'entraînement initiale. L'accélération du Grawking peut être réalisée en ajustant la composition du dataset. Cette technique révèle un potentiel inexploité des modèles Transformer, mais l'entraînement intensif et l'overfitting prolongé sont nécessaires pour en tirer pleinement parti, comme observé avec des modèles synthétiques entraînés sur des données artificielles.
Transcript
Play full episode
