La technologie française Pyannote est devenue l'outil IA indispensable pour comprendre "qui" parle dans un enregistrement audio. De la transcription d'interviews au doublage de vidéos, de nombreuses applications sont possibles.

Interview : Vincent Molina, cofondateur de Pyannote

En quoi consiste votre technologie de "diarisation" ?

La diarisation consiste à identifier les locuteurs dans un enregistrement audio. Avec Pyannote Audio, nous avons développé une technologie capable de reconnaître des voix qu’elle n’a jamais entendues, quelle que soit la langue, ce qui représente une difficulté scientifique majeure. L’histoire de Pyannote remonte à près de 15 ans : mon cofondateur, chercheur au CNRS, avait lancé une bibliothèque open source devenue la référence mondiale, avec plus de 150 000 utilisateurs. Depuis un an et demi, nous avons bâti une société pour porter ces avancées et proposer des modèles commerciaux déjà utilisés en production.

Quels sont les principaux cas d’usage ?

Notre brique technologique s’intègre dans de nombreux pipelines audio : transcription d’interviews, rendez-vous médicaux, audiences judiciaires, réunions d’entreprise… partout où il faut identifier qui parle. Nous sommes aussi très présents dans le doublage, le sous-titrage ou l’entraînement de grands modèles audio. Très souvent, on nous associe à des outils de transcription comme Whisper pour obtenir un traitement complet de la voix. Notre rôle, c’est d’indiquer précisément quand une voix apparaît, ce qui est essentiel pour synchroniser une voix de synthèse ou des sous-titres. Et tout cela fonctionne avec des modèles suffisamment légers pour tourner sur un téléphone, et bientôt sur un Raspberry Pi.

Jusqu’où peut aller l’analyse de la voix ?

La voix transporte bien plus que des mots : prosodie, rythme, chevauchements, indices contextuels… Sans aller jusqu’à interpréter les sentiments — notion trop subjective d’un pays à l’autre — nous pouvons fournir des métadonnées riches qui aident à comprendre la dynamique d’un échange. Pour l’instant, la plupart des usages sont en traitement différé, mais nous préparons une bascule vers le temps réel : retranscriptions d’événements, analyses en direct, signaux d’intensité vocale, etc.

-----------
♥️ Soutien :
https://mondenumerique.info/don
🗞️ Newsletter :
https://mondenumerique.substack.com

Hébergé par Audiomeans. Visitez audiomeans.fr/politique-de-confidentialite pour plus d'informations.

307. The Incredible World Sound Money Would Have Given Us with Tom Woods

The Bitcoin Standard Podcast

Historical Data on House Affordability

The AI-powered Podcast Player