← Retour au blog

Suivi vocal : notre banc de test et ses chiffres

Le reproche le plus fréquent dans les avis sur les prompteurs à suivi vocal, c'est la fiabilité : le texte qui saute trois lignes en avant parce que vous avez toussé, le curseur qui se perd quand vous improvisez, la resynchronisation qui n'arrive jamais. Pourtant, à notre connaissance, aucun éditeur de prompteur ne publie de chiffres sur la fiabilité de son suivi. Des adjectifs (« intelligent », « fluide », « magique »), oui. Des mesures, non.

Nous avons construit un banc de test pour développer le moteur d'Orasync, et nous avons décidé d'en publier la méthode et les résultats — y compris ce qui n'est pas parfait. Voici comment on mesure un suivi vocal, et où en est le nôtre.

Pourquoi c'est difficile à mesurer

Le suivi vocal repose sur la reconnaissance vocale du navigateur (on vous a expliqué son fonctionnement ici), qui fait des erreurs : elle confond des homophones (« ver » / « vert » / « verre »), coupe les liaisons, invente parfois des mots courts, en perd d'autres. Un moteur de suivi doit avancer quand vous lisez malgré ces erreurs, ne pas avancer quand vous improvisez, et vous retrouver quand vous sautez un passage ou revenez en arrière.

Tester ça « à la main » ne prouve rien : chaque essai au micro est différent, impossible à rejouer, impossible à comparer. Notre banc de test fonctionne donc autrement : il simule la sortie de la reconnaissance vocale, avec des erreurs typiques du français injectées de façon contrôlée et reproductible (les mêmes graines aléatoires produisent exactement les mêmes erreurs, à chaque exécution, sur chaque machine).

Ce que simule le banc : homophones français, élisions (« l'ami » entendu « lami »), mots coupés, insertions et suppressions de mots, chiffres transcrits en lettres (et l'inverse), résultats intermédiaires instables puis résultat final corrigé — le comportement réel de la Web Speech API, en pire.

Les scénarios

Un discours de test de 467 mots (et un de 3 000 mots pour la performance) passe dans 9 scénarios, dont :

Pour chaque scénario, on mesure : la position finale du curseur (est-il exactement là où l'orateur s'est arrêté ?), les faux sauts (le curseur termine plus de 5 mots devant l'orateur après avoir avancé — l'erreur la plus destructrice en conditions réelles), les événements de désynchronisation, et le temps de calcul.

Les résultats (version actuelle du moteur)

Graphique : 21 faux sauts du curseur pour le moteur v2 contre 0 pour le moteur v3 sur le banc complet de 9 scénarios
Faux sauts du curseur sur le banc complet : 21 pour l'ancien moteur, 0 pour l'actuel.

Ce que ça change par rapport à l'ancien moteur

Graphique : mots nécessaires pour se resynchroniser — retour en arrière 41 mots (v2, échec) contre 15 (v3), saut avant 14 contre 7
Resynchronisation après un saut ou un retour en arrière de l'orateur.
Graphique : erreur moyenne de position du curseur avec 1 ou 5 hypothèses de transcription, à 15 % et 30 % de bruit
L'analyse de 5 hypothèses de transcription réduit l'erreur de position de 43 % à fort bruit.

Le même banc, exécuté sur notre moteur précédent (celui d'avant juillet 2026), raconte pourquoi nous l'avons réécrit :

Les trois mécanismes qui ont fait la différence : une resynchronisation bidirectionnelle (le moteur cherche l'orateur en avant et en arrière, sur des empreintes phonétiques de trois mots), une ancre d'énoncé (le résultat final de la reconnaissance fait autorité et rejoue tout l'énoncé, ce qui élimine le double-comptage des mots répétés), et la sélection d'hypothèses (quand la reconnaissance hésite entre plusieurs transcriptions, on essaie chacune à blanc et on garde celle qui apparie le plus de mots du script).

Ce que ce banc ne prouve pas

Un banc de test honnête dit aussi ce qu'il ne couvre pas :

Depuis cette version, le banc tourne automatiquement à chaque modification du code, avec un garde-fou : si une mesure régresse — un faux saut de plus, une position finale perdue — la modification est bloquée. Les chiffres ci-dessus ne sont pas une photo flatteuse d'un bon jour : ce sont les seuils que chaque version doit re-prouver pour sortir.

Conclusion

Le suivi vocal n'est pas de la magie : c'est un problème d'ingénierie mesurable, et nous pensons que le mesurer publiquement devrait être la norme. Si vous éditez un prompteur et publiez vos propres chiffres, on les lira avec plaisir. En attendant, le nôtre est gratuit et se teste en trente secondes — collez un texte, parlez, sautez un paragraphe, improvisez : vous verrez le moteur vous suivre.