Comment mesurer et maintenir la qualité de la traduction automatique à grande échelle

La stratégie d’affaires internationale exige aujourd’hui que le contenu circule à travers les langues à des vitesses qui auraient submergé les équipes de traduction dans n’importe quelle décennie précédente.

La traduction automatique (TA) est maintenant au cœur de la croissance du contenu d’entreprise, mais la qualité de traduction qu’elle offre peut être inégale.

La sortie de la MT varie selon la paire de langues, le type de contenu et le flux de travail, même au sein d’un même projet. Cette variance compte plus que le score de qualité moyen, car le temps passé à corriger une chaîne incohérente à travers un contenu très visible efface les gains d’efficacité qui rendaient la MT rentable.

Chaque programme de localisation d’entreprise fait face aux mêmes compromis lorsqu’il adopte la TA à grande échelle : vitesse contre fluidité, coût contre qualité, échelle contre contrôle.

Les plateformes conçues pour la gouvernance de la qualité de la TA transforment la sortie variable en traductions fiables grâce à des contrôles terminologiques, des chemins d’examen automatisés et une mesure cohérente.

Smartling est une de ces plateformes, et cet article explique ce qu’est réellement la qualité du MT, comment la mesurer et comment la maintenir constante à mesure que le volume de contenu augmente.

Qu’est-ce que la qualité de la traduction automatique?

La qualité de la traduction automatique fait référence à la manière dont le contenu traduit avec précision et naturel reflète le sens du texte original. Les mesures de qualité incluent la précision, la fluidité et la constance.

La qualité de la traduction automatique varie selon la paire de langues, le type de contenu et la façon dont le flux de travail de traduction est structuré autour de ces deux éléments.

Par exemple :

• Le contenu marketing qui nécessite une adaptation tonale soulève des attentes de qualité différentes de la documentation technique qui exige une précision terminologique.
• Une paire de langages avec des données d’entraînement abondantes produit une sortie de référence différente d’une paire avec des données limitées.

Qu’est-ce qui détermine la qualité de la traduction automatique

Cinq facteurs déterminent si un moteur de MT produit une production utilisable pour une tâche donnée.

Complexité des paires de langages. Certaines paires comme anglais-espagnol et anglais-français disposent de décennies de données d’entraînement de haute qualité. D’autres en ont beaucoup moins, et la qualité de la production MT reflète cet écart.

Type de contenu. La documentation technique nécessite une précision terminologique. Le texte marketing nécessite une adaptation tonale. Le contenu légal a besoin des deux, plus une fidélité littérale. La traduction automatique, qui manque de capacité de nuance, ne fonctionne pas de manière égale dans les trois.

Disponibilité du contexte. Les moteurs MT capables d’accéder aux segments environnants, à la structure des documents et au contexte visuel produisent une meilleure sortie que les moteurs traduisant les chaînes isolément.

Données de formation Les modèles entraînés sur des données spécifiques au domaine et à la marque surpassent les moteurs à usage général pour le contenu spécialisé.

Moteur ou choix de modèle. Se fier uniquement à la méthode polyvalente pour chaque type de contenu et paire de langues ne produira pas de résultats cohérents et de haute qualité. Les LLM, les moteurs de traduction automatique neuronale (NMT) finement ajustés et les modèles augmentés par RAG traitent chacun différents types de contenu différemment. Plutôt que de recourir à la traduction automatique par défaut, choisir le bon modèle pour chaque tâche assure une qualité de traduction supérieure...

Dimensions clés de la qualité de la traduction automatique

La qualité du MT peut faire référence à différents facteurs, selon à qui vous demandez et ce qui a mal tourné. Ces quatre dimensions couvrent l’ensemble du tableau, et chacune d’elles, si elle n’est pas gérée, devient le problème qui définit le projet.

Précision

La précision mesure si la traduction préserve le sens de la source. Une traduction fluide mais inexacte est plus difficile à détecter en révision qu’une traduction lourde mais précise, ce qui rend ces erreurs plus risquées.

La fluidité

La fluidité est là où la MT révèle le plus souvent ses faiblesses. La grammaire et le choix des mots sont des enjeux de table. Le problème le plus difficile, c’est le registre : un moteur qui traduit correctement mais écrit comme un manuel quand le contenu demande quelque chose de conversationnel, ou vice versa.

Cohérence

La constance se brise discrètement et à grande échelle. Le même terme exprimé de trois façons différentes à travers une interface produit, un article d’aide et une page marketing érode la confiance auprès des utilisateurs et crée une refonte composée pour l’équipe.

Conscience du contexte

La conscience du contexte est ce qui distingue un moteur qui traduit des mots d’un moteur qui traduit le sens. Les pronoms genrés en allemand, une étiquette d’interface utilisateur qui se lit différemment selon l’écran, ou une phrase idiomatique dans un marché et insensée dans un autre, nécessitent que le moteur soit interprété, pas seulement converti.

Comment Smartling renforce la constance

L’application du glossaire et la réutilisation de la mémoire de traduction (TM) maintiennent la terminologie approuvée et la formulation préalablement approuvée à travers chaque tâche. Une fois qu’un terme est approuvé, Smartling l’applique automatiquement la prochaine fois qu’il apparaît, que la traduction se fasse via la MT, la traduction IA ou la traduction IA humaine (AIHT).

La trousse d’outils de traduction IA de Smartling va plus loin. L'insertion de termes de glossaire par IA garantit que les substitutions correspondent au contexte de la chaîne et sont grammaticalement correctes, au lieu de simplement remplacer le terme.

Les garanties grammaticales sont cruciales pour les langues où un terme du glossaire doit s’infléchir différemment selon sa position dans une phrase. La mémoire adaptative de traduction par IA augmente l’influence de la MT dans les flux de travail de traduction automatique en optimisant les correspondances disponibles, de sorte que la formulation approuvée à l’avance se maintient même lorsque le contenu environnant a changé.

Pour le contenu où la cohérence signifie plus que la terminologie (accent sur le ton, le registre ou la voix de la marque), l’outil de transcréation Smartling garde la mémoire de transcréation séparée de la mémoire de traduction. Par conséquent, les adaptations créatives ne s’immiscent pas dans les flux de travail de traduction standards ni n’introduisent d’incohérences là où une exactitude littérale est requise.

Comment la qualité de la traduction automatique est mesurée

La mesure de la qualité de la MT combine trois approches. La plupart des programmes d’entreprise utilisent les trois à différents moments du flux de travail.

Évaluation humaine

L’évaluation humaine repose sur des linguistes formés qui examinent le contenu traduit selon des catégories d’erreur objectives. Le cadre Multidimensional Quality Metrics (MQM) est la norme industrielle pour ce travail.

Les évaluateurs consignent les erreurs par type, telles que la précision, la fluidité, la terminologie, le style et les conventions locales, ainsi que par sévérité, comme neutre, mineur, majeur ou critique. Le système calcule un score global de qualité basé sur des pondérations de sévérité.

L’assurance qualité linguistique (LQA) simplifie l’évaluation humaine lors de l’évaluation MQM. LQA est basé sur l’échantillonnage, ce qui signifie que les équipes examinent une tranche représentative de contenu traduit pour produire une mesure indirecte de la qualité globale plutôt que d’inspecter chaque chaîne.

Métriques automatisées

Des métriques automatisées comme BLEU, COMET et TER comparent la sortie MT aux traductions de référence de façon algorithmique. Ils fonctionnent en quelques secondes, s’étendent sur des millions de chaînes et produisent des scores numériques cohérents.

Elles corrèlent imparfaitement avec le jugement humain, c’est pourquoi les indicateurs automatisés fonctionnent mieux comme des signaux d’alerte précoce plutôt que comme verdicts finaux de qualité.

Mesure hybride

La mesure hybride combine l’évaluation humaine du contenu échantillonné avec la notation automatisée sur l’ensemble du corpus. Les approches hybrides sont les plus courantes dans la production d’entreprise, car elles équilibrent la profondeur de mesure avec le coût de mesure.

Comment Smartling permet la mesure hybride

La suite LQA de Smartling gère une évaluation humaine structurée. Les linguistes évaluent les traductions par rapport à des schémas compatibles MQM personnalisables. LQA attribue un niveau de gravité à chaque erreur qui alimente un score global de qualité.

Les résultats apparaissent dans le tableau de bord LQA selon la période de temps, le lieu, le projet ou le travail, offrant aux gestionnaires de localisation une vue structurée et basée sur les données de la position de la qualité et de ses faiblesses.

Pour les équipes qui utilisent la MT à grande échelle, l’échantillonnage seul ne suffit pas. L’Agent d’Estimation de la Qualité du Langage (LQE) évalue automatiquement chaque chaîne de MT, en étiquetant chaque Haut, Moyen ou Faible en fonction de l’effort prédit après l’édition.

Les chaînes élevées peuvent complètement contourner la revue humaine dans un flux de travail dynamique; Les cordes moyennes sont signalées pour un montage léger. L’effort de révision va là où c’est nécessaire.

Les deux outils couvrent les deux extrémités du problème de mesure : signal à corps complet sur chaque chaîne MT, et notation humaine structurée sur le contenu échantillonné. Les deux alimentent Smartling Analytics, fournissant aux équipes les données nécessaires pour optimiser les flux de travail, justifier les décisions et tenir les programmes de qualité responsables au fil du temps.

Problèmes courants de qualité de la traduction automatique

Cinq modes de défaillance apparaissent dans les programmes de MT en entreprise. La plupart de ces échecs sont des problèmes de flux de travail, pas des problèmes de modèles.

Traductions littérales. Les idiomes, le langage figuré et les formulations culturellement spécifiques se traduisent mot à mot plutôt que par signification. Un « circuit » devient une référence au baseball dans une langue où le baseball n’a aucun poids culturel.

Incohérence terminologique. Le même terme de marque apparaît sous la forme de trois traductions différentes sur le même site. Un nom de produit est traduit sur une page et laissé en anglais sur une autre.

Fautes de grammaire. L’accord de genre, le temps verbal et l’ordre des mots se trompent dans des langues à morphologie plus riche que la source. Ces erreurs surviennent lorsque les moteurs MT manquent de contexte sur le sujet ou l’objet d’une phrase.

Erreurs de contexte. Les pronoms se résolvent au mauvais antécédent. Les homographes ont une mauvaise idée. Un mot qui signifie une chose dans un document légal est traduit comme s’il signifiait autre chose dans le sens quotidien.

Des désaccords culturels. Les niveaux de formalité, les honorifiques et les références culturelles ne correspondent pas au registre attendu par le public.

Traduction automatique vs. qualité de la traduction humaine

La traduction automatique et la traduction humaine ne sont pas interchangeables. Ils proposent différents contenus avec des compromis variés.

Aucune des deux approches n’est universellement meilleure. La bonne question pour les programmes d’entreprise est de savoir quel contenu appartient à quelle piste, et comment le router automatiquement à mesure que le volume augmente.

Smartling AutoSelect résout le problème de routage en évaluant le contenu au moment de la traduction et en l’envoyant au moteur MT le plus adapté, au LLM ou à l’étape du flux de travail humain. Si le moteur sélectionné ne peut pas produire une traduction de qualité, AutoSelect réessaie avec la meilleure option suivante, puis revient à une étape de flux de travail humain si nécessaire.

Pour les équipes qui souhaitent encore plus de contrôle, AutoSelect prend en charge des moteurs entraînés sur mesure dans la rotation aux côtés des fournisseurs de MT standards. Cela signifie que le contenu spécifique à un domaine, comme juridique, médical ou très technique, peut être acheminé vers un moteur conçu pour cela, tandis que le contenu général suit la voie standard. Le résultat est une couche de routage qui s’adapte à la complexité du contenu plutôt que d’appliquer un seul moteur sur tout.

Comment améliorer la qualité de la traduction automatique

La qualité de la MT s’améliore grâce à cinq tactiques, chacune répondant à une partie différente du flux de travail.

Utilisez des glossaires. La terminologie approuvée assure la cohérence entre les chaînes et les tâches. Sans glossaire, le même terme de marque désigne trois façons différentes au sein du même contenu.

Donnez du contexte. Les métadonnées au niveau du segment, le contexte visuel et le contenu environnant améliorent la précision de la traduction automatique. Les moteurs de traduction de chaînes de caractères prises isolément n'ont pas les informations nécessaires pour résoudre correctement les ambiguïtés.

Utilisez des flux de travail hybrides. La post-édition par traduction automatique (MTPE) associe la sortie de la traduction automatique à la révision humaine. MTPE utilise des linguistes humains pour nettoyer la production brute de MT. Avant cette étape de révision, l’agent de post-édition IA de Smartling vérifie automatiquement la grammaire, le ton et la précision sémantique — afin que le linguiste corrige ce qui reste plutôt que de reconstruire à partir de zéro.

Standardisez les processus. Les équipes qui font passer le contenu par des flux de travail cohérents en utilisant le même glossaire, la même TM et les mêmes étapes de révision obtiennent une qualité constante. Les équipes qui gèrent chaque projet différemment obtiennent une qualité qui reflète l’incohérence.

Surveillez la performance. Les échantillons LQA, le score LQE et les rapports de tendances d’erreur montrent où la qualité dérive avant qu’elle ne devienne un problème destiné aux clients. Sans surveillance, les problèmes de qualité n’apparaissent qu’après que quelqu’un les signale à l’extérieur.

Comment Smartling améliore la qualité de la MT en pratique

L’agent de post-édition IA de Smartling s’exécute automatiquement sur la sortie MT avant qu’elle n’atteigne un évaluateur humain, vérifiant la grammaire, le ton et la précision sémantique, et enrichissant les traductions avec vos ressources linguistiques pour que le résultat soit plus proche de la publication.

Le linguiste corrige ce qui reste plutôt que de reconstruire à partir de zéro. Combiné avec l’Agent d’Estimation de la Qualité du Langage (LQE), qui étiquete chaque chaîne MT Haute, Moyenne ou Basse selon l’effort prédit après l’édition.

En conséquence, les équipes peuvent router les chaînes qui nécessitent une attention pour qu’elles révisent et publient directement des chaînes à haute confiance, sans traiter chaque chaîne de la même façon, peu importe le risque réel.

Comment maintenir la qualité à grande échelle

La mise à l’échelle de la qualité de la MT est un problème différent d’améliorer une seule traduction. À grande échelle, la qualité dépend de la fiabilité avec laquelle le flux de travail applique les contrôles de qualité sur des milliers ou des millions de chaînes de chaînes. Quatre principes déterminent si cette fiabilité est maintenue.

Normalisation des flux de travail. Le même type de contenu passe toujours par le même flux de travail. Le contenu marketing se déroule à travers le flux de travail marketing. Le contenu de soutien se déroule dans le flux de travail de support. La qualité s’arrête selon qui possède un projet donné.

Automatisation Le contenu passe des systèmes sources aux flux de traduction sans transfert manuel. Les approbations se dirigent automatiquement. Le contenu traduit est renvoyé au système source sans cycles export-import. Quand une chaîne change, c’est le flux de travail qui la détecte, pas un gestionnaire de projet qui vérifie un tableau.

Suivi centralisé de la qualité. Les scores LQA, les distributions LQE et les tendances d’erreur sont réunis au même endroit. Les équipes repérent les incohérences entre les langues et les types de contenu avant qu’elles ne s’accumulent sur des centaines de chaînes supplémentaires.

Amélioration continue. Les glossaires, les MT et les modèles d’invites se mettent à jour à mesure que de nouveaux termes et schémas émergent. La qualité de base augmente avec le temps au lieu de rester stable ou de se dégrader à mesure que le volume de contenu augmente.

Sans que les quatre principes ci-dessus fonctionnent ensemble, la qualité à grande échelle devient un problème de moyenne — suffisamment bonne dans son ensemble mais brisée dans les cas spécifiques qui comptent le plus.

Personio illustre à quoi ressemble ce changement en pratique. L’entreprise de logiciels RH copiait manuellement le contenu source de Zendesk, envoyait des fichiers par courriel à une agence de traduction, puis collait les traductions. Ce procédé fonctionnait à faible volume mais ne pouvait pas être adapté à d’autres langages sans ajouter du nombre de personnes.

Après avoir centralisé leur programme de localisation sur Smartling et introduit la traduction automatique pour le contenu de soutien, l’équipe d’éducation au contenu de Personio prévoit économiser 40% de son budget actuel de traduction et réduire d’au moins de moitié le temps de révision interne. Le TM gère le contenu d’aide standardisé et à grand volume, tandis que la revue humaine s’occupe de ce qui en a réellement besoin. Personio réinvestit maintenant son budget dans des langues que l’entreprise ne pouvait auparavant pas se permettre de soutenir.

Risques d’une mauvaise qualité de traduction automatique

Lorsque les équipes ne gèrent pas la qualité des MT, l’impact en aval se manifeste à quatre endroits prévisibles.

Incohérence de marque. Les noms des produits, les slogans et le langage de base de la marque varient selon les marchés. Les clients voient différentes versions de la même marque selon le site sur lequel ils se trouvent.

Confusion client. Les descriptions de produits, les articles de soutien et les flux de paiement produisent des instructions peu claires dans les langues cibles. Les clients abandonnent, abusent ou escaladent.

Problèmes de conformité. Le contenu réglementé dans les catégories juridiques, médicales et financières comporte des risques lorsque les traductions manquent le langage requis ou introduisent des inexactitudes. Certaines industries considèrent les erreurs de traduction comme des violations de conformité.

Refonte accrue. Les problèmes de qualité apparaissent après la publication et nécessitent un nettoyage manuel. Le coût de la correction du contenu après coup dépasse celui de la traduction correcte la première fois.

Ce qui se passe sans systèmes de qualité

Les programmes de localisation fonctionnant sans systèmes de qualité structurés suivent les mêmes quatre motifs.

Sorties incohérentes. La terminologie, le ton et la formulation varient selon le contenu parce qu’aucun actif ou règle partagé ne les maintient stables.

Délais de contrôle qualité manuels. La qualité dépend du fait que les évaluateurs individuellement détectent les problèmes un à un. L’assurance qualité devient le goulot d’étranglement que le reste du flux de travail était censé éliminer.

Manque de visibilité. Personne ne répond aux questions fondamentales concernant la qualité, notamment sur ses forces, ses faiblesses et les langues ou types de contenu les plus risqués.

Mauvaise scalabilité. Ajouter des langues et du volume de contenu multiplie la surcharge de coordination au lieu d’exploiter des ressources réutilisables. Chaque nouveau lieu semble aussi exigeant que le premier.

La qualité de la traduction automatique est un problème du système

La qualité du MT est variable par nature. Le choix du moteur, le type de contenu, la paire de langage et la conception des flux de travail façonnent tous le résultat, et aucune tactique unique ne produit une qualité constante à elle seule.

Les équipes qui réussissent reposent sur un système, plutôt que sur le MT isolément. Dans ce système, les flux de travail structurés appliquent des contrôles de qualité cohérents à chaque tâche. L’automatisation fait passer le contenu à travers ces flux de travail sans transfert manuel. Et la mesure de la qualité montre où la production est forte et où elle dérive.

La plupart des équipes d’entreprise disposent de pièces de cette infrastructure, et c’est là que se cachent les problèmes de qualité. Smartling comble l’écart en combinant des flux de travail structurés, de l’automatisation et des mesures de qualité au sein d’une seule plateforme, offrant aux équipes un chemin répétable vers la qualité de la TA qui évolue avec le volume de contenu plutôt qu’avec le nombre de personnel.

Si vous voulez voir comment Smartling réunit tout cela sur une seule plateforme, réservez une démonstration.