Comment les entreprises détectent-elles les hallucinations dans les traductions générées par l’IA?

Réponse rapide

Les hallucinations dans les traductions générées par l’IA surviennent lorsqu’un grand modèle de langage (LLM) produit une sortie fluide mais sémantiquement incorrecte, générant un texte qui semble confiant qui déforme la source. La détection en entreprise repose sur une estimation automatisée de la qualité, un routage de secours et une analyse humaine en boucle pour le contenu à haut risque. La fonction de détection d’hallucinations de Smartling est activée par défaut lorsqu’un LLM est utilisé comme fournisseur de traduction, signalant automatiquement les hallucinations potentielles et acheminant les chaînes affectées vers un fournisseur ou un flux de travail alternatif plutôt que de permettre à une sortie inexacte d’atteindre la publication.

Qu’est-ce que les hallucinations dans la traduction par IA?

Lorsque de grands modèles de langage sont utilisés pour la traduction, ils peuvent générer une sortie qui semble naturelle et fluide, mais qui ne reflète pas fidèlement le sens du contenu source. Ce comportement s’appelle hallucination.

Contrairement à une simple mauvaise traduction, une hallucination n’est pas manifestement fausse. Le résultat se lit comme un texte grammaticalement correct, contextuellement plausible, ce qui le rend plus difficile à détecter par une simple révision et plus difficile à détecter à grande échelle. Le LLM a essentiellement fabriqué un contenu qui correspond au schéma de surface de la langue cible sans préserver l’intention sémantique de la source.

Pour les équipes de localisation en entreprise, c’est un risque significatif. Le contenu marketing critique pour la marque, les divulgations réglementaires, la documentation produit et les interfaces destinées au client nécessitent toutes une traduction non seulement fluide, mais aussi précise. Une hallucination de LLM dans une étiquette pharmaceutique, une divulgation financière ou une instruction de sécurité comporte de véritables conséquences commerciales, de conformité et de réputation.

 

Comment les hallucinations se manifestent dans le contenu localisé

Les hallucinations de traduction par IA apparaissent généralement sous plusieurs motifs reconnaissables :

  • Contenu ajouté ou fabriqué : le LLM insère des informations non présentes dans la source, telles que des explications étendues, des affirmations de produits inventés ou un contexte supplémentaire que le modèle a déduit plutôt que traduit.
  • Contenu omis : les phrases clés, les qualifications ou les avertissements provenant de la source sont supprimés parce que le modèle les a dépriorisés pour générer une sortie fluide.
  • Inversion sémantique : le sens d’une expression est inversé ou substantiellement modifié tandis que la structure de surface reste plausible. C’est particulièrement courant avec les négations, les conditions et les revendications qualifiées.
  • Terminologie incohérente : le modèle utilise des termes différents pour le même concept dans un document, ou substitue un terme plausible qui est techniquement incorrect dans le contexte.
  • Défaillances de fenêtre de contexte : lorsque le contenu dépasse la fenêtre de contexte effective du modèle, les sections ultérieures peuvent être traduites avec moins d’attention au contenu source antérieur, produisant des continuations hallucinées.

 

Pourquoi la détection des hallucinations est importante à l’échelle des entreprises

La révision manuelle peut détecter des hallucinations dans de petits programmes, mais elle ne s’étend pas à grande échelle. Les programmes de localisation d’entreprise traduisent des millions de mots à travers des dizaines de paires de langues, et aucun processus de revue humaine ne peut offrir une couverture complète à ce volume sans devenir le principal goulot d’étranglement.

La solution est la détection automatisée au point de traduction : un système qui identifie les hallucinations potentielles avant que la chaîne ne progresse dans le flux de travail, qui envoie le contenu signalé à un fournisseur de secours ou à une revue humaine, et qui conserve une trace d’audit du contenu signalé et pourquoi.

C’est particulièrement important pour les organisations dans des industries réglementées où la précision de la traduction est une exigence de conformité, et pour toute entreprise déployant la traduction par IA à grande échelle sans qu’un humain examine chaque chaîne.

Quand la détection des hallucinations est la bonne priorité

Des organisations utilisant de grands modèles de langage comme principal fournisseur de traduction, où la fluidité des résultats des LLM rend les hallucinations plus difficiles à détecter par des processus d’examen standard.
Les industries réglementées, y compris la santé, les services financiers, le droit et la pharmaceutique, où les inexactitudes en matière de traduction comportent un risque de conformité et doivent être documentées.
Les programmes d’entreprise traduisant le contenu destiné aux clients en grand volume où la révision manuelle de chaque chaîne n’est pas possible et où des contrôles de qualité automatisés sont essentiels.
Les programmes de localisation déploient la traduction IA sans étape humaine dans la boucle pour tout le contenu, où la détection automatisée fournit la principale porte de qualité pour le contenu à moindre risque.
Des organisations avec un contenu critique pour la marque où la précision sémantique est aussi importante que la fluidité et où une affirmation hallucinée sur un produit ou une déclaration de marque représente un risque matériel.
Des équipes mondiales avec des exigences d’audit et de gouvernance qui ont besoin de documentation sur le contenu signalé, la façon dont il a été traité et le fournisseur qui l’a finalement traduit.

Lorsque la détection d’hallucinations n’est peut-être pas la principale préoccupation

⚠️

Les programmes utilisant des moteurs de traduction automatique neuronale plutôt que des LLM, où l’hallucination au sens strict des LLM est moins fréquente que d’autres modes de défaillance de qualité tels que l’incohérence terminologique ou les erreurs structurelles.

⚠️

Contenu interne à faible risque où l’exigence de qualité principale est la compréhensibilité plutôt que la précision sémantique, et où le coût d’une hallucination manquée est faible.

⚠️

Un contenu très court ou très structuré, comme les chaînes d’interface utilisateur ou les noms de produits, où le format contraint limite la capacité du modèle à halluciner et où des contrôles de qualité plus simples sont suffisants.

Liste de vérification de l’entreprise : détection des hallucinations

 
Capacités de détection
  • La plateforme inclut-elle la détection automatisée des hallucinations pour les traductions générées par LLM, activée par défaut plutôt que de nécessiter une configuration manuelle?
  • Le système de détection signale-t-il les hallucinations potentielles au niveau de la corde, afin que les chaînes problématiques individuelles puissent être redirigées sans rejeter un lot entier?
  • Les chaînes signalées peuvent-elles être automatiquement acheminées vers un fournisseur de traduction alternatif ou une étape de révision humaine plutôt que de laisser la sortie potentiellement hallucinée avancer?
 
Transparence et gouvernance
  • La plateforme maintient-elle une trace d’audit des chaînes signalées pour une hallucination potentielle, quel fournisseur a géré la sortie originale, et quel fournisseur ou évaluateur a géré la solution de secours?
  • La détection des hallucinations peut-elle être configurée au niveau du profil LLM, donnant aux équipes de localisation le contrôle sur la manière dont la détection est appliquée à différents types de contenu et flux de travail?
  • La plateforme offre-t-elle une visibilité sur les taux de détection d’hallucinations par fournisseur de LLM, paire de langues et type de contenu, afin que les équipes puissent identifier quelles combinaisons génèrent le plus de risques?
 
Intégration avec des contrôles de qualité plus larges
  • La détection des hallucinations est-elle intégrée à d’autres contrôles de qualité tels que le score LQA basé sur le MQM et l’estimation linguistique de la qualité, offrant plusieurs niveaux d’assurance qualité?
  • La plateforme supporte-t-elle la revue humaine dans la boucle pour le contenu signalé par détection d’hallucinations, les évaluateurs voyant la chaîne signalée, la source et le contexte dans lequel elle apparaîtra?

Comment Smartling aborde la détection des hallucinations

La fonction de détection d’hallucinations de Smartling est intégrée au flux de traduction du LLM et activée par défaut lorsqu’un LLM est utilisé comme fournisseur principal de traduction. Lorsque le système identifie une chaîne présentant une hallucination potentielle, il signale automatiquement le problème et la chaîne affectée vers un fournisseur ou un autre flux de travail, plutôt que de permettre à la sortie de se diriger vers la publication.

1.
Traduction de LLM avec détection d’hallucinations activée. Lorsque le contenu est acheminé vers un fournisseur de LLM via le hub IA de Smartling, la détection des hallucinations est active par défaut. Le système évalue chaque chaîne traduite pour assurer la cohérence sémantique avec le contenu source.
2.
Signalement automatique des hallucinations potentielles. Les chaînes où le système détecte une hallucination potentielle sont automatiquement signalées avant d’avancer dans le flux de travail. La détection fonctionne au niveau de la chaîne, donc une seule chaîne signalée ne bloque pas la réalisation complète d’un travail.
3.
Acheminement vers un fournisseur alternatif ou une évaluation humaine. Les chaînes signalées sont acheminées vers un fournisseur de traduction alternatif ou vers une étape de révision humaine, selon la configuration du flux de travail. Cela garantit que les résultats potentiellement inexacts ne sont pas publiés sans évaluation supplémentaire.
4.
Trace d’audit et visibilité. La plateforme conserve un registre des chaînes signalées, des résultats originaux du fournisseur et des résultats de l’étape de secours, offrant ainsi aux équipes de localisation et aux parties prenantes en conformité une visibilité complète sur la gestion des risques d’hallucination.
5.
Configuration au niveau du profil LLM. Les équipes peuvent configurer le comportement de détection des hallucinations dans les paramètres du profil LLM dans le hub IA de Smartling, y compris l’option de désactiver la détection pour des profils spécifiques si la conception du flux de travail l’exige.

Le centre d’IA de Smartling donne accès à plus de 20 LLM et moteurs de traduction automatique, avec le routage automatique du contenu vers le moteur le plus performant pour chaque paire de langues. La détection des hallucinations s’applique à tous les fournisseurs de LLM au sein du centre, assurant une gouvernance de qualité cohérente peu importe le modèle choisi.

 

Questions connexes

Prêt à voir la détection d’hallucinations en action?

Le centre d’IA de Smartling inclut une détection d’hallucinations intégrée pour les flux de travail de traduction alimentés par LLM, avec un routage de secours automatique et des traces d’audit. Découvrez comment les contrôles de qualité de Smartling protègent les programmes de localisation d’entreprise à grande échelle.

Voir la plateforme