Comment les entreprises détectent-elles les hallucinations dans les traductions générées par l’IA?

Réponse rapide

Les hallucinations dans les traductions générées par IA sont difficiles à détecter parce qu’elles sont fluides et confiantes, tout en étant sémantiquement incorrectes. Les équipes d’entreprise les détectent à l’aide d’un pointage automatisé de similarité sémantique : un modèle non-LLM évalue si la signification de la sortie traduite correspond à la chaîne source. Lorsque le score de similarité descend en dessous d’un seuil configuré, la chaîne est signalée et automatiquement redirigée vers un fournisseur d’IA alternatif au lieu de procéder à la publication. La détection d’hallucinations de Smartling utilise un modèle d’intégration IA Google Vertex, activé par défaut dans l’AI Hub.

Pourquoi les hallucinations sont plus difficiles à détecter que d’autres erreurs de traduction

La plupart des erreurs de traduction sont détectables en lisant. Un terme mal traduit ou une expression omise ressortira aux yeux d’un critique qui connaît la langue source. Les hallucinations, c’est différent. Un grand modèle de langage qui hallucine produit un résultat grammaticalement correct, stylistiquement fluide et entièrement plausible comme traduction. L’erreur est sémantique : la corde traduite sonne juste mais signifie quelque chose de différent de la source.

À grande échelle d’entreprise, il n’est pas possible de revoir chaque chaîne dans chaque langue. La détection doit être automatisée et intégrée au flux de travail avant que le contenu n’atteigne un critique humain.

 

Comment fonctionne la détection automatisée des hallucinations

La détection automatisée des hallucinations utilise le score de similarité sémantique pour comparer la signification d’une chaîne traduite à sa source. Un modèle d’immersion représente chaque chaîne comme un vecteur dans l’espace sémantique et mesure la distance entre eux. Lorsque la distance sémantique dépasse un seuil configuré, la chaîne est signalée et redirigée pour révision ou retraduction.

Le modèle d’immersion utilisé pour l’évaluation est distinct du LLM qui a produit la traduction, empêchant ainsi le système de détection d’être soumis aux mêmes biais que le modèle de traduction.

Quand la détection des hallucinations est la bonne priorité

Des programmes d’entreprise utilisant de grands modèles de langage comme fournisseur principal ou secondaire de traduction, où le risque d’hallucination est nettement plus élevé qu’avec les moteurs de traduction automatique neuronale traditionnels.
Les organisations traduisent à grand volume le contenu destiné aux clients là où la révision individuelle des chaînes n’est pas réalisable et où la détection automatisée est la principale porte de qualité avant publication.
Des industries réglementées, notamment la santé, la pharmacie, les services financiers et le droit, où une traduction sémantiquement incorrecte entraîne des conséquences sur la conformité, la responsabilité ou la sécurité des patients.
Des équipes utilisant plusieurs fournisseurs de LLM via un hub d’IA où le risque d’hallucination varie selon le fournisseur et où un routage de secours automatique est nécessaire pour gérer les pannes sans intervention humaine.

Lorsque la détection d’hallucinations n’est pas toujours le principal objectif

⚠️

Les programmes utilisant uniquement des moteurs de traduction automatique neuronale plutôt que des LLM, où les approches traditionnelles d’estimation de la qualité couvrent les principaux types d’erreurs.

⚠️

Des chaînes très courtes comme les labels de l’interface utilisateur ou les entrées d’un seul mot où l’évaluation de similarité sémantique est moins fiable en raison du contexte limité.

Liste de vérification de l’entreprise : détection des hallucinations

  • La plateforme inclut-elle une évaluation automatisée de similarité sémantique qui compare la sortie traduite au sens source?
  • Le système de détection d’hallucinations utilise-t-il un modèle distinct du LLM qui a produit la traduction?
  • Lorsqu’une hallucination est détectée, la plateforme achemine-t-elle automatiquement la chaîne signalée vers un autre fournisseur d’IA?
  • La détection des hallucinations est-elle activée par défaut dans tous les flux de travail de traduction alimentés par LLM?
  • La détection s’applique-t-elle au niveau de la chaîne pour qu’une seule chaîne signalée ne bloque pas toute une tâche?

Comment Smartling détecte les hallucinations dans les traductions IA

Médecin d’aide : Détection des hallucinations pour la traduction des LLM

 

 

Questions connexes

Prêt à voir Smartling en action?

Le centre d’IA de Smartling inclut une évaluation automatisée de similarité sémantique et un routage de secours pour tous les flux de travail de traduction alimentés par LLM, activés par défaut. Voyez comment les équipes d’entreprise détectent les hallucinations avant d’atteindre les clients.
Voir la plateforme