Détection IA : les outils sont-ils fiables ?
9 décembre 2024
En moins de 2 ans, la génération de texte à l’aide d’une intelligence artificielle à modifié la façon de travailler de beaucoup de personnes : marketeurs de contenu, copywriter, enseignants, étudiants…
Pour différentes raisons (principalement académique ou business) nous souhaitons parfois savoir connaître l’auteur d’un texte : un humain ou une intelligence artificielle. Pour résoudre ce problème, de nombreux outils de détection ont vu le jour.
Sont-ils fiables ? Peut-on leur faire confiance ?
Pour répondre à ces questions, nous devons d’abord comprendre comment fonctionnent les IA génératives de textes. Nous verrons ensuite leur fiabilité avec des tests avancés avec 85 échantillons de texte et nous répondrons à la question : en tant que marketeur, doit-on réellement s’en soucier ?
Comment fonctionne l’intelligence artificielle et les outils de détection IA ?
Le fonctionnement basique d’une IA textuelle
En essayant de ne pas être trop technique, essayons de comprendre le fonctionnement des IA génératives.
Les intelligences artificielles génératives de texte comme celle de, par exemple chat GPT, prédisent un mot ou un groupe de mots les plus probables à venir, en fonction d’un contexte.
C’est le principe de la prédiction conditionnelle. Les modèles analysent le token précédent pour prédire le token qui va suivre. Le token suivant est choisi en fonction d’une probabilité, la probabilité la plus élevée selon son entraînement, selon le mécanisme d’attention et les paramètres.
Exemple : Si le texte est « Les chats », le modèle calcule la probabilité des tokens qui pourraient suivre. Le token suivant peut donc être « dorment », « mangent », ou « sont ».
Le mécanisme d’attention, lié à l’architecture “transformer”, permet d’évaluer la pertinence d’un token par rapport au contexte. Ces modèles sont entraînés sur de grandes quantités de texte afin de maximiser sa capacité à prédire les mots qui vont suivre.
Cette probabilité peut être modifiée avec des paramètres comme par exemple la température.
Exemple avec température faible (0.5) sur chat GPT :
Pour décorer votre salon, commencez par choisir une palette de couleurs harmonieuses qui reflètent votre style personnel. Ajoutez des meubles fonctionnels et confortables, en jouant avec les textures et les matériaux pour créer de la profondeur.
Exemple avec température élevée (1.7) :
Choisis une palette de couleurs qui reflète ton style personnel, par exemple des tons neutres pour une ambiance chic ou des couleurs vives pour un intérieur énergique. Intègre différents types de textiles, comme des coussins, des rideaux et des tapis en matières variées, pour créer une atmosphère chaleureuse et accueillante.
On voit bien que le texte avec la température élevée est plus original et imprévisible.
Les caractéristiques d’un texte IA
| Point faible | Explication |
|---|---|
| 🔁 Répétitions de mots ou d'idées | Les IA ont tendance à réutiliser les mêmes mots ou idées pour structurer leur texte, ce qui peut rendre le contenu monotone. |
| 🎨 Manque de créativité et d'exemple | Les textes générés manquent souvent d'originalité et ne proposent pas d'exemples concrets pour appuyer leurs idées. |
| 🤖 Ton générique et impersonnel | Les IA adoptent généralement un ton neutre et formel, sans personnalité ni adaptation à un style distinctif. |
| 🌊 Manque de profondeur | Les textes IA présentent souvent des arguments superficiels, sans exploration approfondie des idées. |
| ♻️ Utilisation excessive de phrases prévisibles | Les IA utilisent fréquemment des formulations standards ou stéréotypées, rendant le texte moins engageant. |
| 📐 Construction de phrases rigides | Les textes générés manquent souvent de fluidité ou de variations dans la structure des phrases. |
| 💔 Difficulté à exprimer des émotions ou des nuances | Les IA peinent à transmettre des sentiments ou à saisir les nuances émotionnelles du sujet. |
| ⚠️ Erreurs dans les références culturelles ou historiques | Les textes IA peuvent inclure des erreurs ou des approximations lorsqu'il s'agit de références spécifiques. |
| 🎯 Incapacité à détecter les attentes spécifiques d'un public | Les textes générés ne prennent pas toujours en compte les attentes ou sensibilités particulières de l’audience. |
| 🕒 Méconnaissance des événements récents | Les IA peuvent être limitées dans leur capacité à intégrer des informations actualisées ou spécifiques. |
Un texte IA est donc monotone, peu créatif, sans opinion, très prévisible et il ne va pas au bout des choses. Il utilise une structure et un vocabulaire redondant.
Comment fonctionnent les outils de détection d’IA ?
Les outils de détections IA n’expliquent pas réellement leur fonctionnement. Cependant, il y a différentes façons de détecter si un texte est généré par une IA. Les détecteurs peuvent utiliser une ou plusieurs de ces “solutions”.
A. Utiliser des « variables »
Cela consiste à étudier les caractéristiques des textes et déduire des variables pertinentes comme :
- Calcul de la perpléxité : on peut calculer la prévisibilité d’un texte. Contient-il des mots rares ? Y-a-t-il de la variabilité syntaxique ?
- Calcul de la burstiness : on calcule la variabilité dans la structure du texte (phrase et paragraphe)
- Signature stylistiques des modèles : on a tous des TIC de langages et des phrases ou des tournures de phrases que l’on aime utiliser et abuser. C’est pareil pour les IA génératives. Mention spéciale à chat GPT avec ses “En résumé”, “dans cet article”, …
- Cohérence globale du texte : pour un texte court la cohérence est généralement respectée. Mais pour un long texte, la cohérence entre le début et la fin peut-être limitée. Cela entraîne des répétitions dans les idées.
- Originalité des idées et erreurs subtiles : les IA sont généralement peu originales dans leur contenu et donnent peu d’exemples et de données en dehors de leur entraînement. Elles ne font jamais de fautes de frappe ou d’orthographe.
B. Utiliser un modèle de classification
Cela consiste à utiliser un dataset (des données avec texte humain et texte IA) pour entraîner une IA de classification capable de déterminer si un texte est humain ou généré par une IA. En somme, un processus typique d’apprentissage automatique. C’est par exemple le processus utilisé par l’outil Binoculars sur Huggingface.
Cette méthode est plus simple et rapide à mettre en place, pour peu que l’on ait les bonnes données à porté de main. Mais cela demande plus de maintenance et de coûts, à la fois pour l’entraînement mais aussi pour classifier chaque texte.
Aussi, on ne sait pas trop ce que fait le modèle de classification. On ne connaît pas les critères qu’il prend en compte pour faire cette classification.
Limites intrinsèques de ces outils
De par leur fonctionnement, ces outils sont limités. Nous le verrons plus bas lors de nos nombreux tests.
Les détecteurs d’IA peuvent donner des faux positifs. Un texte humain peut être considéré comme étant généré par de l’IA alors que cela n’est pas le cas. C’est certainement le cas pour des contenus formels comme ceux que l’on peut trouver sur wikipédia, les articles scientifiques ou sur les sites d’information du gouvernement. Ces textes “trop parfaits” peuvent être injustement considérés comme ceux d’une IA. Cela peut aussi être le cas des poèmes ou des paroles d’une chanson qui suivent une structure précise.
Ces outils peuvent également donner des faux négatifs : des textes détectés comme humains, alors qu’ils sont issus d’une IA générative. Les modèles les plus avancés (comme notre modèle Cicéron) peuvent générer des textes subtils et imprévisibles et sont généralement perçus comme humains.
On peut également parler des textes hybrides, générés par une IA et modifiés par l’homme. Ils peuvent être complexes à détecter. Et même si beaucoup de modèles de détections donnent un pourcentage (par exemple 41% IA et 59 % humain), à partir de quel niveau considère-t-on un texte humain ?
Enfin, la langue du texte doit être prise en considération. Le détecteur, tout comme l’IA générative, ont-ils été entraînés suffisamment pour cette langue ?
Pour le moment, même s’il était possible de détecter l’origine d’un texte, cela sera-t-il le cas dans l’avenir ? Les modèles d’IA évoluent rapidement et ont pour objectifs de reproduire un langage et une écriture humaine. S’ils ne sont pas infaillibles pour le moment, quant sera-t-il dans quelques mois ou quelques années ?
Présentation des tests et de la méthodologie
La position officielle de Google
Pour optimiser la qualité d’un contenu IA, la première étape consiste à s’aligner sur les critères E-E-A-T de google. Cela implique d’offrir une réelle valeur ajoutée pour votre lecteur :