+34
Étude comparant Pangram et GPTZero sur des textes humains et générés, révélant les limites des scores élevés et l'incertitude des outils actuels.
Peut-on déterminer si un texte a été écrit avec ChatGPT en le soumettant à un détecteur d'IA? Après l'affaire Thélyson Orélien, nous avons voulu repartir de cas dont nous connaissions précisément l'origine.
Des détecteurs face aux écritures mixtes
Textes écrits bien avant ChatGPT, productions entièrement générées par IA, simples corrections ou réécritures beaucoup plus profondes : Pangram et GPTZero reconnaissent plutôt bien les situations les plus tranchées. Dès que l'humain et la machine commencent à partager l'écriture, leurs verdicts racontent une histoire beaucoup moins nette. En quelques jours, Pangram s'est retrouvé au cœur de la rentrée littéraire.
Le 21 septembre, après l'attribution du Prix du roman Fnac, elle s'enchaîne avec ses propres essais : plus de la moitié du livre est soumise au détecteur, qui classe plus de 95 % du texte comme généré par IA, avec un niveau de confiance élevé. Elle invoque les plagiats anciens révélés entre-temps, mais aussi plusieurs analyses qu'elle juge convergentes sur l'usage de l'IA. Orélien conteste ces accusations.
Son éditeur québécois, Le Boréal, se montre plus prudent : il affirme qu'aucune IA n'a été utilisée pendant son propre travail éditorial, sans pouvoir certifier ce qui s'est passé avant la remise du manuscrit. C'est là que le sujet nous intéresse vraiment. Que prouve un score de 97, 99 ou 100 % affiché par un détecteur ? Pour le savoir, nous avons soumis Pangram et GPTZero à des textes dont, cette fois, nous connaissions précisément l'origine.
Le test de Pangram et GPTZero
Ce premier test ne constitue qu'un point de départ. Nous allons maintenant confronter ces outils à des cas beaucoup plus difficiles : textes longs, styles variés, mélanges volontaires entre écriture humaine et IA, réécritures profondes et tentatives de faire chuter artificiellement les scores. Avec, en parallèle, une question qui dépasse largement les détecteurs : Sur les cas les plus simples, Pangram et GPTZero retrouvent généralement la bonne piste. Trois sont extraits d'articles Clubic publiés en 2021, avant l'arrivée de ChatGPT.
Quatre autres ont été intégralement générés avec ChatGPT Sol 6.1. Nous avons ensuite préparé deux situations intermédiaires : un article humain auquel l'IA n'a apporté que six petites corrections et un autre dont ChatGPT a beaucoup plus profondément réécrit les formulations.
Enfin, de Victor Hugo a servi de témoin court, traité à part en raison de sa longueur et de sa nature très différentes. Il faut prendre quelques secondes pour comprendre ce que ces pourcentages signifient, car Pangram et GPTZero ne mesurent pas exactement la même chose. Chez Pangram, les pourcentages que nous avons relevés correspondent à la fraction du document attribuée à chacune de ses catégories.
Comment lire les pourcentages des détecteurs
Le "AI assistance score" que Pangram calcule par ailleurs est un indice continu d'implication de l'IA, et non la probabilité que l'étiquette affichée soit correcte. GPTZero fonctionne différemment : les valeurs affichées correspondent aux probabilités attribuées à différentes classes pour l'ensemble du document. Dans les deux cas, lire "60 %" comme "60 % des mots ont été écrits par une machine" serait donc une erreur.
Sur nos témoins les plus simples, les deux services sont plutôt difficiles à prendre en défaut. Les trois articles Clubic de 2021 ressortent 100 % humains dans les deux outils. Même Victor Hugo échappe au scénario, souvent évoqué à propos des détecteurs, du classique littéraire pris pour ChatGPT : Pangram et GPTZero considèrent tous deux. Il faut néanmoins ajouter une limite à ces bons résultats.
Nos témoins humains ne sont pas inédits. Les articles Clubic sont accessibles sur le Web depuis 2021 et le poème de Victor Hugo est largement diffusé. Rien ne permet d'affirmer que ces textes précis aient figuré dans les données ayant servi à développer les détecteurs, mais nous ne pouvons pas non plus écarter totalement ce biais potentiel. Trois textes d'un même auteur ne permettent de toute façon pas d'en tirer un taux de faux positifs représentatif.
Les résultats sur nos textes témoins
Dans notre petit corpus, le constat est simplement plus modeste : aucun de nos témoins humains n'a été pris pour un texte généré par IA. Les textes intégralement générés sont bien reconnus la plupart du temps, à une exception notable sur laquelle nous reviendrons. T06 obtient 100 % IA dans les deux outils. T02 est identifié à 99 % comme IA par GPTZero et très majoritairement comme tel par Pangram.
Notre tentative la plus simple pour brouiller les pistes ne change pas grand-chose non plus. Pour T09, nous avions demandé à ChatGPT d'éviter un rythme trop régulier, de varier davantage ses phrases et de réduire certains marqueurs stylistiques associés aux productions automatiques. Pangram répond 100 % IA, GPTZero 97 % IA. Demander simplement à ChatGPT d'écrire plus humainement n'a donc pas suffi, dans notre essai, à disparaître des radars.
Cela ne signifie pas qu'une génération plus travaillée ou une véritable stratégie de contournement échouerait toujours.
Détecteurs D'ia Chatgpt Pangram Gptzero Écriture Humaine
France Dernières Nouvelles, France Actualités
Similar News: Vous pouvez également lire des articles d'actualité similaires à celui-ci que nous avons collectés auprès d'autres sources d'information.
Recrudescence du Covid-19 : les indicateurs sanitaires augmentent dans plusieurs départementsSelon Santé publique France, les consultations et passages aux urgences liés au Covid-19 ont augmenté entre le 21 et le 27 septembre. La Somme, la Seine-Maritime, les Yvelines et les Pyrénées-Orientales enregistrent le plus d'actes médicaux liés au virus, tandis que la Lozère et la Meuse présentent les taux de passages aux urgences les plus élevés. Les Hauts-de-Seine et le Lot-et-Garonne affichent les taux d'hospitalisation les plus importants.
Lire la suite »
Mobilisation des lycéens : les Français exaspérés par les blocus des établissements et les violencesLa mobilisation des lycéens et des étudiants se poursuit et les débordements aussi. Environ 1.800 personnes, dont une grande majorité de mineurs, ont été placées en
Lire la suite »
Les retraites façon Edouard Philippe et les médias menacés par les politiquesRendez-vous ce matin pour un nouvel échange constructif et intelligent entre Emmanuelle Mignon, avocate et ancienne haute fonctionnaire, et Gilles Finchelstein, secrétaire général de la Fondation Jean Jaurès.
Lire la suite »
Brigitte Ségard, présidente de l’Association des maires de Haute-Garonne‘‘ Les maires restent aussi les élus les plus proches des citoyens ’’
Lire la suite »