OpenAI a construit un outil qui pourrait potentiellement attraper les étudiants qui trichent en demandant à ChatGPT de rédiger leurs devoirs – mais selon le Wall Street Journal, la société se demande si elle doit réellement le publier.
Dans une déclaration fournie à TechCrunch, un porte-parole d’OpenAI a confirmé que la société étudiait la méthode de tatouage de texte décrite dans l’article du Journal, mais a déclaré qu’elle adoptait une « approche délibérée » en raison de « la complexité impliquée et de son impact probable sur l’écosystème plus large ». au-delà d’OpenAI.
“La méthode de filigrane de texte que nous développons est techniquement prometteuse, mais comporte des risques importants que nous évaluons pendant que nous recherchons des alternatives, notamment la possibilité d’être contournée par de mauvais acteurs et le potentiel d’avoir un impact disproportionné sur des groupes tels que les non-anglophones”, a déclaré le porte-parole. .
Il s’agirait d’une approche différente de la plupart des efforts précédents visant à détecter le texte généré par l’IA, qui se sont révélés largement inefficaces. Même OpenAI lui-même a fermé son précédent détecteur de texte AI l’année dernière en raison de son « faible taux de précision ».
Avec le filigrane de texte, OpenAI se concentrerait uniquement sur la détection des écritures de ChatGPT, et non des modèles d’autres sociétés. Pour ce faire, il apporterait de petites modifications à la façon dont ChatGPT sélectionne les mots, créant essentiellement un filigrane invisible dans l’écriture qui pourrait ensuite être détecté par un outil distinct.
Suite à la publication de l’article du Journal, OpenAI a également mis à jour un article de blog en mai sur ses recherches sur la détection du contenu généré par l’IA. La mise à jour indique que le filigrane de texte s’est avéré « très précis et même efficace contre la falsification localisée, telle que la paraphrase », mais s’est révélé « moins robuste contre la falsification mondialisée ; comme utiliser des systèmes de traduction, reformuler avec un autre modèle génératif ou demander au modèle d’insérer un caractère spécial entre chaque mot, puis de supprimer ce caractère.
En conséquence, OpenAI écrit que cette méthode est « facile à contourner par de mauvais acteurs ». La mise à jour d’OpenAI fait également écho au point de vue du porte-parole concernant les non-anglophones, écrivant que le filigrane de texte pourrait « stigmatiser l’utilisation de l’IA comme outil d’écriture utile pour les anglophones non natifs »
