Détecteur texte IA : ce qu’il faut savoir sur ces outils

Plus que jamais, les derniers modèles d’IA brouillent les frontières entre les textes écris par un humain et ceux générés par l’IA.

Une gamme croissante de détecteurs IA prétend distinguer cette fine frontière entre l’IA et un rédacteur.

Cette affirmation est-elle vraie ? Comment la détection de l’IA fonctionne-t-elle de l’intérieur ?

Qu’il s’agisse de protéger votre marque ou de garantir la rigueur académique, voici un guide détaillé sur la précision et la fiabilité réelles des détecteurs d’IA.

Comment les détecteurs d’IA détectent-ils les contenus d’IA ?

Lorsque vous utilisez des détecteurs d’IA, vous tirez parti d’outils qui analysent le texte à l’aide de techniques avancées de ML et d’algorithmes.

Voici les caractéristiques qu’ils recherchent :

• Perplexité : Cette mesure évalue le degré de prévisibilité du texte. Les contenus générés par l’IA obtiennent souvent un faible score de perplexité car ils ont tendance à suivre des modèles prévisibles. Cela peut rendre le texte fluide, mais parfois trop uniforme ou fade.
• L’éclatement : Il s’agit de la variation de la longueur et de la structure des phrases. Votre texte peut mélanger des phrases courtes et nettes avec des phrases plus longues et plus complexes, montrant ainsi un degré élevé d’éclatement. Les textes générés par l’IA ne présentent généralement pas cette variété ; ils s’en tiennent à un modèle plus cohérent, ce que les détecteurs d’IA considèrent comme un signe de paternité non humaine.
• Analyse statistique : De nombreux détecteurs d’IA comparent votre texte à de vastes bases de données de textes connus générés par l’IA et écrits par des humains. Ils recherchent des modèles que l’on retrouve fréquemment dans les textes d’IA, comme certaines répétitions de phrases ou une syntaxe simplifiée.
• Techniques supplémentaires : Certains des détecteurs les plus sophistiqués analysent les nuances grammaticales, la cohérence des idées et même les éléments stylistiques. Ils évaluent si le texte ressemble à ce qu’un être humain écrirait ou s’il donne l’impression d’avoir été assemblé par un ordinateur.

Les détecteurs d’IA fonctionnent-ils ?

Lorsque vous comptez sur des détecteurs d’IA pour vérifier l’authenticité d’un contenu, vous devez évidemment vous assurer de leurs capacités et de leurs limites.

Voici ce que la recherche actuelle dit de leur efficacité :

• Défis en matière de précision pour les contenus modifiés par l’IA : Des études ont montré que les détecteurs d’IA ont souvent du mal à maintenir un niveau de précision élevé, en particulier lorsqu’ils rencontrent un contenu généré par l’IA qui a été délibérément modifié pour éviter d’être détecté. Dans certains scénarios, les taux de précision ont chuté jusqu’à 17,4 %.
• Préjugés à l’égard des locuteurs non anglophones : Les détecteurs d’IA peuvent faire preuve de partialité, en particulier à l’égard des contenus produits par des personnes dont la langue n’est pas la langue maternelle, les classant souvent à tort comme étant générés par l’IA. Cela peut conduire à des situations où votre contenu authentique est signalé à tort.
• Faux positifs et faux négatifs : Le jugement des détecteurs d’IA est très incohérent, s’abstenant parfois complètement d’un jugement final en donnant une réponse « incertaine ». Ils peuvent qualifier certains contenus créés par l’homme d’IA et d’autres générés par l’IA d’humains, ce que nous appelons également des faux positifs et des faux négatifs. Un faux positif, lorsqu’un contenu créé par l’homme est étiqueté à tort comme étant généré par l’IA, peut nuire à la réputation et à la confiance, en particulier dans les milieux universitaires.
• Impact de l’évolution des modèles : les progrès continus des modèles LLM font que les détecteurs d’IA perdent en précision et en fiabilité au fil du temps. Par exemple, il y a toujours un énorme écart de précision entre la détection de GPT-3,5 et celle de GPT-4 et Claude 3. Les détecteurs d’IA doivent constamment s’adapter pour rester pertinents.
• Rédaction formelle : les rédactions plus formelles et structurées sont plus susceptibles d’être identifiées comme des contenus d’IA par les détecteurs d’IA. C’est pourquoi certains outils comme Originality.AI avertissent les utilisateurs de ne réviser que les écrits plus informels.

Devriez-vous utiliser des détecteurs d’IA pour votre cas d’utilisation ?

Sur la base des conclusions tirées de ces études récentes, les détecteurs d’IA s’accompagnent de mises en garde qui requièrent votre attention.

Il faut d’abord savoir que les détecteurs d’IA ne sont pas infaillibles. Leur efficacité varie considérablement et certains d’entre eux peuvent avoir du mal à obtenir des taux de précision lorsqu’ils sont confrontés à des contenus manipulés conçus pour échapper à la détection. Ils ne devraient donc pas être les seuls arbitres dans des environnements à forts enjeux tels que les milieux universitaires ou l’édition professionnelle.

En outre, le risque de partialité de ces outils ne doit pas être négligé. Il a été démontré que les détecteurs d’IA classent à tort le contenu produit par des personnes dont l’anglais n’est pas la langue maternelle comme étant généré par l’IA. Cette partialité complique encore les choses lorsque les enjeux concernent la crédibilité et la gestion éthique du contenu.

Compte tenu de ces limites, l’approche la plus efficace consiste à utiliser les détecteurs d’IA comme un élément de votre stratégie globale de vérification de l’authenticité du contenu. Ces outils doivent compléter, et non remplacer, les jugements nuancés des réviseurs humains qui comprennent les subtilités du langage et du contexte que l’IA ne peut pas toujours saisir.

Si vous décidez de mettre en œuvre des détecteurs d’IA, il est essentiel de vous tenir au courant des dernières évolutions de la technologie de détection de l’IA. Des mises à jour régulières et un contrôle continu de leurs performances sont essentiels pour garantir que les détecteurs d’IA restent un élément utile de votre boîte à outils.

Vous devez également faire preuve de transparence quant aux outils que vous utilisez et à leurs limites lorsque vous portez un jugement à fort enjeu.

Les meilleurs détecteurs d’IA : Une comparaison

Au moment de choisir un modèle de détection de l’IA, vous voudrez un modèle qui se distingue non seulement par sa précision, mais aussi par le fait qu’il ne confond pas un texte humain avec un contenu généré par l’IA.

Les dernières études publiques et privées permettent de comparer chaque outil sur le marché :

Études universitaires

Une étude réalisée en décembre 2023 par l’International Journal for Educational Integrity a recueilli des données sur les détecteurs d’intelligence artificielle les plus répandus sur le marché. Voici les résultats de ces modèles

• TurnItIn et OpenAI Text Classifier se distinguent par les taux de précision les plus élevés, ce qui indique qu’ils sont les plus susceptibles d’identifier correctement les contenus générés par l’IA et ceux générés par l’homme.
• Crossplag et Compilatio suivent de près, ce qui suggère qu’il s’agit d’options fiables, bien qu’avec un taux de précision légèrement inférieur à celui des leaders.
• GPT Zero, Writer et Go Winston présentent des niveaux de précision modérés. Cela suggère que, bien qu’ils soient généralement fiables, il peut y avoir des lacunes occasionnelles dans l’identification correcte des types de contenu.
• Content at Scale et Check For AI se situent au bas de l’échelle de précision des outils présentés. Ils peuvent offrir des capacités de détection de base, mais pourraient bénéficier d’une vérification supplémentaire par d’autres moyens.

Pour votre stratégie, tenez compte des éléments suivants :

1. Contenu à fort enjeu : Si votre stratégie de contenu implique des informations à fort enjeu pour lesquelles la précision n’est pas négociable, comme les écrits académiques ou les rapports techniques, il peut être utile d’utiliser des outils tels que TurnItIn ou OpenAI Text Classifier.
2. Contenu général : Pour un contenu plus général, où les inexactitudes occasionnelles sont moins critiques, un outil comme GPT Zero ou Writer peut offrir un bon équilibre entre performance et coût.
3. Contraintes budgétaires : Si votre budget est serré et que vous avez besoin d’une solution plus rentable, vous pouvez envisager Content at Scale ou Check For AI, tout en gardant à l’esprit qu’ils peuvent nécessiter une supervision plus manuelle.

Étude privée

Originally.AI a également réalisé son propre benchmark en open-source pour comparer les modèles actuels de détection de l’IA. Tout en tenant compte de la partialité évidente de l’entreprise, voici ce que dit la cartographie :

Originality.AI arrive clairement en tête avec un score F1 de 0,975. Cette mesure, qui combine la précision et le rappel, indique qu’il est bien équilibré entre l’identification des contenus générés par l’IA et le fait de ne pas signaler à tort des travaux rédigés par des humains. Sa précision est excellente (0,966), ce qui signifie que lorsqu’il identifie un contenu généré par l’IA, il a presque toujours raison. De plus, avec une spécificité de 0,965 et une précision exceptionnelle de 0,975, vous pouvez faire confiance à cet outil pour minimiser les faux positifs (taux de 0,035) et réduire les fausses alertes à un chuchotement.

Plus loin, Winston.ai pourrait vous faire réfléchir. Malgré une précision décente de 0,886, son rappel et sa précision racontent une histoire différente, avec respectivement 0,368 et 0,660. Avec un taux de faux positifs de 0,046, il n’est pas le plus fiable pour différencier un texte humain.

Sapling.ai peut vous laisser sur votre faim avec un score F1 de 0,379. La précision n’est pas si mal avec 0,765, mais un rappel de seulement 0,252 combiné à une précision plus faible de 0,588 suggère qu’il pourrait ne pas attraper tout le contenu de l’IA, et un taux de faux positifs plus élevé de 0,076 signifie qu’il pourrait sonner quelques alarmes inutiles.

Jetons maintenant un coup d’œil à GPTZero. Il affiche une précision impressionnante de 0,9585, ce qui suggère qu’il est digne de confiance lorsqu’il identifie un contenu généré par l’IA. Cependant, le faible rappel de 0,208, associé à une précision de seulement 0,599, implique qu’il peut manquer de nombreux contenus générés par l’IA. Sa spécificité est très élevée (0,991), ce qui signifie que les faux positifs sont rares, mais est-ce suffisant ?

Pour Content at Scale, les chiffres montrent une spécificité équilibrée de 0,985 et une précision de 0,935. Cependant, un rappel de 0,204 et une précision de 0,594 indiquent qu’il n’est peut-être pas le meilleur pour identifier le contenu de l’IA, même s’il se trompe rarement dans l’étiquetage du travail humain.

Enfin, Copyleaks est prometteur avec une précision de 0,975 – lorsqu’il détecte un contenu d’IA, vous pouvez presque compter sur lui. Avec le taux de faux positifs le plus bas (0,005), il se trompe rarement sur les contenus humains. Cependant, avec un rappel de seulement 0,198 et une précision de 0,596, il n’est pas le plus efficace pour détecter tous les textes rédigés par l’IA.

Notre conclusion ? Originality.AI semble s’imposer comme le meilleur candidat en termes de précision et de fiabilité, tandis que d’autres comme GPTZero et Copyleaks excellent en termes de précision mais peuvent nécessiter des vérifications supplémentaires en raison d’un rappel plus faible.

A vous d’essayer tous ces outils de détection de l’IA par vous-même, en tenant compte de leurs limites !