L’IA générative façonne déjà notre façon de créer, de partager et de consommer du contenu en ligne.
Ces outils peuvent produire de nouvelles images, vidéos, texte et audio secondeset souvent avec une seule invite.
Bien que cette technologie débloque des possibilités passionnantes, elle ouvre également la porte à des risques urgents et sans précédent pour la sécurité des enfants.
Chez Thorn, nous voyons déjà les façons dont l’IA générative est à mauvais escient pour exploiter et abuser des enfants. Mais nous savons également que nous sommes dans une fenêtre critique pour agir. Si l’ensemble de l’écosystème – y compris les décideurs, les plateformes, les organisations de protection de l’enfance et d’autres – agit maintenant, nous avons la possibilité de façonner cette technologie avant que ces dommages ne deviennent encore plus répandus.
Voici ce que nous voyons se produire aujourd’hui et ce qui doit arriver ensuite.
Pourquoi l’imagerie d’IA hyper-réaliste, générée instantanément est un risque urgent pour les enfants
L’intelligence artificielle n’est pas nouvelle.
En fait, chez Thorn, nous tirons parti de l’intelligence artificielle et de l’apprentissage automatique pour lutter contre les abus sexuels et l’exploitation des enfants depuis plus d’une décennie. Nos outils utilisent une IA prédictive pour détecter les abus sexuels et l’exploitation des enfants à grande échelle. Cela aide les enquêteurs à identifier plus de victimes d’enfants d’abus plus rapidement et perturbe la propagation des abus sexuels sur les enfants sur les plateformes technologiques.
Mais ce qui est nouveau et profondément différent, c’est l’explosion d’outils d’IA génératifs faciles à utiliser, capables de créer un contenu synthétique hyper réaliste. Soudain, n’importe qui, n’importe où peut exploiter les enfants avec seulement quelques clics.
La technologie elle-même n’est pas nouvelle. Ce qui est nouveau, c’est à quel point il est devenu accessible et répandu – et à quel point les images synthétiques photoréalistes sont maintenant plus difficiles que jamais de distinguer les visuels générés par l’IA de vrais. Cette évolution rapide, ainsi que la vitesse et l’échelle à laquelle le préjudice peut se propager, pose des défis importants pour protéger les enfants.
Comment l’IA génératrice est déjà à mauvais escient pour exploiter sexuellement les enfants
Nudes Deepfake et CSAM généré par l’AI
Les auteurs utilisent de plus en plus l’IA génératrice pour créer des images synthétiques sexuellement explicites d’enfants réels, connus sous le nom de matériel d’abus sexuel d’enfants généré par l’AI (AIG-CSAM). Cela comprend à la fois des images entièrement fabriquées et des «nus defake profonds»: de vraies photos d’enfants modifiées numériquement pour les représenter de manière sexuellement explicite – sans leurs connaissances ou leur consentement.
Ces violations ne sont pas hypothétiques. Ils se produisent déjà – et dans de nombreux cas, les auteurs ne sont pas des étrangers, mais des pairs.
Nudificateurs – et pourquoi ils sont un problèmeLes outils «Nudify» alimentés par AI sont largement disponibles en ligne et permettent aux utilisateurs de se déshabiller numériquement ou de sexualiser de vraies photos, souvent en quelques secondes. Ces outils sont largement commercialisés: en 2024, les publicités pour les nudificateurs sont même apparues sur les plates-formes traditionnelles, qui ont été confrontées à leur rôle sur leur rôle dans la propagation de ces outils grâce aux résultats de recherche et aux placements d’annonces.
Utilisation abusive des pairs et dommages scolairesLes enfants eux-mêmes utilisent de plus en plus les applications Nudify pour cibler leurs camarades de classe. Ces images commencent souvent comme des portraits scolaires innocents ou des photos de médias sociaux, puis sont modifiées avec des outils d’IA pour montrer aux enfants de manière explicite. Ce n’est pas seulement théorique – cela se produit déjà dans les écoles du pays. Dans une étude Thorn, 1 mineurs sur 10 a déclaré qu’ils connaissaient personnellement quelqu’un qui a utilisé des outils d’IA pour générer des images nues d’autres enfants.
Les conséquences sont graves. Le contenu peut être faux, mais le traumatisme est réel. Les victimes subissent des dommages émotionnels profonds, notamment l’anxiété, l’isolement social, l’intimidation et les dommages de réputation à long terme. Dans certains cas, les écoles ont dû impliquer les forces de l’ordre ou prendre des mesures disciplinaires, tout en luttant sur la façon de créer des politiques et des programmes d’éducation qui peuvent suivre la technologie en évolution rapide.
Une crise d’échelle et de réalismeLes nus defake sont particulièrement dangereux car ils semblent de façon inquiétante – en train de laisser la frontière entre les abus synthétiques et authentiques. Que l’image ait été générée par une caméra ou un ordinateur, le bilan psychologique sur les victimes est souvent le même.
Et à mesure que ces outils deviennent plus réalistes et plus accessibles, les systèmes de protection de l’enfance existants risquent de devenir dépassés. Les enquêteurs sont déjà confrontés à une aiguille en un problème de haystack lorsque vous essayez d’identifier les enfants en dommage actif. L’afflux de contenu d’abus généré par l’IA n’augmente que la botte de foin – en train de classer les flux de travail médico-légaux et de rendre plus difficile pour les forces de l’ordre de triage, de prioriser les victimes réelles et de les retirer du préjudice le plus rapidement possible. AIG-CSAM ne crée pas seulement de nouveaux dommages; Il est plus difficile de détecter et de répondre aux dommages existants.
Sextorsion compatible AINous avons également vu des nus générés par l’IA utilisés dans les escroqueries à sextorse. Les délinquants peuvent créer un faux nu d’un enfant, puis l’utiliser pour les menacer ou les extorquer pour un contenu ou une argent plus explicite. Même si l’image a été produite synthétiquement, la peur, la honte et la manipulation infligées à la victime sont très réelles.
L’approche de Thorn pour lutter contre les risques de sécurité des enfants de l’IA générative
L’IA générative inaugure de nouvelles formes d’abus sexuels et de revictimisation – à un rythme alarmant.
C’est une menace qui se passe tout de suite. Et à mesure que les capacités de l’IA avancent, nous risquons de prendre plus de retard à moins que nous agions.
Chez Thorn, nous pensons qu’il est possible de construire des systèmes d’IA avec des garanties en place depuis le début. C’est pourquoi nous travaillons directement avec les entreprises technologiques pour intégrer la sécurité par des principes de conception dans le développement et le déploiement de systèmes d’IA génératifs. La sécurité devrait être une fondation – pas une réflexion après coup.
Nous préconisons également les efforts politiques pour garantir que les abus sexuels sur les enfants générés par l’IA sont à la fois reconnus en vertu de la loi comme illégales et traitées de manière proactive avant qu’elle ne se propage. Au niveau fédéral, les lois actuelles couvrent une grande partie de cette activité, mais des lacunes demeurent. Au niveau de l’État, une clarté législative supplémentaire est souvent nécessaire.
La création ou le partage du matériel d’abus sexuel des enfants générés par l’IA (AIG-CSAM) est illégale en vertu de la loi fédérale américaine, ce qui interdit le contenu obscène impliquant des mineurs – même s’il est généré par ordinateur. Alors que de nombreux États mettent toujours à jour leurs lois pour aborder explicitement les images intimes générées par l’AI, des arrestations ont déjà été effectuées dans les cas impliquant la distribution des nus profonds des élèves du secondaire. Dans la plupart des juridictions, partageant ou générant ces images – en particulier de mineurs – peuvent conduire à des accusations criminelles, y compris pour les adolescents qui abusent de ces outils contre leurs pairs.
Pour un exemple du monde réel, voir Cet article du NYT sur les abus sexuels sur les enfants générés par l’IA et les lacunes juridiques.
Plus important encore, nous aidons les gens à comprendre que le CSAM généré par l’AI n’est pas de «faux» abus. Cela fait du mal aux vrais enfants, et il faudra des mesures collectives pour les garder en sécurité.
Ce que vous pouvez faire maintenant
Si vous êtes un parent ou un soignant:Commencez tôt, restez ouvert et continuez à parler. Les conversations sans jugement et en cours aident les enfants à se sentir en sécurité à venir vers vous lorsque quelque chose ne se sent pas bien, en particulier dans un monde numérique qui évolue plus rapidement que n’importe lequel d’entre nous ne peut suivre. Posez des questions, écoutez attentivement et faites-leur savoir qu’ils peuvent toujours se tourner vers vous, quoi qu’il arrive.
Si vous ne savez pas comment commencer, notre gratuit Guide de nus Deepfake à navigation Offre des scripts et des étapes pratiques soutenus par des experts pour naviguer en toute confiance ces conversations.
Si vous travaillez dans une entreprise en train de construire ou de déployer une IA générative:Vous avez le pouvoir et la responsabilité d’aider à prévenir les dommages avant que cela ne se produise. Engagez-vous à construire avec sécurité par conception à l’esprit. Évaluez comment vos outils pourraient être utilisés à mauvais escient pour générer du contenu nuisible ou abusif et agissez. En savoir plus sur le projet de sécurité par conception de Thorn ici.
