Les agents vocaux de l’intelligence artificielle ayant diverses capacités peuvent désormais guider les interrogatoires dans le monde entier, ont déclaré des responsables du Pentagone à Defence News. Cette avancée a influencé la conception et les tests des agents de l’IA militaire américains destinés à interroger le personnel cherchant à accès à des documents classifiés.
La situation arrive à mesure que les préoccupations se développent selon lesquelles les réglementations laxistes permettent aux programmeurs d’IA d’esquiver la responsabilité de la perpétration par un acteur algorithmique de violence émotionnelle ou de cybertrauture «sans marques». Notamment, un adolescent serait décédé par suicide – et plusieurs autres ont enduré la détresse mentale – après avoir conversé avec des «compagnons» d’auto-apprentissage et des «compagnons» qui dispensaient le langage antagonisant.
Maintenant, sept ans après avoir écrit sur la torture physique dans «la montée en puissance de l’interrogatoire de l’IA à l’aube des robots autonomes et la nécessité d’un protocole supplémentaire à la Convention des Nations Unies contre la torture», la procureur de la vie privée Amanda McAllister Novak voit un besoin encore plus important d’interdictions et de répercussions criminelles.
Dans le sillage de l’utilisation de «chatbots, de bots de voix et d’autres technologies compatibles AI à des fins psychologiquement abusives – nous devons penser si cela vaut la peine d’avoir des systèmes de questionnement AI dans le contexte militaire», a déclaré Novak, qui siège également au monde sans conseil d’administration de génocide. Novak s’est entretenu avec Defence News en son propre nom.
Royal Reff, porte-parole de l’agence américaine de contre-espionnage et de sécurité de la défense (DCSA), qui dépasse les individus qui tenaient ou postulent pour des autorisations de sécurité, a déclaré dans un communiqué que l’agent vocal de l’IA de l’agence était «expressément développé» à «Mitigat[e] Les biais de genre et culturels »que les enquêteurs humains peuvent abriter.
De plus, «Parce que des systèmes comme le logiciel de l’intervieweur» sont «actuellement utilisés dans le monde entier, y compris aux États-Unis par les forces de l’ordre et les forces de l’ordre locales, nous pensons qu’il est important pour nous de comprendre les capacités de ces systèmes», a-t-il déclaré.
Le porte-parole de la DCSA, Cindy McGovern, a ajouté que le développement de cette technologie se poursuit en raison de son «potentiel d’amélioration de la sécurité nationale américaine, indépendamment des autres applications étrangères».
Après avoir entendu la justification du projet, Novak a enregistré des préoccupations concernant la race mondiale pour la domination des capacités de l’IA militaire.
Les chances sont élevées que «peu importe à quel point le gouvernement se soucie de la formation, de la surveillance et des garde-corps appropriés», les organisations cybercriminales ou les cybercriminels parrainés par les étrangers peuvent pirater et armer l’IA appartenant à des militaires pour blesser psychologiquement les officiers ou les civils, a-t-elle déclaré.
“Les espaces criminels en ligne sont florissants” et “nuisent aux personnes les plus vulnérables”, a ajouté Novak.
Les investisseurs parient 500 milliards de dollars que les centres de données pour la gestion des applications d’IA assurent finalement le leadership mondial dans l’IA et les économies de coûts dans les secteurs public et privé. Le marché de l’IA conversationnel de 13 milliards de dollars à lui seul quadruptera presque à 50 milliards de dollars d’ici 2030, alors que l’industrie du générateur de voix monte de 3 milliards de dollars à 40 milliards de dollars d’ici 2032. Pendant ce temps, la US Central Intelligence Agency a joué avec des interrogateurs d’IA depuis au moins au début des années 1980.
Les responsables de la DCSA ont écrit publiquement en 2022 que si une entrevue de sécurité peut être entièrement automatisée reste une question ouverte. Les résultats préliminaires des séances de questionnement simulées «sont encourageants», ont noté des responsables, soulignant les avantages tels que «des types de formats d’entrevue plus longs et plus naturalistes».
REFF a déclaré que l’agence «n’utiliserait un tel système qui n’a d’abord pas été suffisamment étudié pour comprendre son potentiel», y compris les «conséquences négatives».
Les chercheurs ont laissé les volontaires soulever des inquiétudes après chaque test, et aucun n’a indiqué que l’intervieweur de Voicebot les avait blessés psychologiquement ou autrement, a-t-il ajouté.
Cependant, les expériences avec un prototype récent ont interdit aux bénévoles souffrant de troubles mentaux de participer, tandis que les entretiens de sécurité réels n’exemptent généralement pas les personnes souffrant de problèmes de santé mentale, a noté Renée Cummings, professeur de science des données et psychologue criminel à l’Université de Virginie.
Cummings a déclaré que la recherche et les tests ne peuvent jamais expliquer chaque variable psychologique qui peut influencer l’état émotionnel ou cognitif de la personne interrogée.
Dans les scénarios de test de laboratoire ou de terrain, “Vous ne pouvez pas exposer quelqu’un à une torture extrême par un avatar ou par un bot pour voir le résultat”, a déclaré Cummings, qui siège également au Conseil consultatif de l’Initiative AI & Equality au Carnegie Council for Ethics in International Affairs. «Nous devons nous concentrer sur la compréhension plus sophistiquée des impacts des algorithmes sur l’état psychologique, nos émotions et notre cerveau – en raison de la capacité de l’IA à avoir un impact sur le temps réel.»
Crésage des sérances de voalbot
Une transcription de la CIA du début des années 80 d’une prétendue conversation entre un programme d’IA et un espion présumé met en évidence l’intérêt de longue date du monde de la sécurité nationale pour l’automatisation de l’intelligence de source humaine, ou de la collection Humint.
Les développeurs ont conçu les algorithmes du chatbot pour analyser les corrélations entre les comportements et les mots ou les mots ou les phrases de Joe Hardesty, dans les réponses de Hardesty aux questions ouvertes.
À partir de cette analyse, le chatbot a fixé certaines des vulnérabilités du suspect, y compris des sujets qui peuvent frapper un nerf brut:
AI: Que pensez-vous que mon intérêt est mon intérêt pour votre gouvernement?
HARDESTY: Je pense que vous feriez dans mon gouvernement si vous en aviez une chance.
AI: Vous êtes enclin à penser que je ferais dans votre gouvernement parce que?
HARDESTY: Vous êtes anti-démocratique.
En 1983, la CIA a plaisanté sur le fait que Joe Hardesty a la chance que «si le sondage devient trop inconfortable, il aura une option qui ne sera pas disponible pour lui dans une véritable situation d’entrevue à l’étranger – il peut arrêter les questions avec un coup de« désactivation ».
Aujourd’hui, Bradley Moss, un avocat qui représente les dénonciateurs accusés de fuir, ne se moque pas de la vision de la DCSA des interviews entièrement automatisées.
“Il faudrait que quelqu’un observe” l’avatar “qui peut arrêter le processus, qui peut entrer dans la pièce et y insérer un élément humain”, a-t-il averti.
Là encore, d’autres critiques notent qu’un humain peut ne pas vouloir intervenir. Une situation avec “un surveillant humain surveillant le chatbot est bien, à moins que l’homme ne pense également que la torture verbale est une bonne chose. Et c’est une réelle possibilité”, a déclaré Herb Lin, chercheur principal pour la cyber politique et la sécurité à l’Université de Stanford qui détenaient autrefois plusieurs autorisations de sécurité.
Malgré une interdiction mondiale de la torture et des preuves que les entretiens de création de relations sont plus efficaces que ceux qui ont des confessions, les responsables du renseignement continuent de soumettre des personnes interrogées à un traitement inhumain.
Novak, l’avocat de la confidentialité des données et activiste anti-génécide, a déclaré que l’idée que la force excessive fait le travail peut encourager certains entrepreneurs gouvernementaux à définir des mesures de performance pour les algorithmes vocaux qui permettent l’intimidation.
“Bien que l’IA ait une énorme capacité à faire ressortir le meilleur du potentiel humain, il a également la capacité d’exacerber le pire potentiel humain et d’élever cette hostilité”, a-t-elle ajouté.
Les parents soutiennent que Voicebot et Chatbot Companions, formé sur le contenu des forums en ligne, montrent exactement cela.
Caractère AI, l’entreprise qui propose des relations virtuelles avec des robots sur des icônes et des influenceurs, les bénéfices des utilisateurs collés à leurs téléphones. Chaque utilisateur, en moyenne, parle deux heures par jour avec divers amis virtuels. Les responsables de l’IA du caractère ont déclaré qu’après avoir appris les préoccupations, l’entreprise a réduit la probabilité que les utilisateurs rencontrent du contenu suggestif et les avertissent maintenant des conversations d’une heure.
Novak a commenté que les accusations contre les personnages AI illustrent la capacité des voix d’auto-apprentissage à amplifier l’indécence dans la formation des données et à distribuer des formateurs de la responsabilité de cette offensivité.
Dans le domaine de la sécurité nationale, les développeurs de systèmes vocaux militaires d’IA qui peuvent potentiellement abuser ou terroriser opérer dans une terre de no man sans loi. Les politiques d’éthique de l’IA dans le pays le plus puissant du monde n’offrent presque aucun guide sur la désamoralisation des conversations abusives.
Les premiers politiques responsables et éthiques des États-Unis dans l’espace de sécurité nationale se sont concentrées sur l’exactitude, la vie privée et la minimisation des biais raciaux et ethniques – sans égard à l’impact psychologique. Cet écart de politique s’est élargi après que le président Donald Trump a révoqué de nombreux règlements dans un décret exécutif visant à accélérer l’innovation du secteur privé.
En général, la souffrance psychologique est souvent «brossée» comme une simple allégation car «elle ne laisse aucune cicatrice physique évidente».
Les Nations Unies n’ont initialement pas abordé la «torture psychologique» en vertu de la Convention de 1984 contre la torture. Il y a seulement cinq ans, le terme a pris une signification.
Un rapport des Nations Unies en 2020 définit désormais la «torture», en partie, comme toute technique prévue ou conçue pour infliger délibérément une douleur mentale ou une souffrance sévère «sans utiliser le conduit» de «douleur physique sévère ou souffrance».
Au fond, la torture psychologique cible les besoins humains de base. Les techniques d’interrogatoire suscitent la peur; violation de la vie privée ou de l’intégrité sexuelle pour allumer la honte ou les idées suicidaires; modifier le son pour augmenter la désorientation et l’épuisement; favoriser puis trahir la sympathie à l’isolat; et inculquer l’impuissance.
Lorsqu’un audio algorithmique est le conduit de la cruauté, ni le traité des Nations Unies ni d’autres lois internationales ne sont équipés pour tenir les humains responsables, a déclaré Novak. Sans des règles contraignantes sur l’utilisation de l’IA dans le contexte militaire, «les mauvais acteurs nieront une telle torture« intentionnelle »- un élément requis pour la responsabilité pénale que la loi créée avant la maturation de l’IA, a-t-elle expliqué.
En regardant vers l’avenir, Nils Melzer, auteur du Rapport de l’ONU 2020 et ancien Rapporteur spécial des Nations Unies sur la torture, a averti que l’interprétation de la torture psychologique devait évoluer en synchronisation avec les technologies émergentes, «comme l’intelligence artificielle», car les cyber environnements offrent «une anonymat pratiquement garantie et une impunité artificielle» aux délinquants.
