Como impedir que os alunos façam deepfakes uns dos outros

Não há contagem oficial de quantos estudantes foram vítimas de deepfakes explícitos, mas suas histórias estão aumentando mais rápido do que os funcionários da escola estão preparados para lidar com o abuso.

No outono passado, as meninas que participaram de um dança na Issaquah High School no estado de Washington, descobriram que um colega havia criado versões explícitas de fotografias tiradas deles no evento, usando software alimentado por inteligência artificial. Em fevereiro, uma menina de 13 anos do sul da Califórnia aceitou um pedido de amizade de um colega de classe em sua conta privada do TikTok. Ele então usou uma captura de tela de um vídeo para gerar uma versão nua da imagem e compartilhou com amigos. de acordo com Registro do Condado de Orange.

À medida que casos como estes proliferam, os pais preocupados com os seus filhos podem não perceber que as escolas estão lamentavelmente despreparadas para investigar abusos baseados em imagens de IA e proporcionar consequências justas, ou mesmo impedir o comportamento em primeiro lugar.

Adam Dodge, fundador da Acabando com o abuso habilitado pela tecnologia (EndTAB), apresenta o tema em escolas de todo o país, muitas vezes a convite dos administradores. Ele diz que, embora algumas escolas estejam ansiosas por aprender como lidar com os deepfakes explícitos, ainda existem lacunas significativas na compreensão das pessoas sobre a tecnologia e não existem diretrizes universais para prevenir e responder a tais abusos.

“Há algumas crianças sendo presas, algumas expulsas, algumas suspensas, [and for] alguns, nada acontece com eles e ninguém ganha”, diz Dodge, referindo-se a casos recentemente divulgados de deepfakes explícitos criados por estudantes.

Os deepfakes explícitos são legais?

Não existe nenhuma lei federal que criminalize a geração ou disseminação de imagens deepfake explícitas, embora legislaturas estaduais apresentaram recentemente projetos de lei com o objetivo de tornar ambos os atos ilegais. O Departamento Federal de Educação também não se pronunciou sobre o assunto.

Um porta-voz da agência disse ao Mashable que o departamento não lançou orientações “para abordar a questão específica dos alunos que usam tecnologia de IA para desenvolver imagens ‘deepfake’ prejudiciais de outras pessoas”, mas observou que “todos os alunos merecem acesso a serviços acolhedores, de apoio, e escolas e salas de aula seguras.”

O porta-voz apontou Mashable para o recursos do departamento para clima e disciplina escolarbem como informações compartilhadas pelo Departamento de Segurança Cibernética e Segurança de Infraestrutura do Departamento de Segurança Interna dos EUA para criar escolas mais seguras.

As principais plataformas de compra de aplicativos variam na forma como regulam aplicativos capazes de gerar deepfakes explícitos. A App Store da Apple não tem regras específicas que os proíbam, embora proíbe aplicativos abertamente sexuais e pornográficos. A Play Store do Google também proíbe aplicativos relacionados a conteúdo sexual. Embora seja A política de IA não usa o termo deepfake, exige que os desenvolvedores proíbam e impeçam a geração de conteúdo restrito, incluindo pornografia e conteúdo que “facilita a exploração ou abuso de crianças.”

A Apple também disse ao Mashable que os desenvolvedores não devem enviar para a loja aplicativos que “incluam conteúdo difamatório, discriminatório ou mesquinho, especialmente se o aplicativo for susceptível de humilhar, intimidar ou prejudicar um indivíduo ou grupo alvo”.

Ainda assim, como alguns aplicativos de edição de imagens e vídeos capazes de gerar deepfakes explícitos podem não ser comercializados como tal, pode ser um desafio detectar esses aplicativos e bloqueá-los em uma loja. Na semana passada, a Apple removeu três aplicativos de geração de imagens de IA que anunciavam sua capacidade de criar imagens de nudez não consensuais, seguindo um 404 Investigação da mídia em sua disponibilidade na App Store. O Google também baniu um aplicativo semelhante do Play no início deste mês por comercializar o mesmo recurso, de acordo com 404 mídia.

Muitos desses aplicativos podem estar disponíveis online, hospedados em sites que não são examinados como as lojas de aplicativos.

Assim, na ausência de regulamentação legal e orientação federal, as escolas normalmente navegam sozinhas neste território desconhecido e perigoso, diz Dodge. Ele e outros especialistas dizem que as escolas e as suas comunidades devem tomar medidas rápidas. O primeiro passo, argumentam eles, é ajudar educadores, pais e alunos a desenvolver uma compreensão sólida do abuso baseado em imagens de IA e dos seus danos. Outras estratégias incluem capacitar os jovens para defenderem políticas em toda a escola e estabelecer expectativas claras para o comportamento dos alunos à medida que são expostos a ferramentas deepfake.

Dodge alerta os educadores contra agir lentamente e subestimar os danos que os alunos podem causar com esta tecnologia.

“Isso permite que esses alunos tecnicamente pouco sofisticados façam coisas terrivelmente sofisticadas com seus colegas”, diz ele.

O que as escolas deveriam fazer sobre deepfakes

Shelley Pasnik, vice-presidente sênior do Centro de Desenvolvimento Educacional, sem fins lucrativos, acredita que, como atualmente não existem abordagens estaduais ou nacionais para lidar com deepfakes explícitos, as respostas das escolas irão variar amplamente.

Pasnik diz que as escolas com recursos financeiros e programas de saúde estabelecidos, juntamente com um maior envolvimento dos pais, podem ter maior probabilidade de conversar sobre o problema. Mas nas escolas com menos apoio geral, ela espera que os alunos não recebam instrução relacionada.

“Em alguns ambientes, as crianças vão crescer pensando, pelo menos por algum tempo, que isso não é grande coisa”, diz Pasnik.

Para contrariar isto, ela recomenda que os adultos nas comunidades escolares recrutem os alunos como parceiros em conversas que explorem e estabeleçam normas em relação à tecnologia deepfake. Estas discussões devem abordar como são os limites saudáveis ​​e que comportamento está fora dos limites.

Muito disto já pode estar claro no código de conduta de uma escola, mas essas regras devem ser atualizadas para proibir o uso de tecnologia deepfake, juntamente com o estabelecimento de consequências caso seja utilizada contra alunos, funcionários e professores.

Pasnik recomenda que os educadores também procurem oportunidades para falar sobre tecnologia deepfake nos currículos existentes, como em conteúdos relacionados à privacidade, participação cívica e alfabetização e produção midiática.

Ela espera que o Departamento de Educação dos EUA, além das agências estatais que supervisionam a educação, emitam directrizes que as escolas possam seguir, mas diz que seria um “erro” pensar que tal orientação “pode resolver este desafio” por si só.

Dodge também acredita que essas recomendações podem fazer uma diferença crítica à medida que as escolas lutam para traçar um caminho a seguir. Ainda assim, ele argumenta que as escolas terão que ser a fonte confiável que educa os alunos sobre a tecnologia deepfake, em vez de permitir que eles ouçam sobre ela na Internet ou em anúncios direcionados.

Deepfakes explícitos na escola: “A história se repete”

A situação que as escolas enfrentam agora parece familiar para aqueles que viram o cyberbullying sobrecarregar os educadores que não conseguem impedir que o assédio e o conflito entre os alunos saiam do controle.

“Estou realmente preocupado com a possibilidade de a história se repetir”, diz Randi Weingarten, presidente da Federação Americana de Professores.

O sindicato, que tem 1,7 milhões de membros, pressionou as maiores plataformas de redes sociais para combater o cyberbullying, implementando recursos novos ou mais robustos, como a remoção de contas que apresentam principalmente conteúdo de bullying. A AFT argumentou que o cyberbullying contribui para o esgotamento dos professores, além de piorar o clima escolar.

Weingarten diz que impedir que deepfakes explícitos desempenhem um papel semelhante exigirá uma resposta das empresas e do governo, além do que as escolas e as suas comunidades podem enfrentar.

Uma nova colaboração liderada pela organização Toda tecnologia é humana e Espinho, uma organização sem fins lucrativos que desenvolve tecnologia para defender crianças do abuso sexual, pode ajudar a atingir esse objetivo. O iniciativa reúne Google, Meta, Microsoft, Amazon, OpenAI e outras grandes empresas de tecnologia em um esforço para impedir a criação e disseminação de material de abuso sexual infantil gerado por IA, incluindo deepfake explícito e outros danos sexuais contra crianças.

Rebecca Portnoff, vice-presidente de ciência de dados da Thorn, disse ao Mashable por e-mail que as empresas se comprometeram a impedir que seus serviços “escalem o acesso a ferramentas prejudiciais”.

“Se eles procederem dessa forma e continuarem seu envolvimento dessa forma, então, em teoria, esses aplicativos seriam banidos”, escreveu Portnoff, referindo-se aos aplicativos que qualquer pessoa, incluindo estudantes, pode usar para fazer um deepfake explícito.

Weingarten também sugere que as agências federais, incluindo aquelas que supervisionam a justiça criminal e a educação, poderiam trabalhar em conjunto para desenvolver directrizes que garantam a segurança e a privacidade dos estudantes.

Ela acredita que deve haver consequências financeiras ou criminais na criação de conteúdo deepfake explícito, com penalidades apropriadas para os menores, para que sejam inicialmente desviados dos tribunais criminais.

Primeiro, porém, ela espera ver a “afirmação” dos líderes governamentais de que os deepfakes explícitos representam um problema real para os estudantes do país que deve ser resolvido com urgência.

“Acho que a hesitação aqui só vai prejudicar as crianças”, diz Weingarten. “A tecnologia está claramente avançando mais rápido do que a regulamentação jamais poderia avançar”.