O Oversight Board, o conselho político semi-independente da Meta, está voltando sua atenção para como as plataformas sociais da empresa estão lidando com imagens explícitas geradas por IA. Na terça-feira, anunciou investigações sobre dois casos separados sobre como o Instagram na Índia e o Facebook nos EUA lidaram com imagens de figuras públicas geradas por IA depois que os sistemas da Meta não conseguiram detectar e responder ao conteúdo explícito.
Em ambos os casos, os sites retiraram a mídia do ar. O conselho não nomeia os indivíduos visados pelas imagens de IA “para evitar assédio baseado em gênero”, de acordo com um e-mail que Meta enviou ao TechCrunch.
O conselho trata de casos sobre as decisões de moderação do Meta. Os usuários devem apelar primeiro ao Meta sobre uma medida de moderação antes de abordar o Conselho de Supervisão. O conselho deverá publicar suas descobertas e conclusões completas no futuro.
Os casos
Descrevendo o primeiro caso, o conselho disse que um usuário denunciou um nu gerado por IA de uma figura pública da Índia no Instagram como pornografia. A imagem foi postada por uma conta que publica exclusivamente imagens de mulheres indianas criadas por IA, e a maioria dos usuários que reagem a essas imagens reside na Índia.
A Meta não conseguiu remover a imagem após o primeiro relatório, e o ticket para o relatório foi fechado automaticamente 48 horas depois que a empresa não revisou mais o relatório. Quando o reclamante original recorreu da decisão, o relatório foi novamente encerrado automaticamente, sem qualquer supervisão da Meta. Em outras palavras, após dois relatos, a imagem explícita gerada por IA permaneceu no Instagram.
O usuário finalmente recorreu ao conselho. A empresa só agiu naquele momento para remover o conteúdo questionável e removeu a imagem por violar os padrões da comunidade sobre intimidação e assédio.
O segundo caso refere-se ao Facebook, onde um utilizador publicou uma imagem explícita gerada por IA que se assemelhava a uma figura pública dos EUA num grupo focado em criações de IA. Nesse caso, a rede social retirou a imagem porque havia sido postada por outro usuário anteriormente, e Meta a adicionou a um banco de serviços de correspondência de mídia na categoria “photoshop ou desenhos sexualizados depreciativos”.
Quando o TechCrunch perguntou por que o conselho selecionou um caso em que a empresa retirou com sucesso uma imagem explícita gerada por IA, o conselho disse que seleciona casos “que são emblemáticos de questões mais amplas nas plataformas da Meta”. Acrescentou que estes casos ajudam o conselho consultivo a analisar a eficácia global da política e dos processos da Meta para vários tópicos.
“Sabemos que o Meta é mais rápido e eficaz na moderação de conteúdo em alguns mercados e idiomas do que em outros. Ao considerar um caso dos EUA e outro da Índia, queremos verificar se a Meta está a proteger todas as mulheres a nível mundial de uma forma justa”, disse a co-presidente do Conselho de Supervisão, Helle Thorning-Schmidt, num comunicado.
“O Conselho acredita que é importante explorar se as políticas e práticas de fiscalização da Meta são eficazes para resolver este problema.”
O problema da pornografia falsa e da violência online baseada em gênero
Algumas – não todas – ferramentas generativas de IA nos últimos anos foram expandidas para permitir que os usuários gerassem pornografia. Como o TechCrunch relatou anteriormente, grupos como o Unstable Diffusion estão tentando monetizar a pornografia de IA com linhas éticas obscuras e preconceitos nos dados.
Em regiões como a Índia, os deepfakes também se tornaram um motivo de preocupação. No ano passado, um relatório do BBC observou que o número de vídeos deepfaked de atrizes indianas disparou nos últimos tempos. Dados sugere que as mulheres são mais comumente alvo de vídeos deepfaked.
No início deste ano, o vice-ministro de TI, Rajeev Chandrasekhar, expressou insatisfação com a abordagem das empresas de tecnologia para combater os deepfakes.
“Se uma plataforma pensa que pode escapar sem remover vídeos deepfake, ou simplesmente manter uma abordagem casual, temos o poder de proteger os nossos cidadãos bloqueando essas plataformas”, disse Chandrasekhar numa conferência de imprensa na altura.
Embora a Índia tenha pensado em trazer regras específicas relacionadas ao deepfake para a lei, nada está definido ainda.
Embora o país exista disposições legais para denunciar a violência baseada no género online, os especialistas observam que o processo pode ser tedioso, e muitas vezes há pouco apoio. Num estudo publicado no ano passado, o grupo de defesa indiano TI para Mudança observou que os tribunais na Índia precisam de ter processos robustos para abordar a violência online baseada no género e não banalizar estes casos.
Atualmente, existem apenas algumas leis em todo o mundo que abordam a produção e distribuição de pornografia gerada por meio de ferramentas de IA. Um punhado de estados dos EUA têm leis contra deepfakes. O Reino Unido introduziu uma lei esta semana para criminalizar a criação de imagens sexualmente explícitas alimentadas por IA.
Resposta da Meta e os próximos passos
Em resposta aos casos do Conselho de Supervisão, a Meta disse que retirou ambos os conteúdos. No entanto, a empresa de mídia social não abordou o fato de não ter removido o conteúdo do Instagram após relatos iniciais dos usuários ou por quanto tempo o conteúdo permaneceu na plataforma.
Meta disse que usa uma mistura de inteligência artificial e análise humana para detectar conteúdo sexualmente sugestivo. A gigante da mídia social disse que não recomenda esse tipo de conteúdo em locais como Instagram Explore ou recomendações de Reels.
O Conselho de Supervisão procurou comentários públicos – com prazo até 30 de abril – sobre o assunto que aborda os danos causados pela pornografia falsa profunda, informações contextuais sobre a proliferação desse tipo de conteúdo em regiões como os EUA e a Índia e possíveis armadilhas da abordagem do Meta na detecção de imagens explícitas geradas por IA.
O conselho investigará os casos e comentários públicos e publicará a decisão no site em algumas semanas.
Esses casos indicam que as grandes plataformas ainda estão lutando com processos de moderação mais antigos, enquanto as ferramentas baseadas em IA permitem que os usuários criem e distribuam diferentes tipos de conteúdo de forma rápida e fácil. Empresas como a Meta estão experimentando ferramentas que usam IA para geração de conteúdo, com alguns esforços para detectar tais imagens. No entanto, os perpetradores encontram constantemente formas de escapar a estes sistemas de deteção e publicam conteúdos problemáticos em plataformas sociais.
