O Instituto Nacional de Padrões e Tecnologia (NIST), a agência do Departamento de Comércio dos EUA que desenvolve e testa tecnologia para o governo dos EUA, empresas e o público em geral, anunciou na segunda-feira o lançamento do NIST GenAI, um novo programa liderado pelo NIST para avaliar dados generativos Tecnologias de IA, incluindo IA de geração de texto e imagem.
A plataforma foi projetada para avaliar várias formas de tecnologia generativa de IA. O NIST GenAI lançará benchmarks, ajudará a criar sistemas de detecção de “autenticidade de conteúdo” (ou seja, verificação profunda de falsificações) e incentivará o desenvolvimento de software para detectar a fonte de informações falsas ou enganosas, explica o NIST no site. site NIST GenAI recém-lançado e em um Comunicado de imprensa.
“O programa NIST GenAI lançará uma série de problemas desafiadores projetados para avaliar e medir as capacidades e limitações das tecnologias generativas de IA”, diz o comunicado de imprensa. “Essas avaliações serão utilizadas para identificar estratégias para promover a integridade da informação e orientar o uso seguro e responsável do conteúdo digital.”
O primeiro projeto do NIST GenAI é um estudo piloto para construir sistemas que possam dizer com segurança a diferença entre mídia criada por humanos e mídia gerada por IA, começando com texto. (Embora muitos serviços pretendam detectar deepfakes, estudos e nossos próprios testes mostraram que eles não são confiáveis, especialmente quando se trata de texto.) O NIST GenAI está convidando equipes da academia, da indústria e de laboratórios de pesquisa para enviar “geradores” – sistemas de IA para gerar conteúdo — ou “discriminadores”, que são sistemas que tentam identificar conteúdo gerado por IA.
Os geradores do estudo devem gerar resumos fornecidos por um tópico e um conjunto de documentos, enquanto os discriminadores devem detectar se um determinado resumo foi escrito por IA. Para garantir a justiça, o NIST GenAI fornecerá os dados necessários para treinar geradores e discriminadores; sistemas treinados em dados disponíveis publicamente não serão aceitos, incluindo, mas não se limitando a, modelos abertos como o Llama 3 da Meta.
As inscrições para o piloto terão início em 1º de maio, com publicação dos resultados prevista para fevereiro de 2025.
O lançamento do NIST GenAI e o estudo focado em deepfake ocorrem no momento em que os deepfakes crescem exponencialmente.
De acordo com dados da Clarity, uma empresa de detecção de deepfakes, 900% mais deepfakes foram criados este ano em comparação com o mesmo período do ano passado. Está causando alarme, compreensivelmente. A recente enquete do YouGov descobriu que 85% dos americanos disseram estar preocupados sobre a disseminação de deepfakes enganosos online.
O lançamento do NIST GenAI é parte da resposta do NIST à ordem executiva do presidente Joe Biden sobre IA, que estabeleceu regras que exigem maior transparência das empresas de IA sobre como seus modelos funcionam e estabeleceu uma série de novos padrões, inclusive para rotular conteúdo gerado por IA .
É também o primeiro anúncio relacionado à IA do NIST após a nomeação de Paul Christiano, um ex-pesquisador da OpenAI, para o AI Safety Institute da agência.
Christiano foi uma escolha controversa por suas visões “doomeristas”; ele uma vez previsto que “há 50% de chance de o desenvolvimento da IA terminar em [humanity’s destruction].” Críticossupostamente incluindo cientistas do NIST, temem que Cristiano possa encorajar o AI Safety Institute a se concentrar em “cenários de fantasia” em vez de riscos realistas e mais imediatos da IA.
O NIST afirma que o NIST GenAI informará o trabalho do AI Safety Institute.
