Jan Leike, um importante pesquisador de IA que no início deste mês renunciou à OpenAI antes de criticar publicamente a abordagem da empresa em relação à segurança de IA, juntou-se à Anthropic, rival da OpenAI, para liderar uma nova equipe de “superalinhamento”.
Em uma postagem no X, Leike disse que sua equipe na Anthropic se concentrará em vários aspectos da segurança e proteção da IA, especificamente “supervisão escalonável”, “generalização fraca a forte” e pesquisa de alinhamento automatizado.
Uma fonte familiarizada com o assunto disse ao TechCrunch que Leike se reportará diretamente a Jared Kaplan, diretor científico da Anthropic, e que os pesquisadores da Anthropic atualmente trabalhando na supervisão escalonável – técnicas para controlar o comportamento da IA em grande escala de maneiras previsíveis e desejáveis – passarão a relatar para Leike enquanto a equipe de Leike gira.
Em muitos aspectos, a equipe de Leike parece semelhante em missão à equipe Superalignment recentemente dissolvida da OpenAI. A equipe do Superalignment, co-liderada por Leike, tinha o ambicioso objetivo de resolver os principais desafios técnicos de controle da IA superinteligente nos próximos quatro anos, mas muitas vezes se viu prejudicada pela liderança da OpenAI.
A Anthropic muitas vezes tentou se posicionar como mais focada na segurança do que a OpenAI.
O CEO da Anthropic, Dario Amodei, já foi vice-presidente de pesquisa da OpenAI e supostamente se separou da OpenAI após um desentendimento sobre a direção da empresa – ou seja, o crescente foco comercial da OpenAI. Amodei trouxe consigo vários ex-funcionários da OpenAI para lançar o Anthropic, incluindo o ex-líder político da OpenAI, Jack Clark.
