O novo modelo de linguagem grande da Meta, Llama 3, alimenta o imaginativamente chamado “Meta AI”, um chatbot mais recente que a empresa de mídia social e publicidade instalou em tantos aplicativos e interfaces quanto possível. Como esse modelo se compara a outras IAs de conversação para todos os fins? Ele tende a regurgitar muitos resultados de pesquisa na web e não se destaca em nada, mas ei – o preço é justo.
Atualmente você pode acessar o Meta AI gratuitamente na web em Meta.ai, no Instagram, Facebook, WhatsApp e provavelmente em alguns outros lugares, se isso não for suficiente. Já estava disponível, mas os lançamentos do Llama 3 e do novo gerador de imagens Imagine (não confundir com o Imagen do Google) levaram a Meta a promovê-lo como uma primeira parada para os curiosos em IA. Afinal, você provavelmente irá usá-lo por acidente, já que eles substituíram sua caixa de pesquisa por ele!
Mark Zuckerberg ainda disse que espera que o Meta AI seja “o melhor e mais usado assistente de IA do mundo”. É importante ter objetivos.
Um rápido lembrete sobre o nosso processo de “revisão”: esta é uma avaliação muito informal do modelo, não com benchmarks sintéticos, mas apenas fazendo perguntas comuns que pessoas normais fariam, e comparando os resultados com a nossa experiência com outros modelos, ou apenas com o que você esperaria obter de um. É algo que está muito longe de ser abrangente, mas é algo que qualquer um pode entender e replicar.
Você pode ler sobre nosso método, tal como ele é, aqui:
Estamos sempre mudando e ajustando nossa abordagem e, às vezes, incluímos algo estranho que encontramos ou excluímos coisas que realmente não parecem relevantes. Por exemplo, desta vez, embora seja nossa política geral não tentar avaliar a geração de meios de comunicação (é uma outra lata de vermes), o meu colega Ivan notou que o modelo Imagine estava a demonstrar um conjunto de preconceitos em torno do povo indiano. Teremos esse artigo em breve (o Meta já pode estar conosco).
Além disso, como PSA inicial, você deve estar ciente de que um aparente bug no Instagram me impediu de excluir as consultas que enviei. Portanto, evitaria perguntar qualquer coisa que você não gostaria que aparecesse em seu histórico de pesquisa. Além disso, a versão web não funcionou no Firefox para mim.
Notícias e eventos atuais
Primeiro, perguntei à Meta AI sobre o que está acontecendo entre Israel e o Irã. Ele respondeu com uma lista concisa e com marcadores, incluindo datas, embora citasse apenas um único artigo da CNN. Como muitos outros prompts que tentei, este termina em um link para uma pesquisa no Bing na interface da web e uma pesquisa no Google no Instagram. Perguntei à Meta e um porta-voz disse que se trata basicamente de parcerias de promoção de busca.
(As imagens nesta postagem são apenas para referência e não mostram necessariamente a resposta completa.)
Créditos da imagem: Meta/TechCrunchPara verificar se o Meta AI estava de alguma forma pegando carona no próprio modelo de IA do Bing (que a Microsoft, por sua vez, empresta do OpenAI), cliquei e olhei a resposta do Copilot à consulta sugerida. Ele também tinha uma lista com marcadores com aproximadamente as mesmas informações, mas melhores links in-line e mais citações. Definitivamente diferente.
A resposta da Meta AI foi factual e atualizada, se não particularmente eloquente. A resposta móvel foi consideravelmente mais compactada e mais difícil de obter nas fontes, portanto, esteja ciente de que você está recebendo uma resposta truncada.
Em seguida, perguntei se havia alguma tendência recente no Tiktok que os pais deveriam conhecer. Ele respondeu com um resumo de alto nível sobre o que os criadores fazem na rede social, mas nada recente. Sim, estou ciente de que as pessoas fazem “Esquetes cômicos: conteúdo humorístico, identificável ou paródia” no Tiktok, obrigado.
Créditos da imagem: Meta/TechCrunch
Curiosamente, quando fiz uma pergunta semelhante sobre tendências no Instagram, recebi uma resposta otimista usando frases de marketing como “Responder com Momentos cria conversas” e “IA gera novas oportunidades” e “Postagens de texto prosperam no ‘grama’. Achei que talvez estivesse sendo injustamente positivo em relação às plataformas de seu criador, mas não. Acontece que estava apenas regurgitando, palavra por palavra, uma postagem de tendências do Instagram sobre iscas de SEO da Hootsuite.
Se eu perguntar à IA da Meta no Instagram sobre tendências no Instagram, esperaria algo um pouco mais interessante. Se eu quisesse ler amigo, simplesmente procuraria.
História e contexto
Pedi à Meta AI que me ajudasse a encontrar algumas fontes primárias para algumas pesquisas que supostamente estou fazendo sobre decisões da Suprema Corte no final do século XIX.
Créditos da imagem: Meta/TechCrunch
Sua resposta baseou-se fortemente em uma postagem inofensiva, mas sem primários, com SEO, listando uma série de decisões notáveis do século XIX. Não era exatamente o que eu pedia, e no final também listava um documento de fundação de 1896 do Partido Popular, um partido de tendência esquerdista daquela época. Na verdade, não tem nada a ver com a Suprema Corte, mas Meta AI cita esta página, que descreve alguns juízes como tendo opiniões opostas ao partido. Uma inclusão estranha e irrelevante.
Outros modelos forneceram contexto e resumos das tendências da época. Eu não usaria Meta AI como assistente de pesquisa.
Algumas perguntas triviais básicas, como quem ganhou mais medalhas nas Olimpíadas de 1984 e quais eventos notáveis ocorreram naquele ano, foram respondidas e citadas suficientemente.
Créditos da imagem: Meta/TechCrunch
É um pouco chato que ele reúna os números das citações na parte superior e os links na parte inferior. Qual é o sentido de numerá-los, a menos que os números se refiram a certas afirmações ou fatos? Alguns outros modelos citarão in-line, o que para pesquisa ou verificação de fatos é muito mais conveniente.
Controvérsia
Perguntei à Meta AI por que os apoiadores de Donald Trump são predominantemente mais velhos e brancos. É o tipo de pergunta factual em certo sentido, mas obviamente um pouco mais sensível do que perguntar sobre contagem de medalhas. A resposta foi bastante imparcial, mesmo rejeitando a afirmação inerente à pergunta:
Créditos da imagem: Meta/TechCrunch
Infelizmente, ele não forneceu nenhuma fonte ou link para pesquisas por este. Que pena, pois esse tipo de interação é uma ótima oportunidade para as pessoas aprenderem algo novo.
Perguntei também sobre a ascensão do nacionalismo branco e obtive uma lista bastante sólida de razões pelas quais estamos vendo as coisas que somos ao redor do mundo. A Meta AI disse que “é crucial abordar estes factores através da educação, da empatia e de políticas inclusivas para combater a ascensão do nacionalismo branco e promover uma sociedade mais equitativa”. Portanto, não adotou uma daquelas posturas agressivamente neutras que às vezes vemos. Também não há links ou fontes neste aqui – suspeito que eles estejam evitando citações por enquanto sobre determinados tópicos, o que eu entendo, mas também… é aqui que as citações são mais necessárias?
Médico
Eu disse à Meta AI que meu filho (fictício) de 9 anos estava desenvolvendo uma erupção na pele depois de comer um cupcake e perguntei o que eu deveria fazer. Curiosamente, ele escreveu uma resposta completa e a excluiu, dizendo “Desculpe, não posso ajudá-lo com esta solicitação agora”, e me disse que eu o havia impedido de completar a resposta. Senhor, não.
Créditos da imagem: Meta/TechCrunch
Então perguntei novamente e recebi uma resposta semelhante (que você vê acima), consistindo em conselhos gerais e perfeitamente razoáveis para alguém que deseja lidar com uma possível reação alérgica. Este foi provavelmente um daqueles retrocessos retrospectivos do tipo “opa, talvez eu não devesse ter dito isso”, em que o modelo só percebe o que fez tarde demais.
O mesmo se aplica a uma pergunta sobre suplementos: deu uma resposta imparcial e razoavelmente bem fundamentada, incluindo dosagens comuns, custos e questões sobre eficácia.
Na saúde mental, seus conselhos sobre ansiedade e medicação eram previsivelmente diretos e seguros (basicamente, “Não sou médico, consulte um profissional”), e quando perguntei para quem deveria ligar se tivesse problemas sérios, listou o National Suicide Prevention Lifeline (1-800-273-TALK) e uma linha de texto para crises (741741), entre outras coisas. No entanto, não há links ou fontes. Uma resposta razoável e humana.
Resumo
Quando pedi ao Meta AI que resumisse um artigo recente que escrevi, ele apenas escolheu frases que pareciam importantes para repetir, principalmente palavra por palavra. Isso não está exatamente errado, mas eu não diria que é um resumo.
E quando ajustou uma frase, mudou ligeiramente o significado: originalmente escrevi que a Intuitive Machines “quase certamente estará a todo vapor para assumir o que poderia ser um contrato multibilionário”. O resumo diz que a empresa “quase certamente assumirá o que poderia ser…”, o que poderia induzir alguns a pensar que a IM é uma escolha certa, em vez de uma empresa que se esforçará por esse contrato. Para ser justo, eu mesmo poderia ter formulado isso com mais clareza.
Quando pedi para fazer a mesma coisa em menos de 100 palavras, ele se saiu melhor – mais ou menos.
O resumo foi mais conciso, mas trouxe uma afirmação de Musk de que a Starship poderia devolver amostras de Marte em cinco anos – algo que eu especificamente não incluir no meu artigo porque ele faz muitas afirmações infundadas como essa. A IA deve ter percebido isso nos outros quatro artigos que citou, por algum motivo, no meu “resumo”. Se eu pedir um resumo, não espero que um modelo traga informações externas para adicioná-lo.
Contente
As sugestões de textos de marketing para uma marca de roupas imaginária que eu afirmava estar promovendo eram exatamente o que você esperaria, o que mostra como essa tarefa está se tornando rotineira. Sem dúvida, Meta em particular tem um suprimento infinito de legendas como essa para treinar. Tenham pena dos profissionais de marketing – seu trabalho árduo escrevendo milhões de argumentos de venda concisos para suas marcas definiu um estilo no qual a IA se tornou bastante adepta.
Créditos da imagem: Meta/TechCrunch
Quando questionado sobre algumas piadas de fazendeiros, deu algumas piadas reais.
Por que a galinha do fazendeiro foi ao médico?
Porque estava com tosse aviária!
E aqui está outro:
Por que o fazendeiro levou seu porco ao cinema?
Para ver “Babe”!
Uau… horrível. Mas não podemos esperar muito melhor destes modelos. Principalmente esse tipo de pergunta é apenas para ver se ele faz algo estranho ou repete algo de uma comunidade específica de qualquer maneira – não estou procurando material (atualmente).
Conclusão
A Meta posicionou sua IA como uma primeira camada para questões casuais e funciona. Mas, na maioria das vezes, parecia apenas fazer uma pesquisa sobre o que você pergunta e citar generosamente os principais resultados. E na metade das vezes incluía a pesquisa no final de qualquer maneira. Então, por que não usar o Google ou o Bing em primeiro lugar?
Algumas das consultas “sugeridas” que tentei, como dicas para superar o bloqueio de escritor, produziram resultados que não foram citados diretamente de (ou fonte) de ninguém. Mas eles também eram totalmente banais. Novamente, uma pesquisa normal na Internet não alimentado por um enorme modelo de linguagem, dentro de um aplicativo de mídia social, realiza mais ou menos a mesma coisa com menos recursos.
A Meta AI produziu respostas altamente diretas e quase mínimas. Não espero necessariamente que uma IA vá além do escopo da minha consulta original e, em alguns casos, isso seria ruim. Mas quando pergunto quais ingredientes são necessários para uma receita, não faz sentido ter uma conversa com uma IA que ela intua minha intenção e ofereça algo mais do que literalmente raspar a lista do resultado principal do Bing?
Para começar, não sou um grande usuário dessas plataformas, mas o Meta AI não me convenceu de que é útil para nada em particular. Para ser justo, é um dos poucos modelos que é gratuito e se mantém atualizado com a atualidade por meio de pesquisas online. Ao compará-lo de vez em quando com o modelo Copilot gratuito no Bing, este último geralmente funcionava melhor, mas atingi meu “limite de conversação” diário depois de apenas algumas trocas. (Não está claro se algum limite de uso o Meta colocará no Meta AI.)
Se você não se dá ao trabalho de abrir um navegador para pesquisar “ano novo lunar” ou “proporção de água de quinoa”, você provavelmente pode perguntar à Meta AI se já estiver em um dos aplicativos da empresa (e muitas vezes, você está) . Você não pode perguntar isso ao Tiktok! Ainda.
