Na terça-feira, a BBC relatou que o entregador do Uber Eats, Pa Edrissa Manjang, que é negro, recebeu um pagamento do Uber depois que verificações de reconhecimento facial “racialmente discriminatórias” o impediram de acessar o aplicativo, que ele usava desde novembro de 2019 para conseguir empregos de entrega de comida no Uber. plataforma.
A notícia levanta questões sobre até que ponto a legislação do Reino Unido é adequada para lidar com o uso crescente de sistemas de IA. Em particular, a falta de transparência em torno dos sistemas automatizados lançados no mercado, com a promessa de aumentar a segurança do utilizador e/ou a eficiência do serviço, o que pode causar o risco de danos individuais em grande escala, mesmo que a obtenção de reparação para as pessoas afetadas por preconceitos impulsionados pela IA possa levar anos.
O processo seguiu-se a uma série de reclamações sobre falhas nas verificações de reconhecimento facial desde que a Uber implementou o sistema Real Time ID Check no Reino Unido em Abril de 2020. O sistema de reconhecimento facial da Uber – baseado na tecnologia de reconhecimento facial da Microsoft – exige que o titular da conta envie uma selfie ao vivo comparada com uma foto deles mantida em arquivo para verificar sua identidade.
Falha na verificação de identidade
De acordo com a reclamação de Manjang, o Uber suspendeu e encerrou sua conta após uma falha na verificação de identidade e no subsequente processo automatizado, alegando ter encontrado “incompatibilidades contínuas” nas fotos de seu rosto que ele havia tirado para acessar a plataforma. Manjang entrou com ações judiciais contra a Uber em outubro de 2021, apoiadas pela Comissão de Igualdade e Direitos Humanos (EHRC) e pelo Sindicato de Motoristas e Correios de Aplicativos (ADCU).
Seguiram-se anos de litígio, com a Uber não conseguindo anular a reivindicação de Manjang ou ordenar um depósito para continuar com o caso. A tática parece ter contribuído para prolongar o litígio, com a EHRC descrevendo o caso como ainda em “estágios preliminares” no outono de 2023, e observando que o caso mostra “a complexidade de uma reclamação que trata da tecnologia de IA”. Uma audiência final foi marcada para 17 dias em novembro de 2024.
Essa audiência não acontecerá agora depois que o Uber ofereceu – e Manjang aceitou – um pagamento para liquidar, o que significa que detalhes mais completos sobre o que exatamente deu errado e por que não serão divulgados. Os termos do acordo financeiro também não foram divulgados. O Uber não forneceu detalhes quando perguntamos, nem comentou exatamente o que deu errado.
Também entramos em contato com a Microsoft para obter uma resposta sobre o desfecho do caso, mas a empresa não quis comentar.
Apesar de chegar a um acordo com Manjang, a Uber não aceita publicamente que seus sistemas ou processos sejam os culpados. Sua declaração sobre o acordo nega que contas de correio possam ser encerradas apenas como resultado de avaliações de IA, pois afirma que as verificações de reconhecimento facial são interrompidas por uma “revisão humana robusta”.
“Nossa verificação de identificação em tempo real foi projetada para ajudar a manter todos que usam nosso aplicativo seguros e inclui revisão humana robusta para garantir que não estamos tomando decisões sobre o sustento de alguém no vácuo, sem supervisão”, afirmou a empresa em comunicado. . “A verificação facial automatizada não foi o motivo da perda temporária de acesso do Sr. Manjang à sua conta de correio.”
É evidente, porém, que algo deu muito errado com as verificações de identidade do Uber no caso de Manjang.
Troca de informações do trabalhador (WIE), uma organização de defesa dos direitos digitais dos trabalhadores de plataformas que também apoiou a queixa de Manjang, conseguiu obter todas as suas selfies da Uber, através de um pedido de acesso ao assunto ao abrigo da lei de proteção de dados do Reino Unido, e conseguiu mostrar que todas as fotos que ele tinha enviado na verificação de reconhecimento facial havia de fato fotos dele mesmo.
“Após sua demissão, Pa enviou inúmeras mensagens à Uber para corrigir o problema, pedindo especificamente que um humano analisasse seus envios. Cada vez que Pa era informado de que ‘não fomos capazes de confirmar se as fotos fornecidas eram realmente suas e, devido a incompatibilidades contínuas, tomamos a decisão final de encerrar nossa parceria com você’”, relata WIE ao discutir seu caso em um relatório mais amplo olhando para a “exploração baseada em dados na economia gig”.
Com base nos detalhes da reclamação de Manjang que foram tornados públicos, parece claro que tanto as verificações de reconhecimento facial da Uber e o sistema de revisão humana que ele havia criado como uma alegada rede de segurança para decisões automatizadas falhou neste caso.
Lei de igualdade mais proteção de dados
O caso questiona até que ponto a lei do Reino Unido é adequada quando se trata de governar o uso de IA.
Manjang finalmente conseguiu um acordo com a Uber por meio de um processo legal baseado na lei de igualdade – especificamente, uma reclamação de discriminação sob a Lei de Igualdade de 2006 do Reino Unido, que lista a raça como uma característica protegida.
A Baronesa Kishwer Falkner, presidente do EHRC, criticou o facto de o estafeta da Uber Eats ter tido de intentar uma ação judicial “para compreender os processos opacos que afetaram o seu trabalho”, escreveu ela num comunicado.
“A IA é complexa e apresenta desafios únicos para empregadores, advogados e reguladores. É importante compreender que à medida que aumenta o uso da IA, a tecnologia pode levar à discriminação e abusos dos direitos humanos”, disse ela. escreveu. “Estamos particularmente preocupados com o facto de o Sr. Manjang não ter sido informado de que a sua conta estava em processo de desativação, nem ter fornecido qualquer forma clara e eficaz para desafiar a tecnologia. É preciso fazer mais para garantir que os empregadores sejam transparentes e abertos com as suas forças de trabalho sobre quando e como utilizam a IA.”
A lei de proteção de dados do Reino Unido é outra peça legislativa relevante aqui. No papel, deveria fornecer proteções poderosas contra processos opacos de IA.
Os dados de selfie relevantes para a reivindicação de Manjang foram obtidos usando direitos de acesso a dados contidos no GDPR do Reino Unido. Se ele não tivesse conseguido obter provas tão claras de que as verificações de identidade da Uber falharam, a empresa poderia não ter optado por chegar a um acordo. Provar que um sistema proprietário é falho, sem permitir que os indivíduos acessem dados pessoais relevantes, aumentaria ainda mais as probabilidades em favor de plataformas com recursos muito mais ricos.
Lacunas de aplicação
Além dos direitos de acesso a dados, os poderes do GDPR do Reino Unido devem fornecer aos indivíduos salvaguardas adicionais, inclusive contra decisões automatizadas com efeito legal ou similarmente significativo. A lei também exige uma base legal para o processamento de dados pessoais e incentiva os implantadores de sistemas a serem proativos na avaliação de potenciais danos, realizando uma avaliação de impacto na proteção de dados. Isso deverá forçar verificações adicionais contra sistemas de IA prejudiciais.
No entanto, a aplicação é necessária para que estas proteções tenham efeito – incluindo um efeito dissuasor contra a implementação de IA tendenciosas.
No caso do Reino Unido, o responsável pela aplicação da lei, o Information Commissioner’s Office (ICO), não interveio e investigou as queixas contra a Uber, apesar das queixas sobre falhas nas verificações de identidade que datam de 2021.
Jon Baines, especialista sênior em proteção de dados do escritório de advocacia Mishcon de Reya, sugere que “a falta de aplicação adequada” por parte da OIC minou as proteções legais para os indivíduos.
“Não devemos presumir que as estruturas legais e regulatórias existentes são incapazes de lidar com alguns dos danos potenciais dos sistemas de IA”, disse ele ao TechCrunch. “Neste exemplo, parece-me… que o Comissário de Informação teria certamente jurisdição para considerar tanto no caso individual, mas também de forma mais ampla, se o tratamento realizado era legal ao abrigo do RGPD do Reino Unido.
“Coisas como – o processamento é justo? Existe uma base legal? Existe uma condição do artigo 9.º (dado que estão a ser tratadas categorias especiais de dados pessoais)? Mas também, e de forma crucial, houve uma sólida Avaliação de Impacto na Proteção de Dados antes da implementação do aplicativo de verificação?”
“Então, sim, a OIC deveria ser absolutamente mais proativa”, acrescenta, questionando a falta de intervenção do regulador.
Entramos em contato com o ICO sobre o caso de Manjang, pedindo-lhe que confirmasse se está ou não investigando o uso de IA pela Uber para verificações de identidade à luz das reclamações. Um porta-voz do órgão de fiscalização não respondeu diretamente às nossas perguntas, mas enviou uma declaração geral enfatizando a necessidade das organizações “saberem como usar a tecnologia biométrica de uma forma que não interfira nos direitos das pessoas”.
“Nosso mais recente orientação biométrica é claro que as organizações devem mitigar os riscos que acompanham o uso de dados biométricos, como erros na identificação precisa de pessoas e preconceitos dentro do sistema”, dizia também o comunicado, acrescentando: “Se alguém tiver dúvidas sobre como seus dados foram tratados, pode denunciar essas preocupações à OIC.”
Entretanto, o governo está num processo de diluição da lei de protecção de dados através de um projecto de lei de reforma de dados pós-Brexit.
Além disso, o governo também confirmou no início deste ano que não introduzirá legislação dedicada à segurança da IA neste momento, apesar do primeiro-ministro Rishi Sunak ter feito afirmações atraentes sobre a segurança da IA ser uma área prioritária para a sua administração.
Em vez disso, afirmou uma proposta – apresentada no seu livro branco sobre IA de março de 2023 – na qual pretende basear-se nas leis e organismos reguladores existentes que alargam a atividade de supervisão para cobrir os riscos de IA que possam surgir no seu patch. Um ajuste na abordagem anunciada em fevereiro foi uma pequena quantia de financiamento extra (10 milhões de libras) para os reguladores, que o governo sugeriu que poderia ser usada para pesquisar os riscos da IA e desenvolver ferramentas para ajudá-los a examinar os sistemas de IA.
Não foi fornecido nenhum cronograma para o desembolso deste pequeno pacote de fundos extras. Vários reguladores estão envolvidos aqui, portanto, se houver uma divisão igual de dinheiro entre órgãos como o ICO, o EHRC e a Agência Reguladora de Medicamentos e Produtos de Saúde, para citar apenas três dos 13 reguladores e departamentos que O secretário de Estado do Reino Unido escreveu no mês passado pedindo-lhes que publicassem uma atualização sobre a sua “abordagem estratégica à IA”, cada um deles poderia receber menos de 1 milhão de libras para complementar os orçamentos para enfrentar os riscos de IA em rápida escala.
Francamente, parece um nível incrivelmente baixo de recursos adicionais para reguladores já sobrecarregados se a segurança da IA for realmente uma prioridade do governo. Significa também que ainda não há dinheiro ou supervisão activa para os danos da IA que se enquadram nas falhas da colcha de retalhos regulamentares existente no Reino Unido, como os críticos da abordagem do governo já apontaram anteriormente.
Uma nova lei de segurança da IA poderia enviar um sinal mais forte de prioridade – semelhante ao quadro da UE sobre danos à IA baseado no risco, que está a acelerar para ser adoptado como lei dura pelo bloco. Mas também seria necessário haver vontade para realmente aplicá-lo. E esse sinal deve vir de cima.
