Juiz Declara Uso 'Ilegal' de ChatGPT pela DOGE em Análise de Subsídios Federais

A suspensão de mais de 100 milhões de dólares em subsídios federais, levada a cabo pelo Departamento de Eficiência Governamental (DOGE) dos EUA, foi considerada inconstitucional por uma decisão judicial na passada quinta-feira. O acórdão restaura os financiamentos que haviam sido cancelados sob a alegação de preconceito relacionado com a Diversidade, Equidade e Inclusão (DEI), revelando que o DOGE utilizou o ChatGPT para determinar a relevância dos projetos em relação a estes temas, num processo que o tribunal classificou como ilegal e irrefletido.

Decisão Judicial e o Papel do ChatGPT na Análise de Subsídios

Na sua decisão de 143 páginas, a Juíza Distrital dos EUA, Colleen McMahon, criticou severamente o método empregado pelo DOGE para eliminar os subsídios. A sentença, que resulta de uma ação judicial de 2025 apresentada por grupos de humanidades, afirma que "não poderia ser mais óbvio que o DOGE usou a mera presença de características particulares e protegidas para desqualificar subsídios do financiamento contínuo" do Fundo Nacional para as Humanidades (NEH). A juíza McMahon apontou vários exemplos em que o DOGE recorreu ao ChatGPT para analisar e eliminar subsídios com base na sua relação com características como raça, origem nacional, religião e sexualidade.

O processo judicial incluiu o testemunho de Justin Fox, um funcionário do DOGE que, em colaboração com o seu colega Nate Cavanaugh, eliminou 97% dos subsídios sob a alçada do NEH. Fox testemunhou que utilizou o ChatGPT "para realçar por que razão [um] subsídio poderia estar relacionado com DEI" e "para extrair tudo o que estivesse relacionado com DEI". Para tal, submetia cada descrição sumária de subsídio de uma folha de cálculo do NEH ao ChatGPT, usando uma instrução padronizada: "O seguinte está relacionado de alguma forma com DEI? Responda de forma factual em menos de 120 caracteres. Comece com 'Sim.' ou 'Não.' seguido de uma breve explicação." Fox admitiu que não definiu "DEI" para o ChatGPT e que "não fazia a mínima ideia" de como o modelo de IA compreendia o termo. Além de procurar indícios de DEI, Fox também pediu ao chatbot de IA para examinar os subsídios do NEH em busca do que ele chamou de "Códigos de Deteção" relacionados com "características protegidas".

O Algoritmo da Discriminação: Métodos e Implicações

Após ter sido deslocado do DOGE para o NEH, Justin Fox aplicou termos de pesquisa, categorizados como "Códigos de Deteção", para identificar os subsídios que apelidou de "Subsídios Mais Malucos" e "Outros Subsídios Maus". A lista de termos incluía, entre outros, "BIPOC (Black, Indigenous, People of Color)", "Minorias", "Nativo", "Tribal", "Indígena", "Imigrante", "LGBTQ", "Homossexual" e "Gay". Questionado sobre se "executou esta lista de palavras em todas as descrições de subsídios" que recebeu do NEH, Fox confirmou: "sim". Desta forma, Fox construiu e aplicou classificações explícitas baseadas em características protegidas, usando-as como critérios operacionais para revogar subsídios federais. A Juíza McMahon sublinhou que o DOGE considerou centenas de subsídios "desperdício porque se relacionavam com Negros, mulheres, Judeus, Asiático-Americanos e povos Indígenas", acrescentando que "os próprios temas que o DOGE tratou como marcadores de desperdício, falta de mérito ou contaminação ideológica são os temas que o Congresso tornou expressamente pertinentes à missão do NEH". Alguns dos subsídios agrupados na categoria de "desperdício" estavam relacionados com projetos sobre o Holocausto, direitos civis e uma experiência educacional que permitiria aos participantes "explorar o conhecimento, cultura e clima indígenas". A Juíza McMahon refutou ainda o argumento do governo de que "não há aqui um problema constitucional real porque qualquer classificação baseada em pontos de vista foi feita pelo ChatGPT, e não pelo Governo". A sua decisão é clara: "Não há distinção a fazer aqui entre o Governo e o ChatGPT. O ChatGPT foi o instrumento escolhido pelo Governo para os fins deste projeto, e o uso de IA pelo DOGE para identificar material relacionado com DEI não desculpa uma conduta presumivelmente inconstitucional nem dá carta branca ao Governo para se envolver nela." A juíza concluiu que "não há uma mínima prova de que Fox ou Cavanaugh, tendo obtido uma justificação 'DEI' do ChatGPT, tenham realizado qualquer revisão significativa para verificar se essa justificação fazia sentido". Em última análise, a Juíza McMahon considerou a eliminação de mais de 1.400 subsídios do NEH pelo DOGE como ilegal e inconstitucional, citando violações da Primeira Emenda, da lei de proteção igualitária da Quinta Emenda, e da falta de autoridade da DOGE, tendo emitido uma ordem para reverter o cancelamento.

Alerta para a Regulamentação da IA na Europa

Este caso americano serve como um alerta significativo para a forma como a inteligência artificial é utilizada em contextos administrativos e de tomada de decisão. Na Europa, a recente aprovação do Regulamento de IA (EU AI Act) visa precisamente abordar os riscos associados ao uso de sistemas de IA, especialmente em áreas consideradas de alto risco. A utilização de um chatbot de IA para avaliar a elegibilidade de subsídios, particularmente quando envolve características protegidas e tem um impacto direto nos direitos fundamentais dos cidadãos, seria categorizada como um sistema de IA de alto risco sob a legislação europeia. Isso implicaria requisitos rigorosos de transparência, supervisão humana, governação de dados robusta, precisão e explicabilidade. A ausência de definição para o termo "DEI" fornecida ao ChatGPT e a total falta de revisão humana destacam falhas que o quadro regulatório da UE se esforça por prevenir, assegurando que a IA seja desenvolvida e implementada de forma ética e segura, com respeito pelos direitos individuais e pela primazia da supervisão humana.

Implicações para a Administração Pública Portuguesa

Para Portugal, enquanto Estado-Membro da União Europeia, este caso reforça a urgência e a importância da adaptação e implementação do EU AI Act. A administração pública portuguesa, à semelhança de outras na Europa, terá de garantir que qualquer adoção de sistemas de IA em processos de tomada de decisão, como a alocação de subsídios ou a avaliação de projetos, cumpre os requisitos do novo regulamento. Este incidente nos EUA serve como um estudo de caso paradigmático sobre os perigos da dependência não supervisionada de algoritmos e da falta de responsabilidade no uso da inteligência artificial. Impõe-se uma vigilância acrescida para evitar vieses algorítmicos e assegurar que as decisões que afetam os cidadãos são justas, transparentes e sujeitas a escrutínio humano, protegendo os direitos e as liberdades individuais no contexto da crescente digitalização e uso de IA.