Inteligência artificial e seus efeitos colaterais

Inteligência artificial (IA), aprendizado de máquina, robôs são palavras presentes não apenas entre acadêmicos e executivos de empresas de tecnologia, mas na sociedade como um todo. É comum ouvir que um robô espalhou notícias falsas nas redes sociais ou que os testes com carros autônomos avançam rapidamente, nos deixando mais próximos de uma realidade, antes imaginada apenas em filmes de ficção científica ou no fantástico desenho animado Os Jetsons, que eu tanto gostava quando criança.

Não há dúvidas que os avanços dos sistemas de inteligência artificial trazem grandes benefícios à sociedade, por exemplo, auxiliando médicos nos diagnósticos de doenças, auxiliando sistemas de segurança pública com a identificação precoce de movimentos suspeitos, ou mesmo levando a um trânsito mais seguro com os carros autônomos, porém, é fundamental avaliar de forma crítica os potenciais efeitos colaterais desses algoritmos, em específico aqueles conhecidos como black-box ou opacos.

Os algoritmos por trás do carro autônomo e do sistema de diagnósticos médicos são, por vezes, sistemas fechados (ou opacos), o que significa que não é possível observar o porquê um determinado paciente obtém classificação para alto risco de uma doença, ou seja, não é possível determinar como o modelo tomou a decisão de classificar o paciente dessa forma, quais características esse paciente possui para que o modelo tenha chegado a essa decisão. Nos algoritmos opacos se conhece os dados de entrada do modelo e os resultados finais, mas não como ocorreu o processamento dos dados para que se chegue nos resultados obtidos.

Essa falta de transparência dos modelos black-box tem sido alvo de grandes críticas dentro e fora da academia, pelos efeitos colaterais graves que podem gerar. A matemática Cathy O’Neil em seu livro Algoritmos de Destruição em Massa (2021) traz exemplos perturbadores de como algoritmos de IA usados por empresas e setor público levaram a injustiças e discriminação. Um dos exemplos mais chocantes descritos pela autora trata do uso de reconhecimento de imagens faciais para a identificação de suspeitos de crime. Como base em um banco de dados da polícia, criou-se um algoritmo para identificar entre pessoas comuns caminhando pela rua, possíveis suspeitos de crime ou ameaças a ordem pública. Seria uma ótima ferramenta, se não tivesse arraigada intrinsecamente a discriminação social e racial; ora, se uma parte importante das pessoas que se envolvem em atos ilícitos advém de determinada classe social e de determinada etnia e os modelos são gerados com base nesses dados, as políticas de discriminação e por vezes truculência contra essas pessoas se propaga. Outros exemplos de usos desastrosos de algoritmos de IA podem ser vistos no livro de Cathy O’Neil e no documentário Coded Bias (2020).

Casos como esse nos fazem questionar se o uso de modelos de IA de fato é benéfico à sociedade e minha opinião pessoal é de que a IA é benéfica desde que o planejamento de desenvolvimento e aplicação seja responsável e busque por justiça e transparência. Nesse sentido, soluções vem sendo propostas, como a criação de Comitês Gestores para IA e, em nível micro, o desenvolvimento de ferramentas de disclosure dos modelos opacos, conhecidos como Sistemas de Explicabilidade. Esses Sistemas de Explicabilidade (XAI) conseguem “abrir” os algoritmos e identificar quais variáveis impactam na classificação, por exemplo, se ao solicitar um financiamento bancário tenho meu crédito recusado por um sistema de IA, sem a XAI o meu gerente não vai conseguir me explicar o porquê fui reprovada. A XAI permite verificar claramente a quais elementos se deve a minha reprovação de crédito, permitindo saber, inclusive se há algum mecanismo de discriminação envolvido nessa reprovação (fui reprovada por ser mulher? Fui reprovada por morar na periferia?).

O Msc. Heitor H Nakashima, o prof. Celso Machado Jr e eu discutimos mais profundamente os perigos dos algoritmos opacos e o papel da explicabilidade no artigo recém-publicado na Revista de Gestão – REGE/USP.

A tecnologia é benéfica se agregar valor à sociedade, ajudando a desenvolver o país, a reduzir as desigualdades e aumentando a qualidade de vida das pessoas. A IA tem um grande potencial, porém, é o momento de assumirmos papel ativo criando regras e limites para seu uso. Devemos como cidadãos, acadêmicos e profissionais nos envolver ativamente nessas discussões, para que mecanismos de Governança sejam criados.