Que tipo de suposições você faz sobre pessoas que deixam seus cachorros dormirem em suas camas? Ou sobre quem prefere tomar água com gás? Quando você imagina essas pessoas, quem você vê?

É possível que algumas ideias, que você tem, sejam baseadas em vieses de aprendizado de máquina que você segue sem perceber. Embora possa parecer uma tecnologia “neutra”, a IA também tem seus vieses.

Neste Data Detox Guide [Guia de Desintoxicação de Dados], vamos analisar alguns exemplos que demonstram por que a IA pode não ser a ferramenta objetiva que as pessoas pensam que ela é. Vamos fazer uma série de autorreflexões, a fim de fortalecer nossa capacidade de identificar vieses, segurando um espelho para que a sociedade se veja... e para que nós possamos nos ver.

Vamos dar uma olhada nesse espelho!

Desmistifique a IA

Para entender a IA, não é preciso ter a sensação de estar lidando com algo de outro mundo. Tem gente que fala sobre IA como se fosse mágica, mas a inteligência artificial é só uma máquina.

Você sabia que...? A IA não é uma coisa só. Em termos simples, as ferramentas de IA são programas de computador, que receberam muitos dados, para ajudá-los a fazer previsões. A IA diz respeito a uma variedade de ferramentas projetadas para reconhecer padrões, resolver problemas e tomar decisões em uma velocidade e escala muito maiores que as dos seres humanos.

Mas, como qualquer ferramenta, a IA é projetada e programada por humanos. As pessoas que criam essas máquinas definem as regras a serem seguidas: “Faça isso, mas não faça aquilo”. Saber que as ferramentas de IA são sistemas automatizados, que têm suas próprias limitações, influenciadas por humanos, pode dar a você mais confiança para falar sobre os recursos e as desvantagens da IA.

Quando as pessoas falam sobre IA, elas podem estar falando sobre muitas coisas. Confira alguns exemplos de ferramentas de IA que são especialmente populares (clique ou toque nos cartões abaixo para obter mais informações):

Saiba mais sobre esses tipos populares de IA: (1) “Aqui está uma lista de aprovações do ChatGPT e do GPT-4 em provas difíceis”, (2) “Pesquisadores de desinformação alertam sobre chatbots de IA”, (3) “Como a IA reduz o mundo a estereótipos”, (4) “O FBI diz que a inteligência artificial está sendo usada para ‘sextorção’ e assédio”, (5) “O feed "Para Você" do TikTok arrisca tornar conteúdos prejudiciais à saúde mental acessíveis para crianças e adolescentes”, (6) “Cathy O'Neil sobre o poder descontrolado dos algoritmos”.

Exponha as falhas da IA

Agora que já vimos algumas ferramentas populares de IA, vamos dar uma olhada em como funcionam os chatbots, que são geradores de textos.

A IA é projetada por pessoas e treinada a partir de ‘data sets’, ou seja, de conjuntos de dados. Assim como você, as pessoas que criam esses conjuntos têm certas crenças, opiniões e passaram por determinadas experiências, que formataram suas escolhas – não importando se elas percebem isso ou não. Os(as) engenheiros(as) e as empresas que criam e treinam a IA podem achar que certas informações ou determinados objetivos são mais importantes do que outros. Dependendo dos conjuntos de dados que eles escolhem para “alimentar” as ferramentas de IA que criam – como algoritmos ou ‘chatbots’ –, essas máquinas podem apresentar resultados tendenciosos. É por isso que a IA pode produzir dados imprecisos, gerar suposições falsas ou tomar as mesmas decisões equivocadas que um ser humano.

Os ‘chatbots’ foram alimentados com tantos dados, que eles podem escrever códigos de programação ou passar em provas. Mas eles também apresentam certas coisas, que nem sempre são verdadeiras, como fatos comprovados. Eles também podem gerar textos que repetem vieses já existentes em seus dados de treinamento ou nos(as) programadores(as) que os treinaram.

Enquanto alguns especialistas acreditam que os geradores de texto estão ficando ‘mais espertos’ por conta própria, há quem diga que eles não estão entendendo de fato as palavras que repetem. Aqui estão algumas razões pelas quais você pode querer pensar sobre os vieses de aprendizado de máquina que estão por trás daquilo que os chatbots dizem a você:

• Alguns dos dados nos quais eles são treinados, podem ser pessoais, protegidos por direitos autorais ou podem estar sendo usados sem permissão.
• Dependendo dos conjuntos de dados, eles podem estar repletos de discursos de ódio, teorias da conspiração, ou de informações que estão simplesmente erradas.
• Os dados podem ser tendenciosos com relação a determinadas pessoas, gêneros, culturas, religiões, empregos ou circunstâncias.

Você sabia que...? As ferramentas de IA são treinadas com base em dados que também deixam coisas de fora. Se, nos dados de treinamento, houver pouca ou nenhuma informação sobre um grupo de pessoas, um idioma ou uma cultura, não será possível gerar respostas sobre esse assunto. Um estudo crucial, de 2018, realizado por Joy Buolamwini e intitulado “Gender Shades” identificou como os disseminados sistemas de reconhecimento facial tiveram dificuldade para identificar os rostos de pessoas não brancas, especialmente de mulheres negras.

Chame a atenção para o viés

Agora que você ficou conhecendo alguns dos pontos fracos, que podem existir nos conjuntos de dados de IA, criados por pessoas como a gente, vamos dar uma olhada em nós mesmos. Como o funcionamento dos nossos cérebros humanos pode elucidar os vieses da IA?

Imagine o seguinte cenário: ao olhar as notícias, você vê uma manchete sobre um assunto de seu interesse e, antes mesmo de clicar nela, você já imagina o que vai estar ali. Isso não acontece porque conseguimos prever o futuro, mas sim porque temos noções preconcebidas sobre determinados assuntos. É possível que você, às vezes, perpetue esses vieses de aprendizado de máquina ao generalizar demais ou tirar conclusões precipitadas:

• Generalização excessiva significa fazer julgamentos precipitados com base em informações insuficientes.
• Tirar conclusões precipitadas significa concluir a partir de pouca ou nenhuma evidência.

Se você já fez alguma dessas coisas, saiba que não é só você! Esses padrões de pensamento não são incomuns. O segredo é manter-se alerta com relação a eles e adotar medidas concretas para garantir que permaneçam sob controle.

Experimente! Pense no exemplo citado anteriormente: pessoas que deixam seus cachorros dormirem em suas camas. Imagine quem são elas, de maneira geral. O que as pessoas que fazem isso têm em comum?

• Onde essas pessoas costumam morar?
• Qual a renda dessas pessoas?
• O quanto essas pessoas são organizadas ou bagunçadas?

Se você tiver imaginado certas características ou comportamentos de pessoas que deixam seus cachorros dormirem em suas camas, você talvez tenha generalizado excessivamente ou tirado conclusões precipitadas sobre essas pessoas.

Se você não generalizou, tendo reconhecido que um hábito não necessariamente define outros aspectos da vida das pessoas, isso é ótimo! Mas espere! Antes de achar que você é superior ao viés do aprendizado de máquina, fique conosco até o final, pois há muita coisa ainda a ser analisada.

Há alguns tipos de vieses de aprendizado de máquina que estão mais arraigados em indivíduos, organizações, culturas e sociedades. Pense sobre a questão ao refletir sobre estas perguntas:

• Como você espera que os outros se apresentem, incluindo a maneira como se comportam, se vestem e falam?
• Há algum grupo que enfrenta mais risco, punição ou estigmatização, devido à sua aparência ou à maneira como se comporta, se veste ou fala?

Os vieses sobre os quais você acabou de refletir geralmente se baseiam em suposições, atitudes e estereótipos, que há muito tempo fazem parte das culturas e podem influenciar – inconscientemente – sua tomada de decisões. Essa é a razão pela qual eles são chamados de vieses implícitos – geralmente, estão programados em sua mente, são difíceis de rastrear, e é desconfortável entrar em confronto com eles.

Os vieses implícitos comuns incluem:

• Viés de gênero: a tendência de tirar conclusões precipitadas sobre pessoas de gêneros diferentes com base em preconceitos ou estereótipos.
• Viés racial ou étnico: a tendência de tirar conclusões precipitadas sobre as pessoas com base na cor da pele, no histórico cultural e/ou em aspectos étnicos.

Experimente! Harvard tem uma enorme biblioteca de testes de vieses implícitos, que você pode fazer gratuitamente online para ver como você se sai e em quais áreas pode melhorar.

Com muitos vieses implícitos, até mesmo identificar essas crenças pode parecer uma viagem. É improvável que isso seja possível da noite para o dia, mas por que não começar agora?

Tudo ampl(ia)do

Agora que você já viu exemplos comuns desses padrões de pensamento e vieses implícitos, imagine como eles podem estar presentes em uma escala muito maior. Padrões de pensamento e preconceitos implícitos como esses podem afetar não apenas indivíduos, mas grupos inteiros de pessoas, especialmente quando estão “solidamente programados” em sistemas de computador.

Experimente! Usando o Perchance.org, um gerador gratuito de imagem a partir de texto, a palavra-chave “mulher bonita” produz os seguintes resultados:

Imagens de IA, geradas pelo Perchance.org, no dia 13 de agosto de 2024

Se a ferramenta criou seis imagens de “mulheres bonitas”, por que elas são todas praticamente idênticas?

Tente também! Seus resultados são diferentes?

Estudos mais abrangentes foram realizados sobre esse tema, todos com resultados semelhantes. Você pode ler a respeito de um deles e ver os infográficos aqui: “Os seres humanos são tendenciosos. A IA generativa é ainda pior”.

As ferramentas de IA não são neutras ou imparciais. Elas são criadas por pessoas, que têm suas próprias motivações, e pertencem a elas. Mesmo as ferramentas de IA que recebem o título de “abertas” podem não ser necessariamente transparentes sobre como operam e podem ter sido programadas com vieses embutidos.

Dica: Interrogue a IA. Faça perguntas críticas sobre como os modelos de IA são criados e treinados, para ter uma ideia de como a IA faz parte de um sistema mais abrrangente. Você pode perguntar:

• De quem são as empresas que criam modelos de IA?
• Como essas empresas lucram?
• Quais são os sistemas de poder criados ou mantidos por essas empresas?
• Quem mais se beneficia das ferramentas de IA?
• Quem corre mais riscos de sofrer danos causados por esses sistemas de IA?

Talvez seja difícil ou mesmo impossível encontrar respostas para essas perguntas. E isso, por si só, já é significativo.

Como a tecnologia é construída por pessoas e alimentada por dados (que são também coletados e rotulados por pessoas), podemos pensar na tecnologia como um espelho dos problemas que já existem na sociedade. E podemos contar com o fato de que as ferramentas baseadas em IA reforçam os desequilíbrios de poder, sistematizando e perpetuando os vieses de forma mais veloz que nunca.

Como se vê, padrões de pensamento falhos são totalmente normais e qualquer pessoa segue esses padrões de uma forma ou de outra. Começar a encarar os fatos hoje pode ajudar a evitar os erros de amanhã e pode auxiliar a identificar as falhas dentro dos sistemas – inclusive na IA.

Escrito por Safa Ghnaim em meados de 2024. Agradecimentos a Christy Lange e Louise Hisayasu pelas edições, revisões e pelos comentários. Traduzido para o português pelo Goethe-Institut Brasil.

Este guia foi desenvolvido pela Tactical Tech em colaboração com o Goethe-Institut Brasil.