O uso crescente da inteligência artificial (IA) em áreas sensíveis, como contratação de pessoal, justiça criminal e saúde, gerou muita discussão sobre viés e imparcialidade. No entanto, as decisões tomadas por seres humanos nesses e em outros campos também podem ser falhas, por serem influenciadas por preconceitos individuais e sociais, muitas vezes inconscientes. Será que as decisões tomadas pela IA serão menos tendenciosas do que as humanas? Ou a IA agravará o problema?
Em Notes from the AI frontier: Tackling bias in AI (and in humans) (PDF–120KB), damos uma visão geral de áreas em que os algoritmos podem ajudar a reduzir as disparidades causadas por vieses dos seres humanos e de áreas em que é necessária maior vigilância humana para uma análise crítica de parcialidades e vieses que podem ser incorporados e multiplicados pelos sistemas de inteligência artificial. Este artigo é uma versão mais breve desse texto. Ele destaca algumas pesquisas em andamento que abordam os desafios do viés na IA e sugere seis formas práticas de lidar com a questão.
Na discussão, duas oportunidades se apresentaram. A primeira foi a oportunidade de usar a IA para identificar e reduzir o efeito de vieses dos seres humanos. A segunda é a oportunidade de melhorar os próprios sistemas de IA. Isso inclui a forma como eles usam dados e como são desenvolvidos, implementados e utilizados, de forma a evitar que perpetuem preconceitos dos seres humanos e sociais ou criem preconceitos e problemas similares por conta própria. Para que se aproveitem essas oportunidades, será preciso haver colaboração entre disciplinas para desenvolver e implementar melhorias técnicas, práticas operacionais e padrões éticos.
A IA pode ajudar a reduzir vieses, mas também pode contribuir para intensificá-los
Os vieses envolvidos na tomada de decisão por seres humanos já está bem documentado. Alguns pesquisadores destacaram como as decisões de juízes podem ser inconscientemente influenciadas por suas próprias características pessoais, e já ficou demonstrado que há diferenças na taxa de convites para entrevistas de empregos entre candidatos com currículos idênticos, mas com nomes associados a grupos étnicos diferentes. Os seres humanos também são propensos a fazer mau uso de informações. Empregadores podem, por exemplo, analisar o histórico de crédito dos candidatos a emprego, o que pode prejudicar minorias. Isso é feito mesmo sem evidências claras de uma conexão entre o histórico de crédito e o comportamento no trabalho. Além disso, as decisões humanas são difíceis de investigar e analisar: as pessoas podem mentir sobre os fatores que levaram em conta ou nem mesmo compreender quais elementos as influenciam, o que pode levá-las a agir com base em preconceitos inconscientes.
Em muitos casos, a IA pode reduzir a interpretação subjetiva de dados típica dos seres humanos, pois os algoritmos de machine learning aprendem a considerar apenas as variáveis que aumentem a precisão de suas previsões, com base em dados de treinamento. Ademais, algumas evidências mostram que os algoritmos podem melhorar a tomada de decisões, tornando o processo mais imparcial. Jon Kleinberg e outros demonstraram, por exemplo, que os algoritmos podem ajudar a reduzir as disparidades raciais do sistema de justiça criminal. Outro estudo revelou que os sistemas automatizados de subscrição financeira beneficiam, em particular, candidatos historicamente carentes. Ao contrário das decisões humanas, as decisões tomadas pela IA poderiam, em princípio (e cada vez mais na prática), ser abertas, examinadas e interrogadas. Citando Andrew McAfee, do MIT: “Se quiser remover um viés, introduza os algoritmos.”
Ao mesmo tempo, amplas evidências sugerem que os modelos de IA podem incorporar preconceitos dos seres humanos e sociais e multiplicar seus efeitos. Julia Angwin e outros da ProPublica mostraram como o COMPAS, usado para prever a reincidência no condado de Broward, na Flórida, identificou incorretamente que os réus afro-americanos eram de “alto risco” quase o dobro de vezes em que o fez com réus brancos. Uma empresa de tecnologia interrompeu recentemente o desenvolvimento de um algoritmo de contratação baseado na análise de decisões anteriores após descobrir que ele era tendencioso contra candidatas que haviam estudado em faculdades para mulheres. O trabalho de Joy Buolamwini e Timnit Gebru identificou que as taxas de erro de tecnologias de análise facial diferiam entre etnias e gêneros. Na “busca de imagens de CEOs,” apenas 11% dos principais resultados de imagens para “CEO” mostravam mulheres, sendo que elas representavam 27% dos CEOs dos EUA na época.
Dados subjacentes são muitas vezes a fonte dos vieses
Os dados subjacentes, e não o algoritmo em si, costumam ser a principal fonte do problema. Pode ocorrer que os modelos sejam treinados com dados que contenham decisões humanas ou com dados que reflitam efeitos de segunda ordem de desigualdades sociais ou históricas. Os word embeddings (conjunto de técnicas de processamento de linguagem natural) treinados por conteúdo jornalístico, por exemplo, podem exibir os mesmos estereótipos de gênero encontrados na sociedade.
O viés também pode ser introduzido nos dados pela forma como são coletados ou selecionados para uso. Em modelos de justiça criminal, certos bairros recebem expressão exagerada por serem fortemente policiados, o que pode levar a mais registros de crimes cometidos ee o que, por sua vez, leva a mais policiamento.
Os dados gerados por usuários também podem criar um loop de feedback que resulta em viés. A pesquisa de Latanya Sweeney sobre diferenças raciais na segmentação de anúncios online mostra que buscas realizadas por pessoas com nomes tipicamente afro-americanos tendem a produzir mais anúncios com a palavra “detenção” do que buscas realizadas por indivíduos com nomes tipicamente brancos. Sweeney levantou a hipótese de que, mesmo que diferentes versões do anúncio — com e sem a palavra “detenção” — fossem inicialmente exibidas em taxas iguais entre os dois grupos, os usuários podem ter clicado em diferentes versões com mais frequência em diferentes pesquisas, levando o algoritmo a exibi-las com mais frequência.
Um algoritmo de machine learning também pode detectar correlações estatísticas que sejam socialmente inaceitáveis ou até mesmo ilegais. Se um modelo de concessão de hipotecas, por exemplo, revelar que indivíduos mais velhos têm uma probabilidade maior de inadimplência e reduzir os empréstimos concedidos a esse grupo, a sociedade e as instituições legais podem considerar tratar-se de discriminação ilegal por idade.
Como podemos definir e mensurar o que é imparcial, de forma a minimizar vieses?
Como deveríamos codificar definições de imparcialidade? Arvind Narayanan identificou pelo menos 21 diferentes definições de imparcialidade e declarou que mesmo essa lista era “não-exaustiva”. Kate Crawford, codiretora do AI Now Institute da New York University, usou a busca de imagens de CEOs mencionada acima para destacar as complexidades envolvidas na questão: como poderíamos determinar a porcentagem “imparcial” de mulheres que o algoritmo deveria mostrar? Seria a porcentagem atual de CEOs mulheres? Ou o número “imparcial” seria 50%, mesmo que isso ainda não reflita o mundo real? Boa parte da discussão sobre definições se concentrou na imparcialidade individual, em dar tratamento semelhante a indivíduos semelhantes e em definições estatísticas de imparcialidade (group fairness). Isso torna as previsões ou os resultados do modelo equitativos entre os diversos grupos, o que é particularmente importante para grupos potencialmente vulneráveis.
O trabalho para definir a imparcialidade também revelou potenciais trade-offs entre diferentes definições ou entre o objetivo de ser imparcial e outros objetivos. Jon Kleinberg, Sendhil Mullainathan e Manish Raghavan, bem como Alexandra Chouldechova e outros, demonstraram, por exemplo, que um modelo só consegue obedecer a um número limitado de métricas de group fairness ao mesmo tempo, exceto em condições muito específicas. Isso explica por que, embora a empresa que desenvolveu o sistema de pontuação do COMPAS tenha reiterado sua imparcialidade porque ele satisfazia ao critério da “paridade preditiva”, a ProPublica descobriu que o sistema era tendencioso porque não demonstrava “equilíbrio para os falsos positivos”.
Os especialistas discordam sobre a melhor maneira de resolver esses trade-offs. Foi sugerido, por exemplo, que o estabelecimento de limiares de decisão diferentes para grupos diferentes (como a pontuação prevista para receber um empréstimo) pode levar à situação mais equilibrada, especialmente se acreditarmos que algumas das variáveis subjacentes do modelo possam ser tendenciosas. Outros afirmam que a conduta mais imparcial é manter um único limiar para todos os grupos. Como resultado dessas complexidades, criar uma definição única e universal de imparcialidade ou uma métrica para mensurá-la provavelmente nunca será possível. O que é provável acontecer é a exigência de padrões e métricas diferentes conforme o uso e as circunstâncias.
O progresso técnico inicial está em andamento, mas ainda há muito a ser feito
Já surgiram diversas abordagens com o objetivo de impor restrições de imparcialidade a modelos de IA. A primeira consiste no pré-processamento dos dados de forma a manter a maior precisão possível, reduzindo qualquer relação entre resultados e características protegidas, ou de forma a produzir representações dos dados que não contenham informações sobre atributos sensíveis. Essas representações incluem abordagens de “imparcialidade contrafactual” que se baseiam na ideia de que uma decisão deve permanecer a mesma em um mundo contrafactual em que um atributo sensível é alterado. O método contrafactual específico para o caminho de Silvia Chiappa’ é capaz até mesmo de considerar maneiras diferentes pelas quais os atributos sensíveis podem afetar os resultados. Algumas influências podem ser consideradas imparciais e mantidas, enquanto outras podem ser consideradas parciais e, assim, descartadas.
A segunda abordagem consiste em técnicas de pós-processamento. Depois que são feitas as previsões do modelo, algumas delas são transformadas de modo a cumprir exigências de imparcialidade. A terceira abordagem ou impõe a imparcialidade por meio de limitações ao próprio processo de otimização ou utiliza um adversário para minimizar a capacidade do sistema de prever o atributo sensível.
Os pesquisadores também estão desenvolvendo e testando outras melhorias. Em relação aos dados, houve progressos nas tarefas de classificação de texto ao acrescentar mais pontos de dados para melhorar o desempenho de grupos protegidos. Técnicas inovadoras de treinamento que usam transfer learning ou decoupled classifiers para diferentes grupos mostraram-se úteis para reduzir as discrepâncias das tecnologias de análise facial.
Finalmente, foram desenvolvidas técnicas para abordar algo similar: a questão da explicabilidade em sistemas de IA, ou seja, a dificuldade, no uso de redes neurais, de explicar como foi feita uma previsão ou tomada uma decisão específica e quais características dos dados ou de outro fator levaram ao resultado. Essas técnicas podem ajudar a identificar e atenuar a parcialidade. Técnicas de explicabilidade poderiam ajudar a identificar se os fatores levados em conta em uma decisão refletem vieses e assim permitir mais responsabilização do que a tomada de decisão humana, que normalmente não pode ser submetida a uma investigação tão rigorosa.
O julgamento humano ainda é necessário para garantir que a tomada de decisão apoiada pela ia seja imparcial
Embora definições e medidas estatísticas de imparcialidade sejam certamente úteis, elas não são capazes de considerar as nuances dos contextos sociais em que um sistema de IA é implantado nem as possíveis questões em relação à forma como os dados foram coletados. Assim, é importante considerar onde o julgamento humano é necessário e como deve ser usado. Quem decide em que momento um sistema de IA atingiu uma redução suficiente da parcialidade e pode então ser usado com segurança? Além disso, em quais situações a tomada de decisões totalmente automatizada deve ser permitida? Nenhum algoritmo de otimização pode solucionar tais questões e nenhuma máquina pode ficar a cargo de determinar as respostas corretas. Isso requer julgamentos e processos tipicamente humanos, com base em disciplinas como ciências sociais, direito e ética, para desenvolver padrões que permitam aos seres humanos implementar a IA tendo em mente as questões de viés e imparcialidade. Esse trabalho está apenas começando.
Algumas iniciativas que estão surgindo concentram-se em processos e métodos, tais como “data sheets for data sets” e “model cards for model reporting”, que trazem mais transparência à construção, testes e usos pretendidos de conjuntos de dados e modelos de IA. Outras iniciativas incentivam avaliações de impacto e auditorias para verificar a imparcialidade dos sistemas antes da sua implementação, além de submetê-los a análises contínuas e promover uma melhor compreensão de estruturas legais e ferramentas que possam melhorar a imparcialidade. Iniciativas como os relatórios anuais do AI Now Institute, que incluem muitas questões críticas de IA, e o Embedded EthiCS, que integra os módulos de ética aos currículos padrão de ciência da computação, demonstram como especialistas de várias disciplinas podem colaborar entre si nessas ações.
À medida que aumentamos o nível de tomada de decisões automatizadas, podemos também elevar a tomada de decisão humana a um padrão mais alto?
Progressos na identificação da imparcialidade apontam para outra oportunidade: repensar os padrões que usamos para determinar quando as decisões humanas são imparciais e quando refletem vieses problemáticos. Analisar os fatores usados de fato por seres humanos (e não aqueles que eles declaram ter usado) ao tomar uma decisão é muito mais difícil do que avaliar algoritmos. Na maioria das vezes, contamos com proxies de imparcialidade. Por exemplo, frequentemente aceitamos resultados que derivam de um processo que é considerado “imparcial”. Mas um processo imparcial leva necessariamente a um resultado imparcial? Outro proxy usado com frequência é a imparcialidade pelo conjunto (compositional fairness). Nesse caso, se o grupo que toma uma decisão inclui uma diversidade de pontos de vista, então suas decisões são consideradas imparciais. Talvez essas fossem tradicionalmente as melhores ferramentas disponíveis. No entanto, agora que começamos a aplicar testes de imparcialidade aos sistemas de IA, podemos também começar a responsabilizar mais os seres humanos?
Se aperfeiçoados, dados, analytics e IA podem se tornar uma ferramenta poderosa para examinar os vieses dos seres humanos. Seu uso poderia assumir a forma da execução de algoritmos em paralelo à tomada de decisão por seres humanos e posterior comparação de resultados e exame das possíveis explicações de eventuais diferenças. Exemplos dessa abordagem estão começando a surgir em várias organizações. Da mesma forma, se uma organização detectar vieses em um algoritmo treinado com base em suas decisões humanas (ou em dados baseados em decisões humanas anteriores), ela não deve simplesmente parar de usar o algoritmo, mas sim considerar quais mudanças nos comportamentos de seres humanos são necessárias. Talvez as organizações possam se beneficiar dos avanços recentes na mensuração da imparcialidade aplicando os testes mais relevantes também para identificar vieses em decisões humanas.
Seis condutas possíveis a serem consideradas por profissionais de ia, empresas e formadores de políticas
Minimizar a parcialidade na IA é um pré-requisito importante para que as pessoas confiem nesses sistemas. Isso será essencial para a IA atingir seu pleno potencial, como mostra a pesquisa do MGI e de outros autores, para gerar benefícios para as empresas, para a economia — com do crescimento da produtividade — e para a sociedade, por meio de contribuições para lidar com questões sociais urgentes. Aqueles que desejarem máxima imparcialidade e mínimo viés em IA devem considerar diversas condutas:
1. Estar consciente dos contextos em que a IA pode ajudar a corrigir vieses, bem como em que pontos há um alto risco de que a IA exacerbe vieses existentes.
Ao implementar a IA, é importante prever quais áreas podem estar propensas à parcialidade, como aquelas dos exemplos anteriores de sistemas tendenciosos ou dados distorcidos. As organizações deverão se manter em dia para saber em que áreas a imparcialidade da IA deve ser melhorada e como isso pode ser feito. Devem, também, conseguir identificar em que pontos os sistemas de IA enfrentaram dificuldades.
2. Estabelecer processos e práticas para testar e atenuar o viés em sistemas de inteligência artificial.
É preciso um conjunto de ferramentas e procedimentos para lidar com vieses e parcialidades. As ferramentas técnicas descritas acima podem destacar possíveis fontes de vieses e revelar quais características dos dados mais influenciam os resultados. As estratégias operacionais podem incluir a melhoria da coleta de dados por meio de uma amostragem mais consciente e do uso de “equipes vermelhas” internas ou de terceiros para auditar dados e modelos. Finalmente, a transparência em relação a processos e métricas pode ajudar observadores a compreender as medidas tomadas para promover a imparcialidade e quaisquer trade-offs associados a tais medidas.
3. Ter conversas baseadas em fatos sobre os potenciais vieses de decisões humanas.
À medida que a IA revela mais sobre a tomada de decisão humana, os líderes podem avaliar se as proxies usadas no passado são adequadas e como a IA pode ajudar ao revelar vieses antigos que possam ter passado despercebidos. Quando modelos treinados com base em decisões ou comportamentos humanos recentes se mostram parciais, as organizações devem considerar como os processos orientados por seres humanos podem ser melhorados no futuro.
4. Explorar a fundo a melhor maneira de seres humanos e máquinas trabalharem juntos.
Isso inclui considerar situações e casos de uso em que a tomada de decisão automatizada é aceitável (e em que esteja pronta para o mundo real) e aqueles que sempre precisarão do envolvimento de seres humanos. Alguns sistemas promissores usam uma combinação de máquinas e seres humanos para reduzir o viés. Um desses sistemas é a tomada de decisões com o envolvimento de algum humano (human-in-the-loop), em que os algoritmos dão recomendações que são então verificadas por seres humanos ou dão opções de escolha para os mesmos. Nesses sistemas, a transparência sobre a confiança do algoritmo em sua recomendação pode ajudar os seres humanos a entender quanto peso dar a tais recomendações.
5. Investir mais em pesquisas sobre vieses, disponibilizar mais dados para pesquisa (sempre respeitando a privacidade) e adotar uma abordagem multidisciplinar.
Embora tenha havido progresso significativo nos últimos anos em pesquisas técnicas e multidisciplinares, será necessário mais investimento nessas iniciativas. Os líderes de negócios também podem apoiar esses avanços, disponibilizando mais dados a pesquisadores e profissionais das organizações que trabalhem com essas questões, ao mesmo tempo mantendo-se atentos a questões de privacidade e aos riscos potenciais. Os avanços exigirão uma abordagem multidisciplinar que inclua profissionais de ética, cientistas sociais e especialistas que melhor entendam as nuances de cada área de aplicação do processo. Uma parte fundamental da abordagem multidisciplinar será considerar e avaliar continuamente o papel da tomada de decisão da IA, à medida que o campo avança e a experiência prática em aplicações reais aumenta.
6. Investir mais na diversificação do próprio campo de IA.
Muitos apontaram para o fato de que o campo da IA em si não abrange a toda diversidade da sociedade, o que inclui gênero, etnia, região geográfica, classe e deficiências físicas. Uma comunidade de IA mais diversificada estará mais bem preparada para antecipar, identificar e analisar questões de viés e parcialidade e para engajar comunidades potencialmente afetadas pela imparcialidade. Isso exigirá investimento em diversas áreas, mas principalmente na educação para a IA e no acesso a ferramentas e oportunidades.
