A ética da inteligência artificial

Simon London: Olá, seja bem-vindo a esta edição de podcast da McKinsey, apresentada por mim, Simon London. Hoje falaremos sobre a ética da inteligência artificial. Em termos mais gerais, é ético utilizar inteligência artificial para viabilizar, por exemplo, vigilância de massas ou armas autônomas? Por outro lado, de que maneira a inteligência artificial pode ser utilizada para o bem, para enfrentar desafios urgentes da sociedade? E nos negócios do dia a dia, como as empresas podem empregar inteligência artificial de forma justa, transparente e segura?

Para discutir essas questões, conversei com Michael Chui e Chris Wigley. Michael é sócio do McKinsey Global Institute e liderou diversos projetos de pesquisa sobre o impacto da inteligência artificial nos negócios e na sociedade. Chris é sócio da McKinsey e também COO da QuantumBlack, uma empresa analítica sediada em Londres que utiliza inteligência artificial intensamente em seu trabalho com os clientes. Chris e Michael, sejam bem-vindos ao podcast.

Chris Wigley: É bom estar aqui.

Michael Chui: Também acho ótimo.

Simon London: Este é um tema importante e complexo. Que tal iniciarmos com a pergunta mais ampla de todas – afinal, “temos razão de estarmos preocupados?” A ética de se utilizar inteligência artificial é um assunto com o qual nós – independentemente de sermos presidentes de empresas ou simplesmente membros do público em geral – devemos nos preocupar?

Chris Wigley: Sim, creio que a resposta mais simples para essa pergunta é que a preocupação é, sim, justificada. É correto nos preocuparmos com as implicações éticas da inteligência artificial. Da mesma forma, também precisamos celebrar os benefícios da inteligência artificial. A questão mais ampla é “como podemos obter um equilíbrio adequado entre esses benefícios e os riscos que os acompanham?”.

Do ponto de vista dos benefícios, hoje já é possível ver centenas de milhões, ou mesmo bilhões de pessoas utilizando e se beneficiando da inteligência artificial. É importante não esquecer disso. Nos diferentes usos diários que fazemos de ferramentas de pesquisa e em coisas como mapas, tecnologias de saúde, assistentes virtuais como Siri e Alexa, estamos todos nos beneficiando da conveniência e do maior poder de decisão que a inteligência artificial nos proporciona.

No entanto, há sim o outro lado, e é justificável ter preocupações com a questão do emprego, advindas da automação de tarefas facilitadas por inteligência artificial, com tópicos como armas autônomas, com o impacto que alguns fóruns e espaços alavancados por inteligência artificial podem ter no processo democrático, e mesmo com coisas que estão surgindo, como deepfakes, que são vídeos criados via inteligência artificial que parecem e soam como o seu presidente ou um candidato à presidência, ou o primeiro-ministro ou qualquer outra figura pública, dizendo coisas que nunca foram efetivamente ditas. Todos esses são riscos com os quais precisamos lidar. Mas, ao mesmo tempo, também precisamos refletir sobre como possibilitar que essas vantagens se concretizem.

Michael Chui: Acrescentando ao que o Chris estava dizendo, há duas formas de pensarmos na ética. Uma é que essa é uma ferramenta incrivelmente poderosa. É uma tecnologia de uso geral – é assim que as pessoas se referem a ela – e a pergunta é “para quais propósitos você quer usá-la?”. Você quer usá-la para o bem ou para o mal?

Há uma questão sobre o que é a ética disso. Mas, de novo, você pode usar essa ferramenta para fazer coisas boas, para melhorar a saúde das pessoas. E você também pode usá-la para ferir as pessoas de diferentes maneiras. Esse é um nível de pergunta.

Acredito que haja um nível distinto de perguntas igualmente importantes. Uma vez que você tenha decidido que, talvez, vá utilizar inteligência artificial para o bem, que vá tentar melhorar a saúde das pessoas, a outra questão ética é se “na execução da tentativa de usá-la para o bem, você também está fazendo as coisas de maneira ética?”

Às vezes, você pode ter consequências imprevistas. Você pode involuntariamente criar um viés de diversas maneiras, mesmo tendo intenção de usar inteligência artificial para o bem. É preciso considerar os dois níveis de questões éticas.

Simon London: Michael, você acabou de finalizar uma pesquisa sobre o uso de inteligência artificial para o bem. Você pode nos dar um apanhado geral sobre suas descobertas sobre este assunto?

Michael Chui: Uma das coisas que queríamos saber era como poderíamos direcionar esse conjunto incrivelmente poderosos de ferramentas para o bem comum. Analisamos 160 diferentes casos individuais em que a inteligência artificial apresentava potencial de melhorar o bem comum – da melhoria do atendimento de saúde e da saúde pública no mundo todo à melhoria do processo de recuperação de desastres. Olhamos a capacidade de melhorar a inclusão financeira, todas essas coisas.

Para praticamente todos os Objetivos de Desenvolvimento Sustentável da ONU, há um conjunto de casos de uso em que a inteligência artificial pode realmente ajudar a fazer avançar nosso progresso para atingirmos esses Objetivos de Desenvolvimento Sustentável.

Simon London: Nos dê alguns exemplos. Que coisas são essas? Ilustre esses pontos.

Michael Chui: Algumas das coisas para as quais a inteligência artificial é especialmente boa – ou para as quais as novas gerações de inteligência artificial são particularmente boas – são análises de imagens, por exemplo. Isso tem uma aplicabilidade bastante ampla. Veja, por exemplo, o diagnóstico de câncer de pele. Uma coisa que se pode imaginar fazer é pegar o seu celular, fazer o upload de uma imagem e treinar o sistema de inteligência artificial para dizer se aquilo parece ou não ser um câncer de pele.

Não há dermatologistas em todos os cantos do mundo em que pode ser necessário diagnosticar câncer de pele. Assim, ser capaz de fazer isso – e, de novo, a tecnologia ainda não é perfeita, mas será que podemos melhorar nosso acesso a serviços de saúde por meio dessa tecnologia?

Em uma escala bem diferente, temos uma quantidade imensa de imagens de satélite. São feitas imagens, em alguns casos várias vezes por dia, de toda a massa de terra do planeta. Em uma situação de desastre, na busca por sobreviventes, pode ser muito difícil identificar quais os prédios que ainda estão lá, quais as instalações hospitalares que ainda estão intactas, quais as estradas em condições de tráfego e quais as que estão bloqueadas.

Vimos a capacidade de utilizar tecnologia de inteligência artificial, particularmente a aprendizagem profunda, para identificar rapidamente, muito mais rapidamente do que seria possível com um grupo pequeno de seres humanos, tais características em imagens de satélites, para então desviar ou alocar recursos, recursos de emergência, seja profissionais de saúde, seja trabalhadores para construção de infraestrutura, de forma a alocar esses recursos mais rapidamente em uma situação de desastre.

Simon London: Então, resposta a desastres, de maneira mais geral – há todo um conjunto de casos em torno disso.

Michael Chui: Exatamente. É uma situação em que a velocidade é essencial. Quando essas máquinas automatizadas utilizando inteligência artificial são capazes de acelerar nossa capacidade de alocar recursos, o impacto é incrível.

Chris Wigley: Uma das coisas que eu acho mais bacanas sobre isso é também relacionar ao nosso trabalho do dia a dia. Tivemos uma equipe na QuantumBlack, por exemplo, trabalhando com uma cidade nos últimos meses que estava se recuperando de uma grande explosão de gás nos arredores da cidade. O trabalho realmente ajudou a acelerar a recuperação da infraestrutura da cidade, ajudou as famílias que foram afetadas pela explosão, ajudou com infraestrutura, como escolas e outras do tipo, utilizando uma combinação de técnicas de imagens como as mencionadas pelo Michael.

Também há os padrões de deslocamento – os dados de comunicação que você pode agregar para analisar como as pessoas se deslocam pela cidade para otimizar o trabalho das equipes que estão cuidando da recuperação do desastre.

Também empregamos esses tipos de técnica de aprendizado de máquina para analisar coisas como as causas raiz de as pessoas estarem ficando viciadas em opioides e quais poderiam ser os tratamentos mais eficazes até questões como a forma de uma doença se espalhar na epidemiologia, olhando o alcance de contaminação de doenças como o sarampo na Croácia. Essas são as coisas das quais participamos nos últimos 12 meses, muitas vezes de forma pro bono, aplicando essas tecnologias à vida real para solucionar de verdade problemas concretos da sociedade.

Simon London: Outra coisa que me chama a atenção na pesquisa é que, com frequência, lidamos com populações mais vulneráveis quando abordamos algumas dessas questões do bem social. Portanto, sim, há muitas formas de direcionar a inteligência artificial para essas questões sociais, mas os riscos de implementação são potencialmente maiores porque as pessoas envolvidas são, em alguns sentidos, vulneráveis.

Michael Chui: Achamos que esse é o caso. Às vezes, a inteligência artificial pode melhorar o bem comum por meio da identificação de populações vulneráveis. Mas, em outros casos, isso pode trazer problemas para aquelas pessoas que você mais quer ajudar. Porque quando você identifica populações vulneráveis, isso às vezes faz com que coisas ruins aconteçam a elas, seja discriminação, seja ações maliciosas.

Em termos daquele segundo nível de que falamos antes, como você realmente implementa a inteligência artificial em casos de uso específico também levanta um conjunto de questões éticas sobre como isso pode ser feito. E isso é igualmente verdade para casos com e sem fins lucrativos. Isso é tão verdade em casos comerciais como em casos em que a inteligência artificial é usada para o bem comum.

Simon London: Vamos aprofundar então esses riscos, independentemente de estar em um ambiente com ou sem fins lucrativos. Quais os principais riscos e as questões éticas relacionadas a empregar a inteligência artificial?

Chris Wigley: Um dos primeiros que devemos abordar diz respeito a viés e justiça. Achamos mais fácil pensar nisso em três níveis, sendo o primeiro o próprio viés. Podemos entender isso como sendo casos em que o conjunto de dados utilizado para construir um modelo não reflete a população em que o modelo será aplicado ou usado.

Tem havido muita controvérsia sobre o fato de softwares de reconhecimento facial não funcionarem tão bem para mulheres e negros, pois eles teriam sido treinados com um conjunto de dados viesado, que teria um número muito maior de homens brancos. Estão sendo conduzidos vários projetos para tentar lidar com essa questão. Este é o primeiro nível – o viés. O conjunto de dados reflete a população que você está tentando modelar?

A seguir, consideramos a justiça, que é o segundo nível. Algo como “mesmo que o conjunto de dados que estejamos utilizando para construir este modelo reflita a história de forma precisa, o que fazer se a história em si não era justa?”. Um exemplo dessa situação é o policiamento preditivo. Mesmo que um conjunto de dados reflita precisamente uma realidade histórica ou uma população, as decisões que tomamos com base nele são justas?

E o nível final [no que diz respeito a se o uso de dados é ou] não é ético. Há conjuntos de dados e modelos que poderíamos construir e empregar que poderiam ser usados para fins não somente injustos, mas também não éticos? Vimos debates sobre isso muitas vezes entre funcionários ligados de algumas das grandes empresas de tecnologia e alguns dos trabalhos que essas empresas estão pensando em realizar.

As definições de diferentes grupos sobre o que não é ético serão diferentes. Mas refletir sobre essa questão a partir desses três niveis – nível 1: viés, Os dados refletem a população?; nível 2: justiça, Mesmo que reflitam, isso significa que devemos continuar com isso para sempre?; e nível 3: não ético, Há coisas que essas tecnologias podem fazer que simplesmente não devemos nunca permitir? – é uma forma bastante útil de separar algumas dessas questões.

Michael Chui: Acho que o Chris levanta um ponto realmente importante. Sempre ouvimos falar da expressão viés algorítmico. Ele sugere que o engenheiro de software insere seus vieses latentes ou explícitos nas regras do programa de computador. Embora tenhamos de nos precaver contra isso, o mais insidioso – e talvez o mais comum – para esse tipo de tecnologia está nos vieses que podem estar latentes nos conjuntos de dados, como o Chris mencionou.

Uma parte disso ocorre, às vezes, porque é o comportamento das pessoas que é tendencioso, e notamos isso. Registros de prisões quando são viesados em relação a certos grupos raciais seriam um exemplo. Mas, às vezes, isso ocorre simplesmente pela forma de os dados serem coletados.

Esse tipo de sutileza é realmente importante. Não é simplesmente ter certeza de que o engenheiro de software não é tendencioso. Você precisa realmente entender os dados em profundidade se você quiser ver se há ou não algum viés ali.

Simon London: Sim, há o famoso exemplo dos buracos em Boston. Creio que estavam usando medidores de aceleração dos smartphones para identificar se, quando as pessoas estão dirigindo, elas passam por cima dos buracos. O problema disso, na época em esses dados foram coletados, é que uma grande parte das populações menos favorecidas não possuía smartphones. Assim, há muito mais dados sobre buracos em áreas ricas da cidade. [O programa em questão – Street Bump – não está ativo na cidade de Boston.]

Chris Wigley: Há uma série de outros riscos que precisamos levar em conta. Se viés e justiça nos dão uma base ética para refletir sobre isso, também temos de enfrentar desafios e riscos bastante práticos nesta tecnologia. Por exemplo, na QuantumBlack, fazemos muitos trabalhos para a indústria farmacêutica. Trabalhamos com tópicos como segurança de pacientes em testes clínicos. Ao montar essas tecnologias nos fluxos de trabalho de pessoas que estão tomando decisões em testes clínicos sobre segurança dos pacientes, temos de ser muito, mas muito cuidadosos com a resiliência desses modelos em operação, como esses modelos informam a tomada de decisões de seres humanos, sem substituí-los, e por isso mantemos uma pessoa informada e fazendo parte do processo, além de garantirmos que as fontes de dados que alimentam o modelo continuem a refletir a realidade do que está ocorrendo de verdade, e que esses modelos sejam retreinados ao longo do tempo, e assim por diante.

Nesses tipos de aplicação em que segurança é fundamental, isso se torna absolutamente essencial. Podemos acrescentar ainda áreas como infraestrutura crítica, redes de energia elétrica e redes inteligentes, aeronaves... Há todo tipo de área em que há uma necessidade vital de garantir a resiliência operacional também desses tipos de tecnologia.

Michael Chui: Esse tópico de segurança de inteligência artificial está sendo bastante discutido neste momento, especialmente porque estamos começando a ver sua aplicação em coisas como automóveis autodirigidos. Também vemos na área de saúde, onde o impacto em potencial para a segurança de uma pessoa é enorme.

Em alguns casos, temos um histórico de entendimento sobre como tentar garantir níveis mais altos de segurança nessas áreas. Agora, precisamos aplicá-los a essas tecnologias de inteligência artificial, pois muitos dos engenheiros dessas áreas ainda não entendem a tecnologia, ainda que estejam crescendo na área. Esse é um lugar importante para analisar em termos da interseção entre segurança e inteligência artificial.

Chris Wigley: Algumas pessoas colocaram isso de uma maneira assim: “qual o equivalente ao código construtivo para inteligência artificial?”. Eu fiz uma reforma no meu apartamento no ano passado. O cara da subprefeitura local vem e diz: “bom, se você quiser colocar uma vidraça aqui, por ser próxima da cozinha, você precisará colocar uma que resista ao fogo por 45 minutos”. Isso evoluiu durante 150 ou 200 anos, com vários governos tentando fazer a coisa certa e garantir que as pessoas construam prédios seguros para os seres humanos viverem, minimizando riscos como o de incêndio.

Ainda estamos bem no início dessa curva de aprendizado em relação à inteligência artificial. Mas é muito importante que comecemos a moldar alguns desses pontos equivalentes ao código construtivo no que diz respeito a viés, justiça, explicabilidade e alguns outros tópicos de que falaremos.

Simon London: Chris, você acaba de mencionar explicabilidade. Explore um pouco mais este ponto. Quais as questões envolvidas aqui?

Chris Wigley: Historicamente, alguns dos modelos mais avançados de aprendizado de máquina e aprendizagem profunda têm sido o que podemos chamar de uma caixa preta. Sabemos quais os inputs para eles. Sabemos que resolvem de forma bastante útil uma questão, como uma questão classificatória. Aqui está uma imagem de uma banana ou de uma árvore.

Mas não sabemos o que acontece dentro desses modelos. Quando você chega a ambientes altamente regulamentados, como o setor farmacêutico, e também o setor bancário e outros, entender como esses modelos estão tomando essas decisões, quais as características mais importantes, se torna fundamental.

Para pegar um exemplo do setor bancário, no Reino Unido, os bancos foram recentemente multados em mais de 30 bilhões de libras, e isso é bilhão, e não milhão, por vender erroneamente seguro de proteção contra pagamentos. Quando conversamos com líderes de bancos aqui, eles falaram “você sabe como é, pelo que sabemos, inteligência artificial responde bem a incentivos”. Sabemos que alguns dos problemas históricos estavam em equipes de vendas que recebiam incentivos demasiadamente agressivos. E se incentivarmos a inteligência artificial da forma errada? Como sabemos o que a inteligência artificial está fazendo? Como podemos ter essa conversa com o órgão regulador?

Temos trabalhado muito nos últimos tempos em torno do tema de “como usar inteligência artificial para explicar o que a inteligência artificial está fazendo”. Como isso funciona na prática... acabamos de fazer um teste para ver isso com um grande banco europeu em uma área segura. Essa é a forma que os gerentes de relacionamento falam com seus clientes corporativos. Do que eles estão falando?

O primeiro modelo é um modelo de aprendizagem profunda, que chamamos de modelo de propensão. Qual a propensão de um cliente fazer algo, comprar um produto, parar de usar um serviço? Depois temos um segundo modelo de aprendizagem profunda, que questiona o primeiro modelo milhões de vezes para tentar desvendar o motivo de sua decisão.

O mais importante é entender quais são as caraterísticas fundamentais. O motivo está no tamanho da empresa? É devido aos produtos que eles já têm? É por causa de alguma das centenas de outras características?

Temos ainda um terceiro modelo de aprendizado de máquina, que traduz os insights do segundo modelo para linguagem normal, para que os seres humanos possam entender. Se eu sou o gerente de relacionamento nessa situação, eu não preciso entender toda essa complexidade. Mas de repente eu recebo três ou quatro pontos escritos em linguagem simples que dizem “não apenas a recomendação do que fazer, mas também o porquê de fazer isso”. É possível que, por causa do tamanho daquela empresa, do tempo de relacionamento que já temos com tal cliente, seja qual for a razão, que realmente A) explique o que está ocorrendo no modelo e B) possibilite uma conversa muito mais rica com seus clientes.

E só para fechar esse ciclo, o gerente de relacionamento pode dar um retorno ao modelo – “sim, isso estava certo, foi uma conversa útil; ou, não, não foi”. Assim, continuamos a aprender. Utilizar a inteligência artificial para explicar a inteligência artificial começa a nos ajudar a lidar com algumas dessas questões relacionadas à falta de transparência que historicamente temos enfrentado.

Michael Chui: Você pode pensar no problema da ética como sendo “e se tivermos um sistema que pareça funcionar melhor do que qualquer outro, mas que é tão complexo que não somos capazes de explicar o porquê?”. Esses sistemas de aprendizagem profunda possuem milhões de neurônios simulados. De novo, tentar explicar como isso funciona é muito, muito difícil.

Em alguns casos, como o Chris estava dizendo, o órgão regulador exige que você explique o que ocorreu. Tome como exemplo a interseção com a segurança. Se um carro autodirigido faz uma curva à esquerda em vez de acionar o freio, e isso cause danos à propriedade ou ferimentos em alguém, o órgão regulador pode perguntar “por que ele fez isso?”.

E isso levanta a questão: “Como damos uma licença?” Em alguns casos, o que você quer é analisar o sistema e ser capaz de entender e, de alguma forma, garantir que o sistema técnico esteja funcionando bem. Outros já disseram: “você deve simplesmente fazer um teste de direção com um carro autodirigido e descobrir”. Algumas dessas perguntas são muito reais quando tentamos entender como usar e regulamentar esses sistemas.

Chris Wigley: E há um trade-off muito interessante entre desempenho e transparência. Talvez não haja trade-off algum no futuro, mas por enquanto ele existe. Podemos dizer a um banco que está considerando fazer um empréstimo a um cliente que poderíamos ter um modelo de caixa preta, que nos dá um determinado nível de precisão – digamos 96% ou 97% - de certeza preditiva que essa pessoa pagará o empréstimo. Mas não sabemos o porquê. Por isso, lutamos para explicar para aquela pessoa ou para o órgão regulador porque concedemos ou não concedemos o empréstimo.

Mas talvez haja um tipo diferente de modelo que seja mais explicável e que nos dê um nível de precisão de 92% ou 93%. Estamos preparados para trocar aquele desempenho para ter transparência.

Se você colocar isso em termos humanos, digamos que vamos fazer um tratamento. E há um modelo que pode prever com precisão se um tumor é ou não maligno, ou se outra condição médica está certa ou errada. De certa forma, como ser humano, se estivermos seguros de que o modelo está certo, e de que ele estava comprovadamente certo em mil casos, na verdade não importa porque ele sabe o que sabe, contanto que esteja fazendo uma previsão acertada que ajudará o cirurgião a agir e melhorar nossa saúde.

Estamos constantemente tentando fazer esses trade-offs entre situações em que a explicabilidade é importante e situações em que desempenho e precisão são mais importantes.

Michael Chui: Então, para explicabilidade, a questão é parcialmente ética. Às vezes, isso diz respeito somente a obter os benefícios. Analisamos algumas empresas que fizeram o trade-off mencionado pelo Chris, em que eles optaram por ter um sistema de desempenho um pouco inferior porque eles sabiam que a explicabilidade era importante para fazer as pessoas aceitarem o sistema e, assim, começar realmente a usá-lo.

A gestão de mudança é um dos maiores problemas em inteligência artificial e outras tecnologias para se obter resultados. Assim, a explicabilidade pode fazer diferença. Mas como Chris falou, “isso pode mudar com o tempo”. Por exemplo, eu dirijo um carro com sistema anti-travamento de freios. E a verdade é que eu não sei como isso funciona. Mas talvez, em algum momento lá atrás, as pessoas tenham se preocupado com isso e o fato de “você vai deixar o carro frear sozinho”.

Mas hoje chegamos a um nível de conforto porque descobrimos que essa coisa funciona quase sempre. E aí começamos a ver essa mudança de conforto também individualmente.

Simon London: Vou fazer agora uma pergunta quase vergonhosamente de gestão nerd. Deixando um pouco a tecnologia de lado, qual o seu conselho para os clientes sobre lidar com algumas dessas questões? Porque uma parte disso parece ser de gestão de risco. Ao considerar empregar inteligência artificial, como gerenciar esses riscos éticos, de cumprimento da regulamentação, você pode colocar isso de diversas maneiras. Generalizando, qual conselho você daria?

Michael Chui: Deixe-me começar com um conselho, que é o de esperarmos que os executivos comecem a aprender sobre todas as partes do seu negócio. Talvez você venha a ser um gerente geral, então vai precisar saber algo sobre cadeia de suprimentos, estratégia de recursos humanos, operações, vendas e marketing. Está se tornando mandatório para todos os executivos aprenderem mais sobre tecnologia agora.

E como eles vão precisar aprender sobre inteligência artificial, eles precisarão aprender o que significa utilizar inteligência artificial de uma forma efetiva. Podemos trazer algumas das práticas históricas – você mencionou gestão de risco. Compreender o risco é algo que aprendemos a fazer em outras áreas.

Podemos trazer algumas dessas ferramentas para serem utilizadas aqui, quando juntamos elas também com o conhecimento de tecnologia. Uma coisa nós sabemos sobre gestão de risco: entender quais são todos os riscos. Creio que empregar esse framework para a ideia de inteligência artificial e a ética envolvida funciona bastante bem.

Simon London: Certo. Então não basta entender a tecnologia, é preciso também entender em um determinado nível a ética da tecnologia. Pelo menos saber quais são as implicações éticas ou regulatórias ou de risco envolvidas no uso da tecnologia.

Michael Chui: É exatamente isso. Veja, por exemplo, o viés. Em muitas tradições jurídicas ao redor do mundo, entender que há um conjunto de classes protegidas ou um conjunto de características com as quais realmente não queremos usar a tecnologia ou outros sistemas como forma de discriminação.

Esse entendimento permite que você diga “ok, precisamos testar nosso sistema de inteligência artificial para garantir que ele não esteja criando um impacto disparatado para esses grupos de pessoas”. Isso é um conceito que podemos abarcar. Pode ser preciso utilizar outras técnicas para testar nossos sistemas. Mas isso é algo que podemos trazer de nossas práticas de gestão anteriores.

Chris Wigley: Como líder tentando gerenciar os riscos nesta área, dedicar um pouco da sua concentração para refletir sobre isso é um primeiro passo realmente importante. O segundo elemento disso é trazer alguém que realmente entenda do assunto. Em 2015, contratamos uma pessoa na QuantumBlack que se tornou o nosso principal executivo para assuntos de confiança – nosso Chief Trust Officer.

Na época, ninguém realmente sabia o que significava esse título. Mas sabíamos que precisávamos ter uma pessoa que pensasse sobre isso em tempo integral, como parte de seu trabalho, porque confiança é essencial para nós. Qual o equivalente se você for um líder à frente de uma organização? Quais as grandes questões para você nessa área? Como você pode trazer pessoas para a organização ou alocar alguém da organização que tenha essa mentalidade ou essas habilidades para realmente pensar sobre isso, exclusivamente, em tempo integral?

Michael Chui: Para construir isso, creio que é preciso ter os líderes certos no comando. Como uma equipe de liderança, é preciso entender isso. Mas a outra coisa importante é cascatear isso para o restante da organização, entendendo que a gestão da mudança também é importante.

Veja as iniciativas que as pessoas fazem para cumprir com o Regulamento Geral sobre Proteção de Dados. De novo, eu não estou dizendo que se você cumpre com o Regulamento, você é ético, mas pense em todos os processos que você teve de cascatear não apenas para que os líderes entendessem, mas também para todos os seus funcionários e seus processos, para garantir que eles incorporem um entendimento do Regulamento Geral de Proteção de Dados.

Creio que o mesmo é também verdade em termos de inteligência artificial e ética. Você pensa que todos precisam entender um pouco sobre inteligência artificial, e eles precisam entender “como empregar essa tecnologia de forma ética, de uma maneira que cumpra com a regulamentação”. Isso é verdade para toda a organização.

Chris Wigley: Também temos que incorporar o risco de não inovar nesse espaço, o risco de não abraçar essas tecnologias, que é imenso. Creio que há essa relação entre ética e inovação.

Precisamos de um framework ético e um conjunto ético de práticas que possam facilitar a inovação. Se conseguirmos estabelecer essa relação de forma correta, ela deve se tornar um repositório de impacto positivo em que temos um framework ético que nos permite inovar, que nos permite continuar a alimentar nosso framework ético, que nos permite continuar inovando. Esse momentum positivo é o outro lado disso. Há o risco de não fazer isso, tanto quanto há muitos riscos em relação a como fazer isso.

Simon London: Vamos falar um pouco mais sobre esta questão de viés algorítmico, seja no conjunto de dados, seja realmente no desenho do sistema. De novo, de uma forma bem prática, como se proteger disso?

Chris Wigley: Encaramos a questão do viés como dizendo respeito à diversidade. Podemos pensar nisso em quatro áreas. Uma é a diversidade de origem e história das pessoas de uma equipe. Há todo esse fenômeno sobre o pensamento de grupo que as pessoas culpam por todo tipo de desastre. Para nós, isso é algo bem real.

Temos 61 nacionalidades diferentes na QuantumBlack. Temos um número igual ou maior de backgrounds acadêmicos. O mais jovem da nossa equipe tem 20 e poucos anos; o mais velho da empresa tem 60 e muitos. Todos esses elementos de diversidade de histórias e formações aparecem de forma muito intensa. Em um determinado momento, mais de 50% dos nossos cargos técnicos eram ocupados por mulheres. Esse percentual caiu um pouco quando expandimos. Mas queremos voltar a essa proporção. A diversidade de pessoas é uma área muito importante.

A segunda área é a diversidade de dados. Abordamos esse tópico de viés nos conjuntos de dados que não refletem as populações que os modelos querem analisar. Podemos começar a entender e lidar com essas questões de viés nos conjuntos de dados por meio da triangulação de um conjunto de dados com outro, do aumento de um conjunto de dados com outro, continuando a acrescentar perspectivas de dados mais e mais distintas à questão que estamos tratando

O terceiro elemento da diversidade é a diversidade de modelagem. É muito raro que só façamos um único modelo para lidar com uma questão ou capturar uma oportunidade. Quase sempre desenvolvemos o que chamamos de modelos combinados, que podem reunir diferentes técnicas de modelagem que se complementam e nos levam a uma resposta agregada mais adequada do que qualquer um dos modelos individuais.

O último elemento de diversidade que consideramos é a diversidade de mentalidades. Isso pode ser a diversidade em dimensões como o Myers-Briggs Type Indicator ou todos esses outros tipos de testes de personalidade.

Mas também, como equipe de liderança, nos desafiamos em termos bem mais simples no tema de diversidade. Às vezes, quando estamos discutindo uma decisão, definimos quem desempenhará o papel do burrinho Ió, que é pessimista e depressivo, e quem fará o papel do Tigrão, que é otimista e hiperbólico. Mesmo colocando as coisas de uma forma simples assim, com personagens do Ursinho Puff, já dá para trazer um pouco de diversidade à discussão. A diversidade de histórias e formações, a diversidade de dados, a diversidade de técnicas de modelagem e a diversidade de mentalidades. Acreditamos que todas elas são incrivelmente importantes para contrabalançar os vieses.

Michael Chui: Acrescentando aos pontos de diversidade que Chris levantou, também há algumas coisas de processo que são importantes de serem feitas. Uma coisa que você pode fazer ao começar a validar os modelos que você criou é validá-los externamente. Peça a uma pessoa que tenha um conjunto diferente de incentivos para verificar se você realmente entendeu se há ou não um viés ali e se há ou não um viés involuntário no modelo.

Outras das coisas que você quer fazer é testar o modelo – pode ser você mesmo ou outra pessoa externa – para detectar tipos específicos de viés. Dependendo de onde você estiver, pode haver classes de indivíduos ou populações que você não tem permissão para impactar de maneira desigual. Uma das coisas importantes de entender não é somente raça ou gênero ou uma dessas características protegidas...

E uma característica protegida é uma categoria jurídica bastante específica, não? E isso varia por jurisdição?

Michael Chui: Não sou advogado, mas sim, dependendo da jurisdição em que você estiver, em alguns casos, a lei afirma que “não se pode discriminar ou impactar de maneira desigual certas pessoas com determinadas características”. Garantir que você não esteja discriminando ou impactando de maneira desigual não significa simplesmente não ter gênero como um dos campos da sua base de dados.

Porque, às vezes, o que acontece – para ser mais geeky – é que se tem esses co-correlatos, essas outras coisas que são altamente correlatas a um indicador de uma classe protegida. Assim, entender isso e ser capaz de testar para verificar o impacto desigual é uma competência fundamental para garantir que você está gerenciando os vieses.

Chris Wigley: Uma das grandes questões, uma vez que o modelo esteja pronto e funcionando, é “como garantir que, mesmo tendo testado o modelo enquanto ele estava sendo desenvolvido, ele mantenha sua precisão quando estiver funcionando, sem qualquer viés”. Estamos em estágios razoavelmente iniciais disso como indústria, para garantir resiliência e desempenho ético na produção.

Mas alguns passos simples, como por exemplo, fazer uma verificação de processo para afirmar “quando foi a última vez que esse modelo foi validado”. Parece super simples. Se você não fizer isso, as pessoas têm vidas muito ocupadas, e isso é fácil de ser esquecido. Inserir esses passos processuais simples até os elementos mais complicados relacionados à tecnologia.

Na verdade, podemos até ter um segundo modelo verificando o primeiro modelo para ver se ele está sofrendo de desvio de conceito, por exemplo. E então traduzir isso para um dashboard simples, com sinalização em vermelho, amarelo e verde para um modelo de desempenho. Mas uma parte grande disso ainda depende de ter seres humanos ligados, que talvez possam ser alertados ou auxiliados pela tecnologia, mas que engajem seu cérebro para pensar “se esses modelos, ao serem instalados e colocados para funcionar, ainda estarão desempenhando adequadamente”.

Todo tipo de coisa pode derrubá-los. Uma fonte de dados é mesclada a outra no processo e, de repente, a alimentação de dados no modelo se torna diferente do que era. A população subjacente em uma dada área pode mudar à medida que as pessoas se deslocam. As próprias tecnologias mudam muito rapidamente. Assim, a pergunta de como podemos criar inteligência artificial resiliente, que seja estável e robusta na produção, é absolutamente fundamental, especialmente quando introduzimos inteligência artificial em sistemas de infraestrutura e de segurança cada vez mais críticos.

Michael Chui: E a necessidade de atualizar modelos é um problema mais geral do que simplesmente garantir que não se tenha um viés. E se tornou ainda mais interessante quando se tem casos antagônicos. Vejamos, por exemplo, quando se tem um sistema desenhado para detectar fraudes. As pessoas que cometem fraudes, obviamente, não querem ser detectadas. Portanto, elas podem mudar seu comportamento ao entender que o modelo começou a detectar certas coisas.

De novo, é realmente preciso entender quando é preciso atualizar o modelo – seja para garantir que não foi introduzido algum viés, seja simplesmente para garantir que ele está desempenhando a contento.

Chris Wigley: Há uma situação interessante no Reino Unido. O governo do Reino Unido criou um novo órgão independente, chamado de Centro para Inovação e Ética de Dados (Centre for Data Ethics and Innovation) que está realmente trabalhando para equilibrar as coisas. Como você pode maximizar os benefícios da inteligência artificial para a sociedade dentro de framework ético?

E o Centro para Inovação e Ética de Dados, ou CDEI na sigla em inglês, não é um órgão regulatório em si, mas tem aconselhado vários órgãos regulatórios no Reino Unido, como o FCA, que regulamenta o setor financeiro, e assim por diante. Creio que vamos começar a ver cada vez mais reflexões sobre esses temas nos níveis governamentais e intergovernamentais.

Simon London: Portanto, de uma forma mais geral, a política de inteligência artificial tem se tornado um ponto mais central e de importância crescente com o passar do tempo.

Michael Chui: Está realmente se tornando mais importante. Mas também acho que é interessante, nas jurisdições regulatórias individuais – seja de saúde pública, seja na aviação, ou ainda o que acontece nas ruas – em que grau nossas práticas existentes podem ser aplicadas.

De novo, como eu disse antes, os testes de direção são a forma de saber se os veículos autônomos serão permitidos de andar pelas ruas? Há coisas com relação ao licenciamento médico e o que isso implica em termos de sistemas de inteligência artificial que podemos querer aplicar. Entender essas tradições e definir o que pode ser aplicado à inteligência artificial já é muito importante.

Simon London: Então, qual o padrão que usamos para avaliar a inteligência artificial? E como ele se compara ao padrão que usamos para avaliar os seres humanos?

Michael Chui: De fato.

Chris Wigley: Realmente. No contexto de algo como os veículos autônomos, essa é realmente uma questão interessante. Porque sabemos que uma população humana com um determinado número de pessoas e que dirige um determinado volume de tempo terá um determinado número de acidentes por ano. Qual o nível adequado para veículos autônomos – quando ele for melhor do que o de seres humanos ou um nível dez vezes melhor?

Ou só liberamos quando chegarmos ao nível da perfeição? Será que isso será possível um dia? Não creio que haja alguém que saiba a resposta para essa questão no momento. Mas acho que, ao começarmos a refletir e ampliar os frameworks éticos com relação ao aprendizado de máquina e à inteligência artificial, precisaremos usá-los para responder a essas questões de uma forma que muitas das partes envolvidas da sociedade se convençam de verdade.

Muitas das respostas que vão compor essas questões éticas vieram do engajamento com grupos de envolvidos e do engajamento com a sociedade em geral, o que por si só já é todo um processo e um conjunto completo de habilidades de que precisamos mais, à medida que aumentamos a formulação de políticas relativas à inteligência artificial.

Simon London: Bem, obrigado, Chris. E obrigado a você também, Michael, por essa discussão fascinante.

Michael Chui: Obrigado.

Chris Wigley: Foi ótimo.