Machine learning e o mito da generalização - por Fabiano Castello

Talvez uma das crenças mais amplamente existentes ainda hoje seja o fato de que modelos de predição criados através de machine learning (ML) são genéricos, ou seja, uma vez criados podem ser aplicados em qualquer lugar e a qualquer tempo. Além de isso não ser verdade, tem nome: o "mito da generalização". Nesta semana li um artigo [1] interessante sobre o assunto, e achei oportuno compartilhar com vocês.

Projetos de inteligência artificial (leia-se: machine learning ou aprendizado de máquina) tem dois momentos bem distintos: no primeiro você cria o modelo (na prática, um programa que faz previsões) e testa para ver a qualidade das previsões; no segundo momento, você coloca em produção (na prática, começa a fazer previsões com dados reais). A pergunta, então, é a seguinte: modelos de ML podem ser aplicados em contextos diferentes daqueles em que foram originalmente desenvolvidos?

A resposta segura é que "não". Com alguma liberdade, podemos dizer "talvez".

Futoma, autor do artigo, traz uma comparação interessante para explicar modelos de ML. Segundo ele, modelos de ML não são como termômetros que, independente de onde estão, seguem as leis universais da física (no caso, a dilatação e contração por mudança energética) e, portanto, podem ser usados em qualquer lugar. Modelos também não são como médicos treinados que conseguem adaptar-se à novas situações, novos tratamentos e novas práticas. Futoma define um modelo de ML como um "conjunto de regras treinadas para operar sob certos contextos" e, portanto, podem funcionar perfeitamente em um local, mas falhar completamente em outro.

Pessoalmente, prefiro uma outra forma de explicar esta limitação: computadores são máquinas burras, que fazem aquilo que são comandadas para fazer. Quando criamos um modelo de ML o tal "aprendizado" é feito a partir dos dados. Computador não julga o conteúdo dos dados, ele define as regras e gera equações matemáticas para fazer previsões. Aqui vale a indicação de um artigo de maio deste ano onde explico isso com mais detalhes para falar sobre viés de algoritmos.

Ainda uma outra forma de explicar o problema seria assim: você estuda para uma prova de matemática e, na hora da prova, você tem que fazer uma prova de português. Você pode até se sair bem, mas não é garantido, afinal você estudou para matemática. O contexto da sua preparação é diferente do contexto do momento que efetivamente você coloca em prática seu conhecimento para fazer a prova. Então, se você treinou seus dados num determinado contexto, por exemplo os dados dos colaboradores da sua empresa, não existe nenhuma garantia que isto irá funcionar para outra empresa que possui outros colaboradores. O modelo de risco para seguro de carro não é o mesmo para acidentes pessoais. Modelos não são "generalizáveis", não conseguem se adaptar.

No entanto, generalização é uma coisa desejável e deve ser perseguida. Empresas de software fazem isso: desenvolvem sistemas que sejam genéricos de forma que possam atender o maior número de clientes. Segundo Futoma, por generalização ser desejável e perseguida, muitas vezes o resultado são modelos que sacrificam o forte desempenho em um único local por sistemas com desempenho medíocre em muitos locais.

O que faz com que os modelos não sejam generalizáveis, principalmente, são os dados que foram usados para o treinamento e o contexto de coleta desses dados. Desta forma, a probabilidade de morte por COVID para um hospital na China não é o mesmo de um hospital no Brasil, porque, ainda que as variáveis usadas para sua criação sejam as mesmos, existem práticas e procedimentos que são diferentes. Por outro lado, segundo Futoma, são generalizáveis os métodos de coleta, tratamento, e transformação dos dados, bem como os algoritmos usados para fazer a modelagem.

Por que este assunto é relevante?

Cada vez mais a inteligência artificial está nosso dia a dia, auxiliando no processo de tomar decisões. Se o Netflix me recomendar erroneamente um filme, a única coisa que vai acontecer é que eu posso não gostar. Se uma seguradora calcula erroneamente o risco de um seguro, o pior que pode acontecer é ela perder o negócio (se o prêmio ficar muito alto o cliente fechará com outra seguradora) ou ter prejuízo (se o prêmio ficar muito baixo ela não terá cobertura atuarial para bancar os sinistros). Agora, no caso da saúde, um modelo preditivo que falha no auxílio de diagnósticos pode determinar o limiar entre a vida ou morte de um paciente.

Você não precisa entender como ML funciona, mas precisa estar atento aos riscos do uso da inteligência artificial. Este é um bom exemplo!

[1] Futoma J et al. The myth of generalisability in clinical research and machine learning in health care. Lancet Digit Health 2020;2(9):e489-e492 (pode ser baixado aqui).

[2] Agradeço ao Prof. Alexandre Chiavegatto Filho, diretor do Laboratório de Big Data e Análise Preditiva em Saúde da Faculdade de Saúde Pública da Universidade de São Paulo, pela indicação do artigo.

* * *

O blog "Inteligência Artificial para Negócios" da Inova Business School é uma iniciativa de levar assuntos técnicos relacionados à novas tecnologias para a maioria das pessoas. Os assuntos em geral estão relacionados a big data, inteligência artificial, transformação digital, ciência de dados e DataViz. Você encontra mais informações, bem como o histórico de todos os posts, em www.fabianocastello.com.br. Para entrar em contato use o email [email protected] ou acesse o qr-code.