Um novo estudo da OpenAI revelou que o ChatGPT-4 poderia dar respostas diferentes dependendo do nome do usuário, embora apenas em um número muito pequeno de situações. Isto levanta questões interessantes sobre o impacto dos preconceitos nos modelos de linguagem, como o ChatGPT, e como a IA lida com sinais subtis relacionados com a identidade dos utilizadores.
ANÚNCIO
Por que o ChatGPT pode responder de maneira diferente dependendo do seu nome?
Desenvolver uma IA como o ChatGPT não é apenas uma questão de estabelecer um conjunto de regras claras. Esses modelos de linguagem (LLMs) são treinados usando grandes quantidades de dados do mundo real, permitindo-lhes aprender padrões e melhorar suas respostas. No entanto, esses dados contêm frequentemente preconceitos humanos, incluindo estereótipos de gênero e raça.
Clique aqui para receber as notícias de ciência e tecnologia pelo WhatsApp
Quanto mais esses modelos são treinados, mais esses vieses podem ser reduzidos, mas eliminá-los completamente é muito difícil. É neste contexto que a OpenAI decidiu estudar se as respostas do ChatGPT podem ser afetadas pelo nome do utilizador, aspecto que pode revelar informações implícitas sobre género ou etnia.
O que o estudo OpenAI revela?
O estudo da OpenAI, intitulado “Equidade na primeira pessoa em chatbots”, investigou se o ChatGPT tratava os usuários de maneira diferente dependendo de seus nomes, especialmente em tarefas cotidianas, como pedir recomendações de entretenimento. Para fazer isso, analisaram um grande número de transcrições reais e examinaram se as respostas a solicitações idênticas variavam dependendo do nome do usuário.
A OpenAI observou que não encontrou diferenças significativas na qualidade geral das respostas do ChatGPT com base em nomes que indicam diferentes gêneros, raças ou etnias. Nas poucas ocasiões em que os nomes criaram diferenças, apenas em menos de 1% dos casos essas diferenças refletiram um estereótipo prejudicial.
1% das respostas baseadas em estereótipos são significativas?
Embora menos de 1% possa parecer insignificante, a OpenAI reconhece que não é 0%, sugerindo que há espaço para melhorias. Na verdade, quando aprofundamos os dados, descobrimos que os estereótipos de género eram mais prevalentes em áreas como o entretenimento e a arte, onde as respostas do ChatGPT refletiam algumas tendências prejudiciais. Embora estes preconceitos representassem apenas 0,2% das respostas, continuam a lembrar-nos dos desafios de eliminar completamente os preconceitos na IA.
ANÚNCIO
Vieses de gênero no ChatGPT
Este não é o primeiro estudo a abordar preconceitos no ChatGPT. Pesquisas anteriores, como Ghosh e Caliskan (2023), descobriram que ChatGPT perpetuou estereótipos de gênero ao atribuir pronomes incorretos entre ocupações. Além disso, Zhou e Sanfilippo (2023) concluíram que o ChatGPT apresentava preconceito implícito ao atribuir títulos profissionais, como quando usava incorretamente “ele” ou “ela” em vez de um pronome neutro.
Embora estes estudos tenham sido realizados antes do lançamento do ChatGPT-4, eles destacam o desafio contínuo de abordar os preconceitos nos modelos de IA. Os dados mais recentes da OpenAI indicam que com a versão ChatGPT-4, as respostas com estereótipos prejudiciais diminuíram para menos de 0,1%, uma melhoria significativa em relação ao 1% observado nas versões anteriores do modelo.
Como testar o impacto do seu nome no ChatGPT?
Se você já se perguntou se o ChatGPT responde de maneira diferente dependendo de como você se apresenta, pode ser interessante tentar alterar o nome fornecido em uma sessão. Embora estudos recentes mostrem que preconceitos prejudiciais na versão atual do ChatGPT-4 são muito raros, é sempre útil experimentar. Lembre-se de que os preconceitos, embora pequenos, ainda estão presentes em alguns casos.
O esforço contínuo para melhorar a justiça do ChatGPT é evidente e, embora ainda haja algum caminho a percorrer, a redução significativa nas respostas tendenciosas nos modelos mais recentes é um sinal encorajador para o futuro da IA ética.
