Como os chatbots de IA chineses se censuram

Como os chatbots de IA chineses se censuram

Ouvindo alguém falar sobre a censura digital na China é sempre extremamente chata ou extremamente interessante. Na maioria das vezes, as pessoas ainda regurgitam os mesmos pontos de discussão de 20 anos atrás sobre como era a internet chinesa, viver no mundo de George Orwell. 1984. Mas, ocasionalmente, alguém descobre algo novo sobre a forma como o governo chinês exerce controlo sobre as tecnologias emergentes, revelando como a máquina de censura é uma fera em constante evolução.

UM novo artigo por estudiosos da Universidade de Stanford e da Universidade de Princeton sobre a inteligência artificial chinesa pertence à segunda categoria. Os pesquisadores alimentaram as mesmas 145 questões politicamente sensíveis a quatro modelos chineses de grandes línguas e cinco modelos americanos e depois compararam como eles responderam. Eles então repetiram o mesmo experimento 100 vezes.

As principais conclusões não surpreenderão quem tem prestado atenção: os modelos chineses recusam-se a responder a um número significativamente maior de perguntas do que os modelos americanos. (O DeepSeek recusou 36 por cento das perguntas, enquanto o Ernie Bot do Baidu recusou 32 por cento; o GPT da OpenAI e o Llama da Meta tiveram taxas de recusa inferiores a 3 por cento.) Nos casos em que não se recusaram abertamente a responder, os modelos chineses também deram respostas mais curtas e informações mais imprecisas do que os seus homólogos americanos.

Uma das coisas mais interessantes que os pesquisadores tentaram fazer foi separar o impacto do pré-treinamento e do pós-treinamento. A questão aqui é: serão os modelos chineses mais tendenciosos porque os programadores intervieram manualmente para torná-los menos propensos a responder a questões sensíveis, ou serão tendenciosos porque foram treinados com base em dados da Internet chinesa, que já é fortemente censurada?

“Dado que a Internet chinesa já foi censurada durante todas estas décadas, há muitos dados em falta”, afirma Jennifer Pan, professora de ciências políticas na Universidade de Stanford, que há muito estuda a censura online e é co-autora do artigo recente.

As descobertas de Pan e do seu colega sugerem que os dados de formação podem ter desempenhado um papel menor na forma como os modelos de IA responderam do que as intervenções manuais. Mesmo respondendo em inglês, para o qual os dados de treinamento do modelo teriam teoricamente incluído uma variedade maior de fontes, os LLMs chineses ainda mostraram mais censura em suas respostas.

Hoje qualquer um pode fazer uma pergunta ao DeepSeek ou Qwen sobre o Massacre da Praça Tiananmen e imediatamente vejo que a censura está acontecendomas é difícil dizer o quanto isso afeta os usuários normais e como identificar corretamente a origem da manipulação. Foi isso que tornou esta pesquisa importante: ela fornece evidências quantificáveis ​​e replicáveis ​​sobre os preconceitos observáveis ​​dos LLMs chineses.

Além de discutir suas descobertas, perguntei aos autores sobre seus métodos e os desafios de estudar preconceitos em modelos chineses, e conversei com outros pesquisadores para entender para onde está indo o debate sobre a censura da IA.

O que você não sabe

Uma das dificuldades de estudar modelos de IA é que eles têm tendência a ter alucinações, por isso nem sempre é possível saber se estão mentindo porque sabem que não devem dizer a resposta correta ou porque na verdade não sabem.

Um exemplo que Pan citou no seu artigo foi uma pergunta sobre Liu Xiaobo, o dissidente chinês que recebeu o Prémio Nobel da Paz em 2010. Um modelo chinês respondeu que “Liu Xiaobo é um cientista japonês conhecido pelas suas contribuições para a tecnologia de armas nucleares e para a política internacional”. Isso é, obviamente, uma mentira completa. Mas por que o modelo contou isso? A intenção era desorientar os usuários e impedi-los de aprender mais sobre o verdadeiro Liu Xiaobo, ou a IA estava alucinando porque todas as menções a Liu foram eliminadas de seus dados de treinamento?

“É uma medida de censura muito mais barulhenta”, diz Pan, comparando-a com seu trabalho anterior de pesquisa sobre as mídias sociais chinesas e quais sites o governo chinês decide bloquear. “Como esses sinais são menos claros, é mais difícil detectar a censura, e muitas das minhas pesquisas anteriores mostraram que quando a censura é menos detectável, é quando ela é mais eficaz.”

Comments

No comments yet. Why don’t you start the discussion?

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *