Discord logo displayed on a phone screen and a keyboard.

Discord admite que bug de moderação de IA baniu injustamente usuários por causa de imagens inofensivas

Discord reconheceu que um bug em seu sistema de moderação de IA baniu erroneamente mais de 8.000 usuários nos últimos dois meses, depois que imagens inofensivas – incluindo planilhas, tabuleiros de xadrez, texturas de jogos, bem como fundos transparentes brancos e cinzas – foram sinalizadas incorretamente como conteúdo prejudicial.

A empresa confirmou que o problema estava afetando as contas desde maio, com mais 200 usuários banidos no fim de semana antes que sua equipe identificasse e corrigisse o problema. Todas as contas afetadas estão atualmente em processo de restauração.

O incidente destaca um dos desafios crescentes que rodeiam a moderação assistida por IA, uma vez que muitas plataformas dependem cada vez mais de sistemas automatizados para identificar material ilegal ou abusivo em grande escala.

Em um tópico detalhado em XDiscord explicou que seu sistema de segurança automatizado funciona comparando o conteúdo carregado com bancos de dados de material prejudicial conhecido. Embora a tecnologia seja projetada para detectar conteúdo ilegal, a empresa reconheceu que às vezes pode gerar falsos positivos. Um moderador humano analisa o conteúdo, mas um bug fez com que o sistema banisse imediatamente as contas afetadas.

“Estamos trabalhando em melhores salvaguardas para que isso não aconteça novamente”, escreveu a empresa.

Através de X e Redditos usuários alegaram que foram suspensos permanentemente simplesmente por enviar imagens contendo padrões de grade quadrada. Vários usuários especularam que as ferramentas de moderação de IA do Discord tornaram-se cada vez mais sensíveis a padrões semelhantes a grades porque foram usadas anteriormente em tentativas de ocultar ou disfarçar NSFW e conteúdo de exploração infantil de sistemas de detecção automatizados.

Os usuários afetados têm expressado frustração nas redes sociais, com alguns argumentando que banimentos permanentes de contas baseados apenas na detecção automatizada podem ter consequências graves, especialmente para usuários que dependem do Discord para trabalho, comunidades de jogos ou conexões sociais de longa distância.

“Perder uma conta do Discord para algo tão injusto como isso pode ser extremamente devastador e afetar severamente os usuários, e todos os dias milhões de usuários são afetados por falsos banimentos de IA. Isso precisa ser interrompido”, disse um usuário X. escreveu.

O Discord não é o único a enfrentar problemas de moderação devido a sistemas automatizados. No ano passado, os usuários de Instagram e Grupos do Facebook relataram suspensões generalizadas e inexplicáveis ​​de contas que muitos acreditavam terem sido causadas por sistemas de moderação de IA. Embora os usuários apontassem a automação como a provável culpada, o Meta nunca confirmou publicamente se os erros de IA eram os responsáveis. Agora, o Conselho de Supervisão da Meta está pressionando por maior transparência.

Tumblr ano passado também enfrentou reclamações de usuários que disseram que suas contas foram suspensas em massa sem explicações claras.

Quando você compra por meio de links em nossos artigos, podemos ganhar uma pequena comissão. Isso não afeta nossa independência editorial.



Comments

No comments yet. Why don’t you start the discussion?

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *