A selfie de uma adolescente de 14 anos publicada em uma rede social pode receber uma captura de tela realizada por qualquer pessoa. Mal-intencionado, o usuário — até então desconhecido — carrega a fotografia em uma plataforma de Inteligência Artificial (IA) e está, então, diante de um laboratório à sua disposição: por comandos simples, a tecnologia cria montagens realistas da jovem em cenários fictícios e, com mais frequência, eróticos. Foi o que aconteceu com cerca de 20 estudantes de uma escola particular da rede Santa Maria Minas, em Belo Horizonte, que tiveram os rostos replicados em falsos nudes ou em outras edições impróprias. Relatos ouvidos pela reportagem de O TEMPO apontam a suspeita de que o conteúdo, possivelmente criado por meninos da escola, esteja sendo vendido em grupos de mensagens no Telegram. O caso ilustra um problema ainda maior: segundo a própria plataforma, só este ano, até o mês de maio, 394.900 grupos e canais ligados a conteúdos de abuso sexual infantojuvenil foram removidos. 

O número significa que, por minuto, dois grupos com conteúdo sexual envolvendo menores — reais ou manipulados — são excluídos do Telegram, sendo que cada comunidade pode reunir até 200 mil membros. A falta de controle sobre o alcance das imagens geradas por Inteligência Artificial preocupa tanto a rede de educação quanto os familiares das adolescentes vítimas dos falsos nudes na capital mineira. Para se ter ideia, o Telegram liderou o ranking de denúncias relacionadas à divulgação de imagens impróprias de menores em 2024, com 1.040 páginas reportadas, segundo levantamento da Ong SaferNet, especializada na defesa dos direitos humanos na internet.

+ Adolescentes relatam medo após exposição por IA em colégio de BH: ‘É assédio’ 

O aplicativo teve mais de 1,4 milhão de usuários identificados em grupos e canais voltados à troca de fotos e vídeos de crianças e adolescentes no ano ado, apesar do Telegram considerar a contagem “um número absurdo”, alegando total comprometimento “em impedir que materiais de abuso sexual infantil apareçam em sua plataforma” e aplicação de “uma política rigorosa de tolerância zero”. 

“A SaferNet Brasil tem acompanhado com preocupação o aumento de casos envolvendo o uso de ferramentas de IA para a prática de crimes e violências digitais, especialmente entre adolescentes. Essas tecnologias têm facilitado a criação e disseminação de conteúdos falsos, como os chamados deepnudes, que violam gravemente a dignidade de crianças e adolescentes”, pondera Gustavo Barreto, assistente de projetos da SaferNet.

O especialista em tecnologia e mestre em Comunicação pela UFMG, Victor Góis, analisa a exposição das adolescentes da rede Santa Maria, em BH, como um exemplo do uso descontrolado da IA, resultado da recente democratização da ferramenta e influenciado pela misoginia. “As deepfakes (imagens manipuladas), desde sua origem, há cerca de oito anos, estão ligadas à criação de falsos nudes. Primeiro, as vítimas eram mulheres famosas, com rostos sobrepostos em atrizes pornográficas. Agora, o alvo pode ser qualquer pessoa”, alerta.

Góis reforça a preocupação com o caráter de humilhação, chantagem e violência psicológica que recai sobre as vítimas dos falsos nudes, especialmente quando são menores de idade. Os danos podem ser permanentes, já que as imagens, uma vez vazadas, circulam repetidamente. Segundo ele, a liderança do Telegram em denúncias de imagens impróprias de crianças e adolescentes está diretamente ligada à forma como a plataforma opera.

“O Telegram responde, sozinho, por mais de 90% de todas as denúncias envolvendo aplicativos de mensagens no Brasil. Ele possui criptografia que dificulta o monitoramento, abriga grupos e canais com milhares de usuários, e colabora pouco com as autoridades, quando comparado a outras plataformas no país. Além disso, investigações recentes descobriram que ao menos 23 bots automatizados no Telegram são capazes de criar material explícito usando inteligência artificial”, afirma.

Questionado pela reportagem, o Telegram informou que todo conteúdo de mídia enviado à plataforma é verificado em comparação com um banco de dados de conteúdos de abuso sexual infantojuvenil, conectado à Internet Watch Foundation. Além disso, o aplicativo de mensagens afirma operar canais de denúncias por meio dos quais Ongs, autoridades e usuários podem reportar arquivos explícitos. “Todo conteúdo removido é então adicionado aos bancos de dados do Telegram para impedir que seja enviado novamente”, diz. 

Misoginia, sexismo e masculinismo no centro do problema

O uso da inteligência artificial para humilhar principalmente meninas, como no caso da escola particular de Belo Horizonte, a por algumas possíveis causas que, segundo especialistas ouvidos por O TEMPO, precisam ser trabalhados de forma ampla dentro da comunidade escolar. Doutora em educação pela UFMG, a pedagoga Mariana Cavaca Alves do Valle concorda com Góis ao afirmar que, neste caso em específico, um tipo de preconceito específico está envolvido: a misoginia. 

“A misoginia entende o corpo da mulher como uma propriedade pública. Não é à toa que aconteceu apenas com meninas. Isso retrata muito uma necessidade de discussão acerca de gênero e sexualidade nas escolas, o que é um tabu para diversas famílias e instituições. Quando a gente proíbe ou ignora questões que fazem parte do cotidiano dos nossos alunos e alunas, elas não deixam de existir. Elas continuam existindo, só que sem processo educativo, sem conscientização e sem uma visão crítica acerca dessas temáticas. O que aconteceu nessa escola, poderia ter ocorrido em várias outras”, argumenta a especialista. 

Para o psicólogo e professor de psicologia Thales Coutinho, o caso dos falsos nudes do Santa Maria em BH também am por temas como masculinismo (ideias e movimentos que se opõem ao feminismo) e sexismo. Ele pontua que o uso da IA na manipulação de imagens sexuais é algo novo, porém, já é possível traçar paralelos com outros tipos de violências virtuais, como o revenge porn (a divulgação de imagens sexuais do parceiro por vingança), e os chamados incels, classificados como “homens heterossexuais que culpam as mulheres e a sociedade pela sua falta de sucesso romântico” pela Liga Anti-Difamação — grupo que combate ódio e o extremismo.

“Os incels têm uma ideia de destruição da mulher e dos chamados ‘chads’, que são homens atléticos, bonitos. Entretanto, um dos componentes dos incels é esse masculinismo, que incentiva estes comportamentos, e está presente tanto no revenge porn como na cultura incel”, pontua. 

Outro ponto em comum entre o caso dos nudes falsos feitos por IA e esses grupos extremistas é a importância de não se dar “holofote” para estes agressores, na avaliação do psicólogo. “A visibilidade para os autores desse tipo de conduta é inadequada, pois pode incentivar esse comportamento a acontecer de novo”, defende. Apesar disso, Coutinho acrescenta que, por se tratar de um caso “público”, será necessária a punição dos envolvidos pela exposição na escola em BH. “Na psicologia, você punir um comportamento inadequado não vai fazer com que aquilo ali, necessariamente, pare de acontecer. Entretanto, em casos graves e que são públicos, a não aplicação da punição serve como reforçador do comportamento”, completou. 

Deepfake é crime previsto no ECA

A onda de falsos nudes e imagens impróprias de crianças e adolescentes, produzidas por Inteligência Artificial (IA), é recente, mas já está contemplada no Estatuto da Criança e do Adolescente (ECA) desde 2008. O artigo 241-C tipifica como crime toda simulação da participação de menores em cenas de sexo explícito ou pornográficas, por meio de adulteração, montagem ou modificação de mídia — o que inclui o uso de IA. A pena prevista é de 1 a 3 anos de reclusão, além de multa. 

De acordo com o promotor André Salles, do Grupo de Atuação Especial de Combate aos Crimes Cibernéticos do Ministério Público de Minas Gerais (MPMG), quem recebe ou compartilha esse tipo de conteúdo também pode ser responsabilizado. “A Inteligência Artificial trouxe inúmeros avanços e possibilidades, mas também enormes riscos, principalmente à dignidade sexual de crianças e adolescentes. Criar ‘deepfakes’ é um crime previsto no ECA, mas não apenas os autores são culpados: quem disponibiliza, consome, divulga ou armazena as imagens também deve responder criminalmente”, explica.

O promotor reforça que conteúdos modificados por IA não devem ser compartilhados, nem mesmo com a intenção de alertar: “As imagens devem ser encaminhadas exclusivamente à polícia e aos órgãos de Justiça.” Segundo Salles, aumentaram, nos últimos meses, as denúncias de crimes cibernéticos envolvendo o uso de IA no Ministério Público, principalmente com vítimas mulheres e meninas. No geral, a ouvidoria do MPMG recebeu, no ano ado, cerca de 700 registros de crimes virtuais. “Às vítimas, a orientação é que guardem o conteúdo modificado como prova para o inquérito. A denúncia pode ser feita diretamente em uma delegacia ou nas promotorias de Justiça do MP, que contam com um acolhimento cuidadoso à pessoa”, orienta.

Quando o crime acontece no Telegram, a plataforma afirma que pode divulgar o endereço IP e o número de telefone de criminosos que violam seus termos de serviço, em resposta a solicitações legais válidas. "Essa política está em vigor desde 2018 e permite que o Telegram auxilie investigações policiais e mantenha a plataforma segura”, diz, por meio de nota.

O que diz o Santa Maria Minas? 

Procurado, o Colégio Santa Maria lamentou o ocorrido e informou que desenvolve "sistematicamente" atividades educativas sobre o uso ético e responsável da tecnologia, o que contemplaria "medidas de prevenção e combate das diversas formas de violência que ameaçam crianças e adolescentes, no mundo concreto e no ambiente digital".

A instituição alegou ainda que já adota medidas pedagógicas e jurídicas, como: acolhida e escuta das vítimas e de seus familiares; convocação e escuta do suposto autor e seus familiares; aplicação de medidas disciplinares conforme o Regimento da Instituição; intensificação de atividades formativas nas turmas do ensino médio sobre bullying e suas consequências jurídicas. 

"O Colégio Santa Maria Minas lamenta o ocorrido e reafirma seu compromisso com a promoção de um ambiente escolar seguro, acolhedor e pautado pelo respeito mútuo. Todas as providências estão sendo tomadas com responsabilidade e transparência, em consonância com os valores institucionais e a legislação vigente. A instituição permanece à disposição das autoridades competentes e das famílias envolvidas para esclarecimentos e encaminhamentos necessários", concluiu.