Com quase duas décadas de atuação na interseção entre tecnologia, direitos humanos e governança da internet, Mallory Knodel construiu uma trajetória que reúne pesquisa em criptografia, defesa de direitos digitais e participação em processos internacionais de definição de padrões técnicos. Como tecnóloga feminista e diretora executiva da Social Web Foundation, sua atuação parte de uma perspectiva que considera as relações de poder presentes na arquitetura e no desenvolvimento das tecnologias digitais.
Na Data Privacy Global Conference – DPGC 2026, Mallory apresenta a palestra Detection, Verification and Agents: Today’s Privacy Challenges (Detecção, Verificação e Agentes de IA: os desafios atuais da privacidade). A discussão aborda questões que ganham relevância com a incorporação de sistemas de inteligência artificial aos serviços digitais, especialmente os desafios relacionados à identificação de conteúdos, aos mecanismos de verificação e à atuação de agentes de IA.
Nesta entrevista à Data Privacy Brasil, Mallory fala sobre as experiências que orientaram sua trajetória profissional, os limites da atuação das plataformas na moderação de conteúdo e no enfrentamento da violência de gênero, os riscos associados à verificação de idade e a necessidade de preservar a privacidade e a criptografia de ponta a ponta diante da expansão dos agentes de inteligência artificial.
Sua trajetória reúne experiências em arquitetura da internet, criptografia, direitos digitais e governança global da internet. Olhando para esse percurso, quais experiências foram mais importantes para formar sua compreensão sobre a relação entre tecnologia e direitos humanos?
Quatro experiências foram especialmente importantes para mim.
No início da minha carreira, trabalhei com comunicação e tecnologia para os Movimentos Sociais Mundiais, o que me levou várias vezes ao Brasil. Minha atuação junto a grandes movimentos sociais que se opunham à globalização marcou todo o meu trabalho desde então. Temos visto uma repressão sem precedentes aos movimentos de solidariedade global e uma erosão do espaço cívico, tanto no ambiente físico quanto no digital, com o uso de tecnologias digitais.
Sou educadora de formação e trabalhei durante muitos anos na proteção de defensoras e defensores dos direitos humanos, oferecendo capacitações em segurança digital. A experiência com o ensino me ajudou a ser uma tecnóloga e comunicadora melhor. Também me mostrou que precisamos enfrentar alguns problemas de cima para baixo, e não apenas de baixo para cima, porque eles são grandes demais para isso.
Nesse sentido, aprendi muito com a atuação em instâncias mais amplas, como os processos de elaboração de padrões globais. Eles representam uma tentativa de enfrentar problemas de direitos humanos presentes na própria arquitetura da internet, considerando todas as pessoas, mas partindo da perspectiva das mais vulnerabilizadas.
Por outro lado, a atuação direta junto às empresas tem resultados limitados. No fim das contas, as empresas fazem o que querem, e isso pode comprometer a confiança e, especialmente, os recursos de organizações sem fins lucrativos que trabalham arduamente para melhorar seus produtos. Minha trajetória também é marcada pelo pensamento feminista, que me leva a defender a construção dos nossos próprios espaços, incluindo nossas próprias tecnologias.
Quero ver alternativas que sejam tão boas quanto, ou melhores, em termos de respeito aos direitos humanos, construídas a partir dos princípios dos nossos movimentos e que possam ser utilizadas e beneficiar todas as pessoas, sem que seja necessário depender de produtos de grandes empresas.
Ao longo dos anos, os debates sobre moderação de conteúdo levantaram questões importantes sobre a relação entre privacidade, liberdade de expressão e proteção das pessoas usuárias. A partir de seu trabalho sobre moderação de conteúdo em sistemas com criptografia de ponta a ponta, o que deve ser considerado na avaliação de novas propostas para enfrentar danos no ambiente digital? O que pode acontecer quando não há um equilíbrio adequado entre esses direitos?
Há mais de uma década, David Kaye, então relator especial das Nações Unidas para a liberdade de expressão, estabeleceu uma relação entre privacidade e outros direitos humanos em seu relatório sobre criptografia e anonimato.
Há cinco anos, meus colegas e eu escrevemos Outside Looking In, um documento do Center for Democracy & Technology sobre moderação de conteúdo em sistemas com criptografia de ponta a ponta. Nele, detalhamos de que maneira as técnicas de moderação de conteúdo podem ou não comprometer a privacidade e a liberdade de expressão na tentativa de reduzir danos causados por conteúdos.
Sabemos há muito tempo que, quando o equilíbrio entre esses direitos não é adequado, surgem consequências que podem levar a violações de direitos humanos, monopólios de plataformas, captura regulatória, centralização das redes e desigualdades no acesso.
É importante revisitar e reformular essas questões sempre que novas propostas são colocadas em discussão.
O Observatório IA nas Eleições, iniciativa da Data Privacy Brasil e do Aláfia Lab, documentou como conteúdos gerados por inteligência artificial, incluindo imagens e vídeos sexuais falsos produzidos sem consentimento, podem ser usados para atacar mulheres na política. Além dos danos individuais, como essa forma de violência política de gênero afeta a participação e a representação das mulheres? Em que medida as políticas, as escolhas de projeto e as omissões das plataformas contribuem para permitir ou normalizar esses ataques?
Este é um problema com várias camadas. Quero abordá-lo a partir de uma análise feminista das relações de poder.
Tudo começa com a ideia de que as mulheres não deveriam ocupar posições de poder e com o desconforto em relação à igualdade de gênero, presente em todos os lares, relacionamentos e ambientes de trabalho. As mulheres que concorrem a cargos eletivos têm grande visibilidade e, como parte do processo democrático, todas as pessoas têm acesso e exposição àquelas que buscam ocupar posições de poder. Faço essa observação porque precisamos considerar as causas sociais mais profundas do problema.
A questão se transforma em um problema tecnológico porque a sociedade construiu diversas formas de retirar o poder das mulheres. É possível atacar sua reputação, seus relacionamentos, sua sexualidade, sua condição de pessoa, seu corpo. Todos os tabus relacionados a essas dimensões são construções sociais. Os espaços digitais dão visibilidade a esses tabus, facilitando o acesso e a amplificação desses ataques.
As pessoas que tomaram as decisões sobre a criação dessas plataformas estão sujeitas aos mesmos condicionamentos sociais que todas as outras pessoas. Ao mesmo tempo, têm autoridade para decidir se suas plataformas vão reduzir ou agravar os problemas relacionados às relações de poder.
Historicamente, as plataformas fizeram muito pouco. A violência contra as mulheres nesses ambientes é ignorada porque, em diferentes graus, é socialmente normalizada. O que é considerado dano também varia entre culturas: em algumas delas, aparecer com os cabelos descobertos ou usar roupas que exponham qualquer parte da pele pode ser entendido como uma forma de dano. Uma plataforma precisa primeiro compreender o que constitui esse dano, quais são seus impactos e como enfrentá-lo. Durante muito tempo, porém, as plataformas não ouviram as organizações de defesa dos direitos das mulheres sobre essas questões.
Além disso, as plataformas são projetadas para intensificar debates, conversas e atividades. A publicidade depende do engajamento com conteúdos, e esse engajamento costuma ser maior diante de conteúdos negativos do que positivos. Isso significa que as plataformas precisam atuar ativamente contra essa tendência. Sua atuação não pode ser apenas reativa.
A atitude mais transformadora seria utilizar o poder das plataformas para enfrentar os problemas do mundo, e não apenas aqueles que acontecem dentro de seus próprios ambientes. Vale lembrar que elas ainda falham amplamente até mesmo nessa segunda tarefa.
Sou tecnóloga e talvez vocês tenham percebido que praticamente não falei sobre tecnologia. Existem algumas soluções técnicas para a moderação de conteúdo, como aquelas que meus colegas e eu analisamos em Outside Looking In.
O ECA Digital, aprovado no Brasil em 2025, estabelece novos requisitos para mecanismos de aferição de idade e também prevê salvaguardas relacionadas à privacidade, à minimização de dados e à limitação de finalidade. Enquanto medidas semelhantes são discutidas e implementadas em diferentes países, o que formuladores de políticas públicas devem considerar ao desenvolver esses mecanismos? Como proteger crianças e adolescentes sem criar novas estruturas de vigilância ou restringir o acesso das pessoas aos ambientes digitais?
A primeira questão a estabelecer é se existem obrigações legais que exijam que todas as pessoas apresentem uma identificação ao realizar determinada ação. Na maioria dos países, não existe uma obrigação legal de verificar a identidade de todas as pessoas que acessam conteúdos on-line. Mesmo no caso da pornografia, não há tantas leis que proíbam o consumo desse tipo de conteúdo com base na idade.
Enquanto não houver uma obrigação legal de verificar cada pessoa que realiza determinada ação, não faz sentido começar a discutir mecanismos de verificação de idade com rigor e profundidade. Como tecnóloga, deixo essa análise a vocês, que são especialistas em direito.
Atualmente, o que se costuma fazer é solicitar que os serviços verifiquem a idade das pessoas porque determinado serviço pode ser inadequado para algumas faixas etárias. Uma plataforma pode não ter sido projetada para receber crianças, por exemplo, porque seu modelo de negócio depende da publicidade e, francamente, crianças não têm dinheiro para fazer compras on-line. Também existem versões de aplicativos desenvolvidas especificamente para o público infantil, como as Contas de Adolescente do Instagram, a configuração de conteúdo para crianças do YouTube ou aplicativos educacionais voltados para crianças em idade escolar.
É por isso que existem mecanismos como a solicitação da data de nascimento no momento da criação de uma conta, para garantir que o serviço seja adequado à idade de quem o utiliza. Reconheço que essa prática é imperfeita quando existem proibições de conteúdo respaldadas por lei.
A primeira questão, portanto, é a existência de uma obrigação legal. A segunda é identificar o grau de rigor necessário para verificar a idade de todas as pessoas que realizam determinada ação. O local em que essa verificação acontece pode comprometer a privacidade de todas as pessoas ou adotar uma abordagem de redução de danos, buscando um equilíbrio melhor.
Será mesmo necessário exigir um documento de identidade emitido pelo governo e dados biométricos para acessar um site? Vale lembrar que essa verificação seria realizada para cada pessoa usuária.
A terceira questão é definir qual intermediário será responsável por essa verificação. Ela deve ser feita por cada site individualmente? Podemos considerar outro exemplo: se a verificação for realizada por um serviço de identidade, um sistema operacional de dispositivos móveis poderia armazenar um token, que seria compartilhado com aplicativos ou com a loja de aplicativos de onde eles são baixados.
Esse modelo teria uma consequência não intencional: todos os aplicativos e serviços passariam a ter incentivos para solicitar esse token, porque esse sinal extremamente confiável e preciso permitiria construir um dossiê sobre todas as pessoas que utilizam a internet. Assim, mesmo que um serviço não precise dessa informação, poderia solicitá-la, armazená-la, utilizá-la no presente ou no futuro, ou até vendê-la.
Além disso, esse modelo também seria ineficaz, porque muitas pessoas acessam conteúdos por meio de sites, e não de aplicativos. Os próprios navegadores também não funcionam exatamente dessa maneira. Tampouco seria adequado exigir um sinal de idade para baixar um programa de uso geral, como um navegador.
Há ainda toda a questão da possibilidade de contornar esses mecanismos. Independentemente da opção escolhida para realizar a verificação, seja no próprio serviço, no telefone ou pelas empresas de telecomunicações, percebe-se que ela pode ser facilmente contornada pelo simples acesso ao conteúdo por outro caminho.
Isso acontece porque a internet e a web foram construídas com base na ideia de que existem diferentes versões de serviços e informações, que podem ser apresentadas às pessoas de maneiras distintas, conforme as jurisdições em que se encontram.
A preocupação com a possibilidade de contornar essas medidas acaba abrangendo também proibições ou restrições ao uso de redes privadas virtuais (VPNs) e de outros recursos e serviços importantes para a proteção da privacidade. Esses recursos são necessários para que ativistas possam se manter em segurança e para que mulheres também possam se proteger.
Assim, começa-se a restringir esses recursos também. Espero que esteja claro que, nesse ponto, já fomos longe demais e perdemos o equilíbrio.
À medida que agentes de inteligência artificial passam a ser incorporados aos serviços digitais e aos processos de tomada de decisão, como desenvolvedores e formuladores de políticas públicas podem preservar garantias robustas de privacidade e a criptografia de ponta a ponta? Que princípios devem orientar o desenvolvimento de sistemas de IA que respeitem os direitos humanos?
Eu diria que os agentes de IA se dividem em duas categorias.
A primeira reúne aqueles que muitas pessoas utilizam ao interagir com tecnologias de modelos de linguagem de grande escala, como ChatGPT, Claude ou Meta AI. A segunda inclui os diversos agentes que estão sendo desenvolvidos em torno de serviços, ferramentas e sites já existentes.
Por um lado, esperamos que os agentes da primeira categoria, os assistentes conversacionais, estejam do nosso lado: recorremos a eles em busca de conselhos ou para nos ajudar a realizar alguma atividade. Por outro, não esperamos que um agente de uma companhia aérea, de uma fabricante de automóveis ou de um serviço de entrega de comida seja um agente que trabalhe para nós. Esses agentes atuam em nome das empresas que os desenvolveram e substituem o contato com uma pessoa funcionária real.
Essa diferença também importa quando pensamos em tomada de decisões. Acredito que as pessoas estejam bastante preocupadas com a primeira categoria de agentes de IA, aqueles que parecem estar do nosso lado e que podem tomar decisões por nós ou realizar ações em nosso nome.
Há pessoas que trabalham nessa área e defendem fortemente que isso simplesmente não deveria ser possível. As decisões devem ser tomadas por pessoas, e os agentes deveriam apenas executar essas decisões, sem atuar de forma autônoma. A realidade provavelmente ficará em algum ponto intermediário. Por isso, é importante que as pessoas tenham uma compreensão clara de quem desenvolveu o agente, para quem ele foi criado e quais interesses orientam sua atuação.
Também deveríamos ter muita cautela ao permitir que esses agentes tenham acesso às nossas conversas privadas e às conversas que mantemos com outras pessoas, como acontece nos aplicativos de mensagens.
Há muito tempo, como comunidade, entendemos que essas conversas são tão importantes que precisam ser protegidas pela criptografia de ponta a ponta, que impede que o próprio provedor do serviço tenha acesso ao conteúdo das mensagens.
Quando se introduz um agente de IA nessas conversas, essa proteção deixa de existir. As empresas têm grande interesse em entrar nas nossas conversas, utilizando-as como uma nova fonte de dados para treinar seus modelos, vender produtos e aumentar o engajamento.
Precisamos estabelecer um limite muito claro nesse ponto. É esse o objetivo do meu trabalho atual: impedir que agentes de IA tenham acesso a conversas confidenciais e garantir que, quando as pessoas utilizarem IA sobre seus dados privados, o próprio processamento dessas informações permaneça confidencial.
***
A entrevista foi realizada no dia 10 de novembro de 2026 e concedida originalmente em inglês.
