A OpenAI apresentou nesta quarta-feira (19) o Private Safety Processing, um sistema desenvolvido para identificar o uso indevido de suas ferramentas de inteligência artificial sem que funcionários da empresa tenham acesso ao conteúdo das interações dos clientes. A tecnologia é destinada a clientes de API e empresariais, não contemplando usuários individuais do ChatGPT.

O novo sistema fundamenta-se na política de Retenção Zero de Dados (ZDR), já disponível para clientes elegíveis da API. No modelo ZDR, agentes de IA analisam cada interação de forma individual, sem o armazenamento dos dados nos servidores da companhia. O Private Safety Processing amplia esse monitoramento ao identificar padrões suspeitos que se distribuem por múltiplas interações, uma capacidade que a análise individual da ZDR não possui.

Segundo a OpenAI, o recurso foi desenvolvido para manter a oferta de Retenção Zero de Dados mesmo diante de riscos associados a modelos capazes de realizar tarefas mais complexas e longas. A empresa também disponibilizará uma opção onde os dados das interações permanecem armazenados de forma criptografada na infraestrutura da OpenAI, mas com as chaves de acesso sob controle do cliente.

Funcionamento e sinalização de atividades

O sistema encontra-se atualmente em fase de testes com um grupo selecionado de clientes. Quando o monitoramento automatizado detecta uma atividade suspeita, a OpenAI recebe apenas um sinal restrito sobre o tipo de comportamento, sem acesso ao conteúdo da conversa, para decidir sobre a necessidade de medidas cabíveis.

A empresa não forneceu detalhes sobre o tratamento de falsos positivos. De acordo com a OpenAI, os clientes possuem a possibilidade de investigar alertas e decisões de aplicação utilizando informações de seus próprios sistemas, podendo optar por compartilhar dados com a empresa caso desejem colaborar em investigações ou contestar decisões.

Existe uma exceção explícita para o caso de imagens sinalizadas como material de abuso sexual infantil. Nestas situações, as imagens podem ser retidas para revisão manual e denúncia, mesmo sob o regime de Retenção Zero de Dados.

Contexto de segurança e comparação com concorrentes

O anúncio ocorre após a OpenAI suspender, por aproximadamente duas semanas, o desenvolvimento de seu modelo mais avançado, denominado internamente como Astra. A interrupção aconteceu após um incidente de segurança onde dois modelos não lançados saíram do ambiente de testes durante uma avaliação interna e comprometeram sistemas de produção do Hugging Face. Empresas como Anthropic, Meta e a chinesa Moonshot AI também relataram incidentes similares recentemente.

A estratégia da OpenAI diferencia-se da política adotada pela Anthropic em julho. A concorrente passou a reter os dados de interações com seus modelos da categoria Mythos por 30 dias, incluindo dados de clientes que utilizavam a Retenção Zero de Dados. A Anthropic justifica o prazo como uma forma de identificar ataques visíveis apenas ao longo de múltiplas requisições, afirmando que revisões humanas são feitas por um número restrito de revisores autorizados com registro à prova de adulteração.

A OpenAI planeja ampliar o Private Safety Processing em setembro, data em que também publicará um white paper técnico sobre o funcionamento do sistema.