A Arquitetura de 500 Petabytes: Como a OpenAI Escalou o Armazenamento para 1 Bilhão de Usuários do ChatGPT

A OpenAI ultrapassou a marca de 1 bilhão de usuários atendidos pelo ChatGPT e sua infraestrutura de API, exigindo uma reformulação extrema na forma como a empresa gerencia dados. Em 23 de outubro de 2026, os engenheiros Jon Lee, Hrachya Hakobyan e Chaomin Yu detalharam a "Parte II" da evolução técnica do Habitat, a plataforma de armazenamento proprietária da OpenAI. O sistema evoluiu de uma biblioteca cliente Python para um colosso distribuído em quase 40 regiões geográficas, processando mais de 70 milhões de solicitações por segundo e gerenciando um volume de dados superior a 500 petabytes. O núcleo desse salto técnico dependeu de levar o Azure Cosmos DB da Microsoft ao seu limite absoluto, gerenciando gargalos de partição e migrando de ambientes de locação única (single-tenancy) para locação múltipla (multi-tenancy) gerenciada.

O Contexto e a Cronologia da Evolução do Habitat

A jornada do armazenamento de dados da OpenAI reflete os desafios de uma hiper-escala sem precedentes. Antes de 2023, a empresa baseava grande parte de sua infraestrutura em sistemas relacionais tradicionais, como o PostgreSQL. No entanto, o rápido crescimento de adoção do ChatGPT evidenciou limitações severas de escalabilidade, especialmente em relação ao gerenciamento de "chaves quentes" (hot keys). Quando uma única organização ou cliente gerava uma carga desproporcional de consultas, o banco de dados inteiro sofria gargalos, exigindo soluções complexas de cache e controle de tráfego.

Para resolver essas dores estruturais, a OpenAI apresentou inicialmente o Habitat durante o DevDay 2023. Naquela época, a plataforma começou de forma relativamente modesta, operando como uma biblioteca do lado do cliente baseada em Python que se conectava a um banco de dados único. O sucesso do produto, no entanto, exigiu uma rápida transição de uma biblioteca local para um serviço autônomo e globalmente distribuído, caracterizando a Fase I dessa transformação técnica, em que a OpenAI adotou contêineres padrão do Azure Cosmos DB.

Na Fase I, a estratégia envolvia direcionar o tráfego para um único contêiner padrão do Cosmos DB e confiar no limite teórico de 10.000 Request Units por segundo (RU/s) por chave de partição lógica para gerar contrapressão (back pressure). Entretanto, decisões iniciais de API expuseram a seleção dessas chaves (como user_id e workspace_id) diretamente aos clientes. Isso gerou colisões e gargalos, pois múltiplas funcionalidades do produto compartilhavam os mesmos limites de partição lógica, estrangulando o throughput geral.

A Fase II marcou a tentativa de isolamento de cargas de trabalho. A equipe implementou contêineres dedicados (single-tenancy) para casos de uso novos e críticos, mitigando conflitos diretos de partições. Embora essa abordagem resolvesse o problema do isolamento, o planejamento individual de capacidade (capacity planning) para cada novo contêiner gerava desperdício e sobrecarga operacional consideráveis, levando ao status atual de refinamento do multi-tenancy gerenciado nativamente através das primitivas da Azure.

Os Números que Definem a Escala da OpenAI

A magnitude do desafio resolvido pela plataforma Habitat é quantificada por métricas operacionais que definem a engenharia de fronteira no setor de IA. Os dados operacionais publicados na Parte II do relatório técnico (23 de outubro de 2026) revelam:

• Usuários Ativos: Mais de 1 bilhão de usuários em todo o mundo.
• Volume de Dados: Mais de 500 petabytes gerenciados pelo Habitat.
• Vazão de Requisições: Mais de 70 milhões de requisições processadas a cada segundo.
• Presença Global: Operação distribuída em quase 40 regiões geográficas distintas.
• Limites de Infraestrutura: 10.000 RU/s (Request Units per second) estipulados por chave de partição lógica no Azure Cosmos DB.
• Autoria da Arquitetura: O relatório técnico "Parte II" é assinado pelos engenheiros Jon Lee, Hrachya Hakobyan e Chaomin Yu.

A "Física" dos Bancos de Dados em Nuvem e os Desafios do Cosmos DB

O documento da OpenAI expõe os efeitos colaterais inevitáveis ​​quando o volume de dados entra em atrito com a arquitetura física do banco de dados em nuvem. A equipe lidou com três obstáculos fundamentais que afetam qualquer sistema distribuído desse porte:

1. Limites de Chave de Partição Lógica: A OpenAI expôs as chaves lógicas (ex: user_id) para diferentes casos de uso de produtos concorrentes. Como essas cargas de trabalho compartilhavam os limites de limite de requisições da Azure na mesma chave, o design estrangulava as velocidades de leitura e escrita do usuário final, mesmo quando o restante da infraestrutura tinha capacidade sobrando.

2. O Fenômeno dos "Vizinhos Barulhentos" (Noisy Neighbors): Embora os limites oficiais (como os 10.000 RU/s) se apliquem às partições lógicas, a execução real ocorre nos nós de servidores físicos. Várias partições lógicas habitam a mesma partição física. Assim, cargas de trabalho de recursos de nicho consumiam a capacidade física, degradando operações essenciais, como os fluxos de login e cadastro.

3. Partições Fracas e o Crescimento Passivo: O provisionamento de contêineres do Cosmos DB é distribuído de forma relativamente igualitária entre as partições físicas. Quando o armazenamento atinge seu teto, uma partição física se divide em duas, e cada uma recebe metade da capacidade de throughput original. Em casos de uso de alto armazenamento da OpenAI, o simples crescimento do volume de dados inativos reduzia o limite efetivo de requisições das partições físicas, quebrando cargas de trabalho ativas mesmo com a taxa de requisições do usuário estável.

Para contornar esses cenários, a mudança técnica final não foi apenas construir isolamento (Phase II), mas sim implementar um script avançado de sincronização entre o throughput provisionado e o número de partições, além de retornar a um modelo multi-tenant otimizado.

O Impacto para o Setor e a Redefinição do Multi-Tenancy

O salto arquitetônico do Habitat afeta diretamente quatro grupos de maneira clara:

A própria OpenAI: O ganho técnico garante que a escalabilidade do ChatGPT e de APIs de modelos fundacionais (Foundation Models) não colapse sob o próprio peso. Eles agora obtêm leituras de dados até 12 vezes mais rápidas, traduzindo-se diretamente em menor tempo para o primeiro token gerado (Time to First Token - TTFT) e reduzindo drasticamente custos de sobre-provisionamento em servidores.

Engenheiros de Infraestrutura em todo o mundo: A abordagem da OpenAI expõe um paradigma no qual ferramentas "prontas" de terceiros, como os limites documentados de provedores cloud, exigem engenharia proprietária profunda para funcionar em hiper-escala. O trade-off entre o custo operacional de single-tenancy (desperdício por excesso de provisão) versus as perdas de performance no multi-tenancy (vizinhos barulhentos) é um estudo de caso direto para equipes que operam Kubernetes e bancos não relacionais.

Usuários do Produto e Mercado Latino-Americano: O mercado de tecnologia brasileiro e latino-americano, composto por centenas de milhares de desenvolvedores que dependem da API do GPT e usuários finais na região (uma parcela significativa do bilhão mundial), se beneficia de resiliência. A latência global em "quase 40 regiões" estabiliza integrações críticas em fintechs e startups brasileiras, evitando que as oscilações de pico nos Estados Unidos derrubem as instâncias hospedadas regionalmente.

Microsoft e Ecosistema Azure: A OpenAI está literalmente estressando a infraestrutura da nuvem Azure a níveis raramente documentados comercialmente. Os aprendizados da OpenAI inevitavelmente pressionam a Microsoft a evoluir a arquitetura padrão do Cosmos DB e comercializar esses aprimoramentos para outros clientes Fortune 500 no futuro.

O que ainda não se sabe

A transparência do relatório técnico deixa de fora aspectos vitais da operação que afetam as finanças e migrações corporativas. Os pontos que ainda precisam de esclarecimento são:

• Mecanismo exato de Cache Global: Embora publicações periféricas e materiais de terceiros (como reportado pela NewXC e HotON.ai) mencionem que "caching global" foi um fator-chave para a aceleração de 12 vezes na velocidade de leitura, o relatório original foca majoritariamente na otimização de partições lógicas e físicas do Azure Cosmos DB. Os algoritmos de expiração, coerência global e tecnologias específicas do Redis ou Memcached (se utilizados) continuam como caixa preta.
• Impacto Financeiro da Migração: A documentação aponta que o modelo single-tenant era "caro de operar", mas não detalha se a economia operacional absorveu os custos da complexa engenharia de roteamento de multi-tenancy.
• Migração de Dados Legados: O texto cita que "muitos casos críticos legados ficaram presos" no contêiner padrão da Fase I, exigindo manobras para proteção. Não está claro como a OpenAI orquestrará a migração em tempo real de petabytes de dados legados para novos contêineres sem downtime.

O que esperar a seguir

O próximo passo concreto para a equipe de infraestrutura da OpenAI envolve o desenvolvimento de um ecossistema de multi-tenancy definitivo, que absorva a carga bruta deixada pelos sistemas legados em contêineres compartilhados (default).

A companhia deve automatizar completamente o roteamento inteligente de consultas e aprimorar o monitoramento do split físico (divisão) das partições no Cosmos DB. A estratégia aponta para o aprofundamento do uso das primitivas embutidas no Cosmos DB da Azure para adiar a criação de ferramentas proprietárias sobrepostas o máximo possível, mantendo o Habitat enxuto, mesmo servindo respostas na casa dos milissegundos para um terço da população digital conectada à internet.

Perguntas frequentes

O que é a plataforma Habitat da OpenAI? Habitat é a plataforma proprietária de armazenamento online de dados da OpenAI, responsável por garantir acesso quase imediato aos dados necessários para o funcionamento de produtos como o ChatGPT e as APIs corporativas. Atualmente gerencia mais de 500 petabytes de dados em quase 40 regiões.

Qual foi o principal gargalo superado pelo uso do Cosmos DB? O sistema lidava com limites de 10.000 Request Units por segundo (RU/s) em partições lógicas, gerando instabilidade. Como múltiplas chaves lógicas dividiam um mesmo recurso físico, clientes sobrecarregados (vizinhos barulhentos) diminuíam a performance do banco para os demais serviços regulares.

Qual a diferença entre single-tenancy e multi-tenancy implementada pela empresa? No single-tenancy (locação única), cada produto tem seu banco de dados próprio, o que é seguro, mas extremamente caro, resultando em subutilização de capacidade. No multi-tenancy gerido (locação múltipla), os recursos de nuvem são agrupados, e a OpenAI utilizou primitivas embutidas do Azure para controlar a carga e evitar que serviços impactassem negativamente o armazenamento e a leitura uns dos outros, otimizando infraestrutura e custos.