Amazon Aperta o Cerco contra o Desperdício de CPUs

A Crise da CPU na Amazon

A Amazon Web Services está tomando medidas rigorosas contra o uso interno de instâncias EC2 por seus engenheiros. A diretriz é clara: reduzir o desperdício de CPU para garantir capacidade suficiente para os clientes.

IA Agente Impulsiona Demanda

• A demanda por CPUs nos data centers atingiu um nível febril.
• A proporção tradicional de GPUs para CPUs está se aproximando da paridade devido às intensas cargas de trabalho da IA Agente.

Impacto nos Engenheiros

Engenheiros da AWS, que antes conseguiam instâncias EC2 em horas, agora enfrentam esperas de dias. Essa demora sem precedentes reflete a escassez interna de recursos.

CPUs em Destaque

A Amazon utiliza processadores AMD, Intel e seu chip Graviton5. Este último, baseado em arquitetura Arm, é o mais potente da empresa até o momento e é crucial para as novas demandas.

O Custo da Inovação

Agentes de IA podem ser caros. Um agente de codificação na Amazon ultrapassou o orçamento de desenvolvimento em 860%, gerando um custo de US$ 1,8 milhão em tokens.

Cargas de Trabalho Complexas

Enquanto a IA tradicional focava em inferência acelerada por GPUs, as cargas de trabalho da IA Agente são mais complexas. Elas envolvem chamadas de ferramentas executadas na CPU e orquestração mais elaborada das inferências, colocando as CPUs no centro das atenções.

Mercado Aquecido

• Grandes players como Intel, AMD e Nvidia estão capitalizando essa demanda.
• A AMD lançou sua arquitetura Zen 6 ‘Venice’ para data centers antes do mercado de consumo.
• A Nvidia também foca em sua CPU Vera, buscando espaço no mercado de infraestrutura de IA Agente.

Disponibilidade: Instâncias Spot vs. Contratadas

Embora a Amazon lide com desafios de capacidade, a escassez afeta principalmente as instâncias spot. A capacidade contratada não tem sofrido com a falta de recursos.