Colibrì: Modelo de IA de 1.5TB Roda com Apenas 25GB de RAM

🚀 Colibrì: IA de Ponta ao seu Alcance

Cansado dos custos e preocupações com privacidade das assinaturas de IA? O engenheiro italiano Vincenzo (JustVugg) desenvolveu Colibrì, um conceito inovador que permite rodar o gigantesco modelo GLM-5.2 de 1.5TB (744 bilhões de parâmetros) com apenas 25 GB de RAM e um modesto CPU. Ideal para setups locais!

🐢 Desempenho Atual: Um Compromisso

Atualmente, a velocidade do Colibrì no setup de Vincenzo é de cerca de 0.05 a 0.1 tokens por segundo. Isso significa que, por enquanto, não é prático para conversas em tempo real, onde seriam necessários 20-30 tokens/segundo. No entanto, é um proof-of-concept promissor!

🧠 A Qualidade do GLM-5.2 (MoE)

O GLM-5.2 é um modelo Mixture-of-Experts (MoE) de nível de fronteira, rivalizando com as ofertas de gigantes como Anthropic e OpenAI. Apesar da lentidão, a qualidade das respostas promete ser excelente, com Vincenzo já observando resultados impressionantes em seus testes limitados.

🛠️ Como o Colibrì Funciona

• Carga Fatiada: A chave do Colibrì é carregar o modelo em “fatias” na RAM.
• Arquitetura MoE: Modelos MoE usam centenas de “sub-modelos especialistas” (experts) para diferentes tópicos.
• Ativação por Token: Em vez de carregar o modelo inteiro, o Colibrì carrega e descarrega os experts necessários para cada token da sua pergunta, economizando memória.
• Código Otimizado: O código de seleção de experts do Colibrì é um único arquivo C com poucas dependências.
• Quantização: O modelo GLM-5.2 é quantizado (simplificado com perda de dados) para ocupar menos espaço.

bottlenecks”>⚠️ Gargalos Atuais e Futuros

Apesar da inovação, o sistema enfrenta desafios:

• I/O de Armazenamento: A velocidade do NVMe é o primeiro grande gargalo, pois dados são constantemente carregados e descarregados.
• Largura de Banda da RAM: Se o armazenamento for rápido o suficiente, a RAM se torna a próxima limitação.
• Cores de CPU: Em seguida, a necessidade de mais núcleos de CPU aparece.
• Futuro com GPUs: Mesmo com GPUs, a movimentação de dados de/para a placa continuará sendo uma restrição significativa.

💡 Potencial e Próximos Passos

Colibrì é um projeto recém-lançado e já popular. Vincenzo está ativamente coletando dados de benchmark e implementando correções. Há grande potencial para que, no futuro, seja viável rodar modelos de IA complexos em hardware de consumo de ponta com um desempenho aceitável. Acompanhe e contribua!