Por que rodar IA no próprio servidor
Empresas levam modelos de IA para dentro de casa por três motivos. Os documentos e as conversas podem ficar na rede da empresa, desde que o suporte remoto, a telemetria e os backups sejam configurados para isso. Parte do custo passa a ser do equipamento e da operação, em vez de cobrança por consulta a um serviço externo. E o modelo continua disponível mesmo quando um serviço externo muda de preço ou de regra. O servidor certo depende do modelo escolhido e de quantas pessoas vão usá-lo ao mesmo tempo.
GPU: a memória decide
Para rodar um modelo de linguagem, a primeira conta é a memória da GPU. A memória da LLM precisa caber nela, e ainda sobra espaço para o contexto das conversas e para os usuários simultâneos.
- 16 bits: cada bilhão de parâmetros ocupa cerca de 2 GB. Um modelo de 70 bilhões pede uns 140 GB só de memória da LLM.
- 8 bits: cerca de 1 GB por bilhão. O mesmo modelo cai para uns 70 GB. A perda de qualidade varia com o modelo e o método de quantização.
- 4 bits: cerca de 0,5 GB por bilhão. Cabe em menos placas, com mais risco de perda de qualidade.
Em qualquer precisão, a qualidade precisa ser testada com as perguntas reais da empresa. Os valores são aproximados e não incluem a pequena memória extra que alguns métodos de quantização usam.
Some a isso uma folga para o cache de contexto. Conversas longas e muitos usuários ao mesmo tempo aumentam essa folga. A calculadora da página inicial faz a conta e indica o tipo de servidor.
Treinar ou ajustar um modelo usa várias vezes mais memória do que só rodá-lo. Se o plano inclui ajuste fino, isso entra no dimensionamento desde o início.
Processador e memória RAM
Num servidor de IA, o processador prepara os dados, atende as requisições e alimenta as GPUs. Ele precisa de núcleos e canais de memória suficientes para não deixar as placas esperando. A memória RAM é dimensionada junto com a memória das GPUs, para carregar os modelos e rodar o pré-processamento dos documentos sem aperto.
Disco
SSDs NVMe encurtam o tempo de carregar um modelo e de indexar documentos para busca. Um modelo grande ocupa dezenas ou centenas de gigabytes, e é comum guardar várias versões. Os dados da empresa usados pela IA ficam em volumes separados, com cópia de segurança.
Rede
Para atender os usuários da empresa, uma rede de 10 ou 25 Gb/s costuma bastar. Quando o modelo passa de um servidor e precisa ser dividido entre dois ou mais, a ligação entre eles passa a pesar no desempenho e pede rede de baixa latência.
Sala, energia e ruído
Servidores com GPU consomem e aquecem muito mais que um servidor comum. Como referência pública, um sistema de oito GPUs de data center da NVIDIA, o DGX H100, tem consumo máximo de 10,2 kW e ocupa 8U de rack. Antes da compra, conferimos três pontos:
- potência elétrica disponível no rack e no no-break;
- capacidade de refrigeração da sala;
- local: servidores de rack fazem barulho alto e não ficam bem em escritório.
Quando a sala não comporta, o servidor pode ficar num data center, com acesso remoto pela rede da empresa.
Software
A implementação deixa o servidor pronto para uso: sistema operacional, drivers e bibliotecas da GPU, o servidor de inferência que entrega o modelo para os sistemas da empresa, controle de acesso e monitoramento. O teste final roda o modelo escolhido com o número de usuários previsto.
Perguntas frequentes
Dá para rodar IA local sem GPU?
Modelos pequenos rodam só com processador, com respostas bem mais lentas. Para uso por várias pessoas ao mesmo tempo, a GPU faz diferença grande.
Quantizar o modelo piora as respostas?
Depende do modelo e do método. Em 8 bits a perda costuma ser menor que em 4 bits, e em qualquer caso a qualidade precisa ser testada com as perguntas reais da empresa.
Quanto de energia um servidor de IA consome?
Varia muito com o número de GPUs. Como referência pública, um sistema de oito GPUs de data center como o DGX H100 tem consumo máximo de 10,2 kW.