Hoje, quando você faz uma pergunta para o ChatGPT, Claude ou Gemini, a mágica não acontece no seu celular ou notebook. A sua pergunta viaja pela internet até um data center gigantesco e superaquecido em algum lugar do mundo, onde supercomputadores processam a resposta e a enviam de volta para a sua tela. É rápido, mas levanta uma questão: e se você quiser analisar documentos confidenciais da sua empresa? E se você não tiver internet?
É por isso que a nova febre entre os entusiastas de tecnologia é rodar IA localmente. Ou seja, baixar o "cérebro" da inteligência artificial e executá-lo usando apenas as peças do seu próprio computador.
As possibilidades de ter uma IA "morando" no seu disco rígido são incríveis. A maior delas, sem dúvida, é a privacidade absoluta. Como o processamento acontece offline, os dados nunca saem da sua máquina. Você pode alimentar a IA com seus extratos bancários, diários pessoais ou códigos secretos de um projeto em desenvolvimento sem medo de vazar informações. Além disso, você foge das mensalidades de assinaturas e tem acesso a modelos sem censura ou restrições corporativas.
Mas não se engane, rodar uma IA avançada em casa exige força bruta, e é aqui que esbarramos nas restrições de hardware.
Você não precisa do processador mais caro do mundo, mas precisa, obrigatoriamente, de uma excelente placa de vídeo (GPU). O segredo para rodar IA localmente se resume a uma sigla: VRAM (a memória dedicada da sua placa de vídeo). Segundo um guia técnico do Tom's Hardware sobre os requisitos para IA local, as placas da Nvidia levam enorme vantagem devido aos seus "CUDA Cores", que são otimizados para esse tipo de cálculo.
Para rodar modelos de linguagem pequenos e básicos (como o Llama 3 da Meta em suas versões mais leves), você vai precisar de uma GPU com pelo menos 8 GB de VRAM. No entanto, se você quiser rodar modelos mais inteligentes, rápidos e que não "alucinem" (inventem respostas falsas) com frequência, o ideal é saltar para placas com 16 GB ou até 24 GB de VRAM, como as caríssimas RTX 4080 ou 4090. Além disso, pelo menos 32 GB de memória RAM comum no sistema (a do seu computador) é altamente recomendada para evitar travamentos.
A boa notícia é que o software ficou incrivelmente fácil. Há um ano, você precisaria ser um programador experiente para configurar o ambiente. Hoje, graças a plataformas como Hugging Face (uma espécie de "GitHub da Inteligência Artificial" onde os modelos ficam hospedados gratuitamente), e programas como o LM Studio ou Ollama, o processo se resume a baixar um aplicativo, escolher o modelo e clicar em "Download". A interface é idêntica à do ChatGPT.
Rodar IA localmente ainda tem suas restrições. Uma máquina caseira não vai superar a inteligência bruta do GPT-4 rodando nos servidores bilionários da OpenAI. O consumo de energia do seu PC vai disparar e o quarto vai esquentar bastante durante o uso intenso. Porém, para tarefas cotidianas, resumos de texto, programação assistida e garantia total de privacidade, ter o seu próprio oráculo digital rodando offline não é apenas o futuro, já é uma realidade na mesa de muitos usuários.
