This content originally appeared on DEV Community and was authored by Bruno Duarte
Como instalar e usar LLMs localmente no seu VSCode:
1- Baixe Ollama diretamente pelo site https://ollama.com/, ele ira criar seu server local para a LLM
2- Baixe uma LLM (neste tutorial vamos usar o qwen2) no site https://ollama.com/library
Você deve ter pelo menos 8 GB de RAM disponíveis para rodar os modelos de 7B, 16 GB para rodar os modelos de 13B e 32 GB para rodar os modelos de 33B.
3- Abra o terminal e cole este comando:
ollama run qwen2
4- Após a instalação ele ja estará rodando a LLM no seu terminal, onde você ja pode testar fazendo alguma pergunta. Digite /bye para sair
5- Instale a extensão Continue no seu VSCode:
6- Abra o Continue e verá a tela de adicionar modelo, selecione Ollama:
7- Selecione Autodetect, ele ja reconhecerá a LLM instalada na sua máquina
8- Chat funcionando! Para saber mais detalhes e comandos acesse: https://docs.continue.dev/intro
Tab Autocomplete:
1- Vamos configurar o Continue para utilizar sua LLM para o autocomplete no VSCode. Selecione a engrenagem no canto inferior direito da tela de chat
2- Dentro do arquivo config.json: adicione:
"tabAutocompleteModel": {
"title": "Tab Autocomplete Model",
"provider": "ollama",
"model": "qwen2",
"apiBase": "http://localhost:11434/"
},
Irá ficar mais ou menos assim:
Depois você pode testar outras LLMs para o autocomplete, como a starcoder2-3b
3- Tudo certo, agora você tem autocomplete via LLM local!
Agora você tem todas as funcionalidades do Copilot na sua máquina, de forma totalmente gratuita.
This content originally appeared on DEV Community and was authored by Bruno Duarte
Bruno Duarte | Sciencx (2024-09-05T19:27:19+00:00) VSCode + Ollama + Continue = chat e tab completions gratuitamente. Retrieved from https://www.scien.cx/2024/09/05/vscode-ollama-continue-chat-e-tab-completions-gratuitamente/
Please log in to upload a file.
There are no updates yet.
Click the Upload button above to add an update.