This content originally appeared on DEV Community and was authored by Leonardo Martins
Introdução
Neste post abordaremos o processo de instalação e configuração de uma Inteligência Artificial para operar localmente no seu computador, com foco nos sistemas Linux e macOS. Algumas das ferramentas que utilizaremos ainda estão em fase beta no Windows, por isso ele não será abordado. Esta IA pode ser utilizada para uma variedade de propósitos, como responder a perguntas ocasionais, atuar como um professor particular de matemática ou até mesmo ajudar na geração de mensagens de commits para projetos de software (que seria o meu uso :) ).
Requisitos
- Docker
- 16GB RAM (Recomendado)
Instalação
Primeiro, vamos precisar instalar nosso LLM (Large Language Model) e a ferramenta que usaremos para manipular esses LLMs será o Ollama. O processo de download é bem simples.
-
Linux:
curl -fsSL https://ollama.com/install.sh | sh -
MacOS:
Somente baixar e executar pelo link do Github.
Após a instalação, vamos digitar o seguinte comando no terminal: ollama run llama3.1, onde "llama3.1" é o LLM que usaremos como exemplo.
Assim que executarmos esse comando, o modelo será baixado. Quando o download for concluído, já poderemos interagir com ele diretamente do terminal.
No entanto, como queremos uma interface gráfica e a capacidade de customizar nossos modelos, precisaremos de outra ferramenta, chamada Open Web UI.
Usaremos o Docker para executar essa ferramenta com o seguinte comando:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Após o Docker estar em execução, você pode acessar o endereço http://localhost:3000/ para abrir a interface gráfica, onde poderemos utilizar os modelos.
Será necessário criar uma conta local. Após a criação da conta, você poderá usar o modelo que baixamos anteriormente pelo seu navegador.
Customização de IAS
Para fazer essas customizações, você pode usar o próprio site do Open Web UI e também ajustar as configurações localmente. No site, você encontrará vários modelos já customizados que podem servir como ponto de partida ou inspiração para suas próprias personalizações.
Solução de Problemas
Caso esteja seguindo o tutorial usando Linux e encontre problemas com o Open Web UI não conseguindo identificar o seu modelo, o problema pode estar relacionado à porta em que o Ollama está escutando.
Pode ser solucionado dessa forma:
- Crie um arquivo override
sudo nano /etc/systemd/system/ollama.service.d/override.conf - Adicione a variável de ambiente dentro do arquivo override.conf O arquivo precisa ficar dessa forma: [Service] Environment="OLLAMA_HOST=0.0.0.0"
- Salve o arquivo.
- Recarregue o systemd:
sudo systemctl daemon-reload - Reinicie o Serviço Ollama:
sudo systemctl restart ollama
Referências
https://docs.openwebui.com/
https://www.cloudflare.com/pt-br/learning/ai/what-is-large-language-model/
https://github.com/ollama/ollama
This content originally appeared on DEV Community and was authored by Leonardo Martins
Leonardo Martins | Sciencx (2024-08-20T22:49:36+00:00) Como Instalar e Rodar uma IA Localmente no seu Computador. Retrieved from https://www.scien.cx/2024/08/20/como-instalar-e-rodar-uma-ia-localmente-no-seu-computador/
Please log in to upload a file.
There are no updates yet.
Click the Upload button above to add an update.