В этой части будет рассмотрена установка и запуск обученных моделей (LLM).

• +  установка Ollama

  Ollama — это программная платформа с открытым исходным кодом для запуска больших языковых моделей (LLM) локально на вашем компьютере или сервере. В последнее время разработчики инструментов (таких как VS Code/IDEA) тем или иным образом урезали функционал автодополнений. Однако появление моделей в свободном доступе привело к созданию AI-агентов, которые путём использования ресурсов компьютера (видеокарты) позволяют получить даже более мощные инструменты чем были доступны ранее.

  Установка и обновление осуществляются одной командой:
  

  curl -fL https://ollama.com/install.sh | sh

  Удаление:
  

  curl -fL https://raw.githubusercontent.com/ollama/ollama/main/scripts/uninstall.sh | sh

  Проверка статуса службы ollama:
  

  sudo systemctl status ollama

  Проверка установленной версии ollama:
  

  ollama --version

  Установка языковой модели для автодополнения в средах разработки. Т.к. модель не предполагает объяснений и редактирования кода, то она должна быть достаточно лёгкой, чтобы не расходовать ресурсы компьютера. На данный момент для русского языка лучше всего подходит модель qwen2.5-coder:1.5b. Её и установим:
  

  ollama pull qwen2.5-coder:1.5b

  Модель для эмбеддинга - ИИ видит весь проект
  

  ollama pull nomic-embed-text:latest

  Модель для чата/редактирования кода (в основном если нужна приватность, т.к. модели в интернете гораздо мощнее) для видеокарты объёмом 8Гб vRAM:
  

  ollama pull qwen2.5-coder:7b

  
  

  Запускаем интерактивный режим для проверки
  

  ollama run qwen2.5-coder:7b

  Общение с ИИ происходит точно так же, как и в обычном чате через браузер.
  Для того, чтобы выйти из этого режима, достаточно ввести:
  

  /bye

  Просмотр всех скачанных моделей
  

  ollama list

  Проверка запущенных процессов:
  

  ollama ps

  Удаление конкретной версии модели:
  

  ollama rm deepseek-coder-v2:16b