Запустите языковую модель Meta на своём компьютере - без интернета, подписок и облака
Установите Ollama, скачайте open-source модель Llama и начните диалог за 5 минут активной работы
- 1.Скачайте Ollama с официального сайта и установите как обычную программу. На macOS - перетащите значок в Applications, на Windows - запустите установщик и нажмите Next. После установки приложение работает в фоне.
Ollama - бесплатная программа с открытым исходным кодом. Она загружает и запускает языковые модели прямо на вашем компьютере, без отправки данных в интернет. Для модели на 8 млрд параметров нужно минимум 8 ГБ оперативной памяти, для комфортной работы - 16 ГБ.
Ollama ↗Об инструменте - 2.Откройте Terminal: на macOS нажмите Cmd+Space и введите «Terminal», на Windows нажмите Win+R, введите «cmd» и нажмите Enter. Можно также использовать PowerShell.
Терминал - это текстовая программа для управления компьютером. Не пугайтесь чёрного окна: понадобится всего одна команда. Если Ollama установлена правильно, команда ollama --version покажет номер версии.
- 3.Введите команду ниже и нажмите Enter. При первом запуске Ollama скачает модель (около 4,7 ГБ), затем автоматически откроет чат. Загрузка занимает несколько минут в зависимости от скорости интернета.
Если у вас мало оперативной памяти, замените llama3.1:8b на llama3.2:3b (нужно ~4 ГБ) или llama3.2:1b (нужно ~2 ГБ). Чтобы увидеть все доступные версии моделей Meta, выполните: ollama search llama
Ollama ↗Об инструментеПромптollama run llama3.1:8b
Что делает этот промптЭта команда скачивает модель Llama 3.1 от Meta (8 млрд параметров) и сразу открывает чат в терминале. После завершения загрузки появится строка >>> - можно писать сообщения модели. - 4.Когда появится строка >>>, модель готова. Напишите запрос на русском или английском и нажмите Enter - ответ появится прямо в терминале. Попробуйте такой промпт для проверки:
Чтобы выйти из чата, напишите /bye или нажмите Ctrl+D. Модель остаётся на диске - в следующий раз она запустится мгновенно. Для запуска без чата (только скачивание) используйте ollama pull вместо ollama run.
Об инструментеПромптТы - помощник. Объясни, что такое рекурсия, простыми словами с примером на Python. Ответ должен быть не длиннее 10 строк.
Что делает этот промптПромпт задаёт модели роль и конкретную задачу - объяснить рекурсию с примером кода. Замените тему на любую нужную вам:帮忙 с текстом, кодом, переводом, идеями. Модель Llama 3.1 хорошо понимает русский язык. - 5.Для удобного интерфейса в стиле ChatGPT установите Chatbox - десктопное приложение, которое подключается к Ollama. Скачайте установщик, запустите программу, в настройках выберите Ollama как провайдера и модель llama3.1:8b.
Chatbox даёт привычный интерфейс с историей чатов, форматированием текста и сохранением диалогов. Приложение бесплатно и работает локально. Альтернативы: LM Studio (lmstudio.ai) или Open WebUI (нужен Docker).
Chatbox ↗
- бесплатноOllamaПолностью бесплатная программа с открытым исходным кодом, без ограничений на количество запросов или моделей.
- бесплатноМодель Llama 3.1 (Meta)Модель скачивается бесплатно. Для версии 8B нужно минимум 8 ГБ оперативной памяти, для 3B - около 4 ГБ, для 1B - около 2 ГБ.
- бесплатноChatboxБесплатное десктопное приложение с открытым исходным кодом, без ограничений. Работает локально, данные не уходят на серверы.
ИИ-сервисы быстро меняются - интерфейсы и бесплатные лимиты могут отличаться от описанных.