Архив метки: LLM

Как установить локальный GPT/LLM чат за пол часа

  • Cкачать с https://ollama.com/download установщик OllamaSetup.exe
  • Cоответственно установить его
  • Запустить меню Пуск — Ollama
  • На вкладке Settings (спрятана сверху слева) проверить настройки: использовать ли модели из облака, скачивать ли обновления автоматически, в какую папку скачивать локальные модели и т.п.
  • Открыть командную строку, запустить скачивание локальной модели (ориентировочно минут 20) и можно пользоваться
PS C:\Users\user> ollama run hf.co/yandex/YandexGPT-5-Lite-8B-instruct-GGUF:Q4_K_M
pulling manifest
pulling d9ff5b826f20: 100% ?----------------------------------------------------------? 4.9 GB
pulling b57cf61fe80b: 100% ?----------------------------------------------------------?  211 B
pulling d3606c3cb1b2: 100% ?----------------------------------------------------------?  700 B
verifying sha256 digest
writing manifest
success
>>> how much bits in byte?
 8 bits in 1 byte.

>>> write example of function in python
 ```python
def greet(name: str) -> str:
    """Greets the given name."""
    return f"Hello, {name}!"
```

>>> перечисли названия распространённых языков программирования
 Вот некоторые распространённые языки программирования:

1. Python.
2. Java.
3. C++.
4. JavaScript.
5. C#.
6. PHP.
7. Ruby.
8. Swift.
9. Kotlin.
10. Scala.
11. R.
12. SQL.
13. MATLAB.
14. Go.
15. Objective-C.

>>> Send a message (/? for help)