Пакет llama.cpp для Python.
CLI для поднятия серверов LLM.
Простые шаги для начала работы с llama.cpp.
Часто встречающиеся проблемы и решения.