Пакет llama.cpp для Python.
CLI для поднятия серверов LLM.
Простые шаги для начала работы с llama.cpp.