llama.cpp

llama.cpp — библиотека с открытым исходным кодом для взаимодействия с большими языковыми моделями (LLM), такими как Llama.

Библиотека использует двоичный формат файлов GGUF (GGML Universal File) для хранения тензоров и метаданных модели.

https://github.com/ggerganov/llama.cpp

📄️ llama.cpp: Быстрый старт

Простые шаги для начала работы с llama.cpp.

📄️ llama-cpp-python

Пакет llama.cpp для Python.

📄️ llama-server

CLI для поднятия серверов LLM.

📄️ llama.cpp: Решение проблем

Часто встречающиеся проблемы и решения.