llama.cpp 1.0.0: обновление, FP8 KV-кеш и защита сервера

Перед обновлением llama.cpp и ggml до 1.0.0 проверьте C API, удалённый --defrag-thold и настройки безопасности llama-server. Сравните FP16 и FP8 KV-кеш на одинаковых задачах, настройте кеш экспертов MoE на GPU, проверьте локальный API и подключение агента. Разбираем правила версионирования и объясняем, когда изменения затронут пользователей Ollama и LM Studio.

Содержание
llama.cpp 1.0.0: обновление, FP8 KV-кеш и защита сервера

Перед обновлением до llama.cpp 1.0.0 проверьте C-биндинги, параметры запуска и настройки безопасности llama-server. В релизе от 13 ноября 2026 года удалены устаревшие API, добавлены FP8 KV-кеш и новые настройки кеша экспертов MoE. Если вы подключаете локальную модель к агенту для программирования, сначала обновите тестовый экземпляр сервера и проверьте генерацию ответов и вызовы инструментов.

Одновременно вышли libllama и libggml версии 1.0.0. Теперь разработчики проектов обещают отмечать несовместимые изменения публичного C API повышением основного номера версии.

Это упрощает обновление библиотечных зависимостей. Но не гарантирует неизменность ответов модели, скорости работы, GPU-бэкендов или всех HTTP-эндпоинтов.

Что изменилось в llama.cpp 1.0.0?

Больше всего изменений заметят разработчики C/C++-приложений, администраторы llama-server и те, кто оптимизирует расход оперативной и видеопамяти.

ОбластьИзменение в 1.0.0Что проверить
ВерсионированиеНесовместимости публичного C API и ABI отражаются в основном номере версииЗафиксировать релиз или коммит
C APIУдалены 35 устаревших функций и llama_set_warmupОбновить биндинги и пересобрать приложение
Параметры контекстаУдалены defrag_thold и --defrag-tholdУбрать старые настройки
Спекулятивное декодированиеNextN API перенесён в llama.h, одна функция переименованаИсправить объявления и вызовы
KV-кешДобавлен формат f8_e4m3 для K и VПроверить память, качество и поддержку бэкенда
MoEДобавлен GPU-кеш экспертов с обработкой части промахов на CPUПроверить GPU и подобрать размер кеша
Безопасность сервераПоявились ограничения для инструментов и приватных URL медиафайловПроверить аутентификацию и сетевой доступ
Поддержка моделейДобавлены Kimi-K3.1-Pro, Ripple, xing4_0 и мультимодальные возможностиПроверить загрузку нужной модели
Речевой APIПоявился совместимый с OpenAI эндпоинт /v1/audio/speechПроверить с поддерживаемой речевой моделью

Полный перечень приведён в примечаниях к релизу v1.0.0. Правила совместимости опубликованы в официальном объявлении ggml-org.

Проект сообщает о поддержке более 150 вариантов модельных архитектур. Это не означает, что любой чекпойнт и все его функции работают с каждым бэкендом.

Что означает семантическое версионирование после 1.0.0?

Обещание совместимости относится к публичному C API, объявленному в заголовочных файлах каталога ./include. Это интерфейсы библиотек llama.cpp и ggml.

Разработчики установили следующие правила:

Тип версииКогда меняетсяПример
MAJORНесовместимое изменение публичного C API1.x.x → 2.0.0
MINORСовместимое расширение API, новые функции, модели или бэкенды1.0.0 → 1.1.0
PATCHИсправление ошибки без изменения API1.0.0 → 1.0.1

Примеры показывают принцип нумерации, а не анонсируют будущие релизы.

Если ваше приложение использует libllama, в пределах одной основной версии снижается риск неожиданной смены сигнатур публичных функций.

Но правило не распространяет такую же гарантию на внутренние заголовки, недокументированные символы, аргументы командной строки, детали HTTP-ответов и поведение моделей.

Как зафиксировать версию llama.cpp?

Для приложения, которое собирает llama.cpp из исходников, используйте конкретный тег релиза или неизменяемый коммит.

Официальная инструкция по сборке описывает получение исходников и работу с CMake. Для воспроизводимой сборки дополнительно выберите тег v1.0.0.

Команды для Bash:

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git fetch --tags
git checkout v1.0.0

cmake -B build
cmake --build build --config Release

Это документированный базовый способ сборки с CPU-бэкендом. В зависимости от платформы сборка может включать дополнительные бэкенды. Проверьте конфигурацию, прежде чем рассчитывать на конкретное устройство.

Для стандартной сборки документация указывает путь к серверу ./build/bin/llama-server. При использовании других генераторов CMake расположение бинарного файла может отличаться.

Если нужна видеокарта, добавьте параметры сборки для соответствующего GPU-бэкенда из официальной инструкции.

В рабочем окружении сохраняйте тег, хеш коммита, параметры сборки и название бэкенда. Перед заменой используемого бинарного файла проверяйте новую сборку на тех же задачах.

Если llama.cpp входит в состав другой программы, фиксируйте и версию этой программы. Её номер версии может не совпадать с версией встроенной библиотеки.

Какие API и параметры запуска удалены?

Первым делом проверьте старые функции C API и параметр порога дефрагментации. После перехода на 1.0.0 они больше не доступны.

В PR #30565 удалены 35 устаревших функций, llama_set_warmup и настройки порога дефрагментации.

Основные изменения для миграции:

  • Удалите вызовы llama_set_warmup.
  • Уберите обращения к defrag_thold из настроек контекста.
  • Удалите --defrag-thold из команд запуска.
  • Там, где это применимо, замените llama_set_embd_state_src на llama_set_ctx_state_src.
  • Обновите подключения заголовочных файлов и объявления NextN API, перенесённого в llama.h.

Число 35 относится к группе удалённых устаревших функций. У каждой из них не обязательно есть прямая замена.

Если ваше приложение использует C API, сравните заголовочные файлы с версией v1.0.0. Проверьте именно те функции, которые вызывает ваш код.

Как убрать —defrag-thold из скриптов?

Раньше команда запуска могла выглядеть так:

./build/bin/llama-server \
  -m /path/to/model.gguf \
  -c 32768 \
  --defrag-thold 0.1

В версии 1.0.0 удалите устаревший аргумент:

./build/bin/llama-server \
  -m /path/to/model.gguf \
  -c 32768

Не пытайтесь подобрать другое значение порога. Параметр удалён, а прямая замена в примечаниях к релизу не указана.

Найдите старые настройки в скриптах, конфигурациях Docker, файлах запуска служб и исходном коде:

grep -RInE \
  'defrag[_-]thold|llama_set_warmup|llama_set_embd_state_src' \
  ./scripts ./config ./src

Выполняйте команду из каталога проекта. Если какой-то из каталогов отсутствует, уберите его из аргументов поиска.

Проверьте также переменные окружения и обёртки, которые формируют команду запуска автоматически.

Что делать с биндингами C и Python?

Если приложение подключает llama.h напрямую, сравните используемые объявления с заголовками v1.0.0. Затем пересоберите приложение и проверьте сообщения компилятора и компоновщика.

Для Python сначала выясните, поддерживает ли установленная версия биндинга llama.cpp 1.0.0.

Замена бинарного файла llama.cpp сама по себе не обновляет скомпилированные определения функций внутри Python-биндинга.

Некоторые обёртки включают собственную копию исходников llama.cpp. В таком случае обновляйте зависимость способом, который поддерживает разработчик обёртки. Не подменяйте библиотеку вручную без проверки совместимости.

Успешный import ещё не доказывает, что миграция прошла правильно. Загрузите модель, получите ответ и проверьте операции с состоянием контекста или спекулятивным декодированием, если они нужны вашему приложению.

Как включить FP8 KV-кеш в llama.cpp 1.0.0?

Для хранения ключей и значений attention в формате FP8 укажите -ctk f8_e4m3 -ctv f8_e4m3.

KV-кеш хранит промежуточные данные ранее обработанных токенов. Благодаря ему модель продолжает генерацию без повторного вычисления всего контекста.

Чем больше контекст, тем больше памяти обычно требуется для KV-кеша.

FP8 хранит значение в 8 битах, а FP16 — в 16 битах. При одинаковых размерах тензоров исходный объём данных K/V теоретически может сократиться примерно вдвое.

Это не означает двукратного уменьшения общего расхода VRAM. В расчёт не входят веса модели, буферы вычислений, метаданные, выравнивание и дополнительные данные масштабирования.

Сначала измерьте FP16

Сравнивайте два запуска одной модели с одинаковым размером контекста.

Начните с FP16:

./build/bin/llama-server \
  -m /path/to/model.gguf \
  -c 32768 \
  --host 127.0.0.1 \
  --port 8080 \
  -ctk f16 \
  -ctv f16

Сохраните из логов размер выделенного KV-кеша. Зафиксируйте свободную память устройства, скорость обработки промпта и скорость генерации.

Остановите сервер и запустите его с FP8:

./build/bin/llama-server \
  -m /path/to/model.gguf \
  -c 32768 \
  --host 127.0.0.1 \
  --port 8080 \
  -ctk f8_e4m3 \
  -ctv f8_e4m3

В релизе также появилась поддержка необязательных статических коэффициентов масштабирования для отдельных тензоров FP8.

Проверьте в логах фактический тип кеша и объём выделенной памяти.

Если программа распознала параметр, это ещё не означает, что GPU-бэкенд поддерживает все оптимизированные способы вычисления с таким форматом.

Можно ли удвоить контекст благодаря FP8?

Автоматически — нет. FP8 уменьшает память под KV-тензоры, но не отменяет ограничения модели и доступной памяти.

Предположим, что в некоторой конфигурации KV-кеш FP16 занимает 8 GiB. При тех же размерах тензоров FP8 теоретически может сократить исходные данные до примерно 4 GiB.

Это пример расчёта, а не результат измерения llama.cpp.

Освободившаяся память иногда позволяет увеличить контекст или число одновременных запросов. Но она не расширяет эффективный контекст модели за пределы поддерживаемых значений.

FP8 использует меньшую точность. Официальные материалы релиза не дают универсальных результатов по качеству кода или точности вызовов инструментов с FP8 KV-кешем.

Поэтому для локального агента сравните FP16 и FP8 на одинаковых задачах:

  1. Найдите нужный символ в длинном исходном файле.
  2. Подготовьте изменение нескольких файлов.
  3. Сформируйте структурированный вызов инструмента.
  4. Продолжите работу после нескольких длинных сообщений в диалоге.

Оценивайте правильность кода и структуру вызовов инструментов. Одной скорости генерации в токенах недостаточно.

Как работает новый кеш экспертов MoE?

Кеш экспертов полезен, когда веса экспертов модели Mixture-of-Experts находятся в оперативной памяти, а вычисления частично выполняются на GPU.

MoE-модель выбирает лишь часть экспертов для обработки каждого токена. Если нужные веса находятся в RAM, их передача на видеокарту может замедлять генерацию.

Новый механизм сохраняет часто используемые эксперты в видеопамяти. При промахе кеша часть вычислений можно выполнять на CPU.

Не путайте его с FP8 KV-кешем. Первый работает с весами экспертов модели. Второй хранит промежуточные данные attention.

Официальная документация MoE cache описывает следующие настройки:

ПараметрНазначениеЗначение по умолчанию
-cmoeХранить все веса экспертов MoE в памяти CPUВыключен, пока не задан
--moe-cache-mib NВыделить N MiB GPU-кеша для экспертов, хранящихся в RAM0, кеш выключен
--moe-cache-cpu-share FПередать CPU долю F промахов после заполнения кеша0

Для CPU share документация указывает диапазон от 0 до 1.

Механизм работает по следующим правилам:

  • Попадания в кеш обрабатываются на GPU.
  • До заполнения кеша веса при промахах передаются на GPU.
  • После заполнения кеша CPU обрабатывает заданную долю промахов.
  • Остальные промахи обслуживаются с передачей весов на GPU.
  • При больших пакетах модель всё ещё может загружать необходимые веса экспертов.

Выполнение на CPU иногда быстрее передачи весов по шине. Это зависит от скорости RAM, соединения с GPU и расположения весов.

Если веса находятся в закреплённой оперативной памяти (pinned memory), передача на GPU может работать быстрее. В таком случае увеличение CPU share не обязательно улучшит скорость.

Пример кеширования экспертов MoE из оперативной памяти

Для этого примера нужен поддерживаемый GPU-бэкенд и свободная видеопамять под кеш.

Сборка только с CPU не может использовать описанный GPU-кеш экспертов.

Если у вас NVIDIA и установлены необходимые компоненты CUDA, официальная инструкция по сборке предлагает:

cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release

Для другого GPU используйте соответствующую инструкцию по сборке бэкенда.

Пример запуска совместимой MoE-модели:

./build/bin/llama-server \
  -m /path/to/moe-model.gguf \
  -cmoe \
  -c 32768 \
  --host 127.0.0.1 \
  --port 8080 \
  --moe-cache-mib 2048 \
  --moe-cache-cpu-share 0.5

Здесь -cmoe оставляет веса экспертов в оперативной памяти.

Параметр --moe-cache-mib 2048 запрашивает 2,048 MiB GPU-памяти для кеширования выбранных экспертов.

Значение 0.5 означает, что после заполнения кеша CPU получает 50% промахов.

До заполнения кеша веса при промахах продолжают загружаться на GPU. Попадания в кеш также обрабатываются на GPU.

Это пример настроек, а не оптимальные значения для любой видеокарты.

Кеш экспертов занимает видеопамять, которая также нужна слоям модели, KV-кешу и буферам вычислений.

Если память не позволяет выделить запрошенный объём, уменьшите размер кеша или измените распределение весов. Сам по себе MoE-кеш не гарантирует запуск слишком большой модели.

Как подобрать размер кеша автоматически?

В репозитории есть скрипт для подбора параметров на конкретной машине.

Запустите его из каталога llama.cpp:

python3 scripts/moe-cache-tune.py -- \
  ./build/bin/llama-server \
  -m /path/to/moe-model.gguf \
  -cmoe \
  -t 8 \
  -c 32768

Скрипт настройки запускает сервер с разными размерами кеша и значениями CPU share.

В официальной документации описаны шесть измерений: два размера кеша и три значения доли CPU — 0, 0.5 и 0.95.

На основе этих измерений скрипт оценивает другие конфигурации. В результате он показывает измеренную скорость, прогнозируемую производительность и рекомендуемые параметры.

Сохраните в команде реальные настройки модели, число потоков CPU, размер контекста и способ размещения экспертов.

Они влияют как на скорость, так и на доступную память устройства.

Кеш рассчитан прежде всего на декодирование небольшими пакетами. При больших пакетах передача экспертов на GPU всё ещё может потребоваться.

Если модель плотная (dense) или все её эксперты уже помещаются в VRAM, такой кеш вряд ли поможет. Начните со значения по умолчанию, при котором он отключён.

Что изменилось в безопасности llama-server?

В версии 1.0.0 появились два параметра для явного разрешения потенциально опасных способов доступа: к серверным инструментам без аутентификации и к медиафайлам в приватных сетях.

Особенно внимательно проверьте конфигурации, в которых llama-server доступен с других компьютеров.

—allow-unauthenticated-tools

Параметр --allow-unauthenticated-tools разрешает использовать серверные инструменты, MCP-серверы или MCP-прокси на адресе, отличном от loopback, без API-ключа.

В официальном справочнике параметров llama-server эта возможность по умолчанию отключена. Разработчики указывают, что разрешать её следует только в доверенных сетях.

Адрес 127.0.0.1 ограничивает доступ локальной машиной. Адрес 0.0.0.0 позволяет серверу принимать подключения через другие сетевые интерфейсы.

Если вы одновременно используете внешний сетевой интерфейс, серверные инструменты или MCP и не требуете API-ключ, пересмотрите такую конфигурацию.

Параметр для явного разрешения:

--allow-unauthenticated-tools

Не добавляйте его автоматически при обновлении. Он разрешает неаутентифицированный доступ к функциям, которые могут выполнять действия на сервере.

Речь идёт именно о серверных инструментах и MCP. Возврат моделью структурированного ответа tool_calls — отдельный этап работы агента.

Для разработки на одном компьютере предпочтительнее запуск на loopback:

./build/bin/llama-server \
  -m /path/to/model.gguf \
  --host 127.0.0.1 \
  --port 8080 \
  --jinja

Если к серверу подключаются другие машины, настройте аутентификацию через документированный параметр --api-key и ограничьте сетевой доступ.

В Bash безопасно считайте ключ без отображения введённых символов:

read -rs LLAMA_SERVER_API_KEY && export LLAMA_SERVER_API_KEY

Затем передайте значение из переменной окружения:

./build/bin/llama-server \
  -m /path/to/model.gguf \
  --host 0.0.0.0 \
  --port 8080 \
  --jinja \
  --api-key "$LLAMA_SERVER_API_KEY"

Не оставляйте такой сервер открытым в интернете без дополнительных мер защиты. Наличие API-ключа само по себе не делает любую публичную конфигурацию безопасной.

—media-allow-private-urls

Второе изменение касается HTTP(S)-адресов медиафайлов, которые клиент передаёт серверу. Например, это может быть ссылка на изображение.

По умолчанию сервер не разрешает обращаться к медиафайлам по URL, ведущим на локальные или приватные сетевые адреса.

Для изменения поведения предусмотрен параметр:

--media-allow-private-urls

Он разрешает серверу загружать HTTP(S)-ресурсы с локальных и приватных адресов.

Такой доступ может понадобиться, если доверенное приложение хранит изображения на внутреннем HTTP-сервере.

Но при обработке URL от недоверенных пользователей возрастает риск SSRF — ситуации, когда злоумышленник заставляет сервер обращаться к нежелательным сетевым ресурсам.

Если возможно, передавайте данные изображения напрямую в поддерживаемом формате или используйте контролируемый хостинг файлов.

Когда доступ к приватным URL действительно нужен, ограничьте права клиентов и доступные серверу сетевые направления. Не включайте параметр только ради загрузки неизвестной ссылки.

Другие исправления безопасности

В релиз также вошли изменения, связанные со следующими механизмами:

  • Проверка --cors-origins и сопоставление источников запросов.
  • Защита от DNS rebinding.
  • Устранение SSRF через CORS-прокси.
  • Ограничение прямого браузерного доступа к дочерним экземплярам сервера.
  • Ограничение адресов, на которые передаётся HF_TOKEN.
  • Отмена вызовов MCP-инструментов после отключения клиента или истечения времени ожидания.

Теперь передача HF_TOKEN ограничена хостами huggingface.co.

Отмена MCP-вызовов важна для кодинговых агентов: если клиент отключился, серверу не следует без необходимости продолжать выполнение инструмента.

Однако уведомление об отмене не гарантирует откат действия, которое внешний инструмент уже успел выполнить.

Подробности изменений приведены в PR #32113, PR #32115 и примечаниях к релизу v1.0.0.

Как проверить локальный бэкенд для кодингового агента?

Сначала проверьте API самого llama-server. Только после этого подключайте Claude Code, OpenCode или другой инструмент.

Запустите сервер на локальном интерфейсе с моделью, подходящей для выполнения инструкций и вызова инструментов:

./build/bin/llama-server \
  -m /path/to/coding-model.gguf \
  --alias local-coder \
  -c 32768 \
  --host 127.0.0.1 \
  --port 8080 \
  --jinja

Модель должна поддерживать формат вызова инструментов, который использует ваш клиент.

Параметр --jinja включает обработку шаблона чата. Он не добавляет способность работать с инструментами модели, которая для этого не подходит.

Проверьте список моделей через curl:

curl --fail-with-body \
  http://127.0.0.1:8080/v1/models

В ответе должен присутствовать настроенный псевдоним модели.

Затем отправьте обычный запрос:

curl --fail-with-body \
  http://127.0.0.1:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "local-coder",
    "messages": [
      {
        "role": "user",
        "content": "Explain what a Git diff shows in one sentence."
      }
    ],
    "max_tokens": 100
  }'

Проверьте, что сервер вернул ответ в поле choices.

После этого настройте кодинговый инструмент через поддерживаемый им механизм подключения собственного провайдера.

Базовый URL локального OpenAI-совместимого API:

http://127.0.0.1:8080/v1

Совместимость с OpenAI Chat Completions не означает полную поддержку Anthropic Messages API или OpenAI Responses API.

Для подключения Claude Code может потребоваться адаптер протокола или другой поддерживаемый способ интеграции.

OpenCode может работать с собственным совместимым провайдером, если выбранный API и модель соответствуют настройкам клиента.

Прежде чем подключать агент к рабочему репозиторию, проверьте три операции: чтение файла, предложение изменения и вызов инструмента.

Успешный ответ на простой вопрос ещё не доказывает, что правильно работают аргументы инструментов, изменения файлов и длинные диалоги.

Если вы выбираете Kimi для задач программирования, воспользуйтесь руководством по подключению Kimi K3.1 Pro к Claude Code и Codex. А материал об открытых весах Kimi K3.1 Pro помогает оценить различия между локальным запуском, требованиями к оборудованию и доступом через API.

Нужно ли обновляться пользователям Ollama и LM Studio?

Если вы используете Ollama или LM Studio как готовое приложение, не заменяйте встроенную библиотеку llama.cpp вручную.

Эти программы сами управляют версиями движка, упаковкой бинарных файлов и проверкой совместимости.

Выход llama.cpp 1.0.0 не означает, что все приложения, использующие этот движок, сразу перешли на новую версию.

Поэтому смотрите примечания к релизам конкретной программы и обновляйтесь через её обычный механизм.

Особое внимание требуется, если после обновления:

  • Приложение прямо указывает на llama.cpp 1.0.0 или соответствующие изменения движка.
  • В настройках появились новые форматы KV-кеша или параметры MoE-кеша.
  • Изменились требования к аутентификации серверных инструментов или MCP.
  • Модель начала иначе загружаться либо изменилась обработка вызовов инструментов.

Для обычного общения с локальной моделью можно продолжать использовать исправно работающую поддерживаемую версию приложения.

Если Ollama или LM Studio выступает бэкендом кодингового агента, проверяйте всю цепочку подключения после обновления.

Когда лучше использовать облачный API?

Локальный запуск удобен, пока ваша машина справляется с выбранной моделью, размером контекста и нужной скоростью генерации.

FP8 KV-кеш может уменьшить расход видеопамяти. MoE-кеш иногда ускоряет вычисления при хранении экспертов в RAM. Но ни один из этих механизмов не устраняет все ограничения оборудования.

Если веса модели, KV-кеш или параллельные запросы не помещаются в доступную память, сравните два варианта: меньшую локальную модель и подходящую облачную модель.

Облачный API снимает необходимость самостоятельно управлять GPU-памятью для этой модели. При этом появляются расходы на запросы, зависимость от сети и условия провайдера.

BetterToken — один из вариантов доступа к нескольким моделям через API с оплатой по мере использования. Этот сервис не заменяет локальный движок llama.cpp и не предоставляет его серверные функции безопасности.

Прежде чем выбрать облачную альтернативу, проверьте стоимость нужной модели и вашей нагрузки на странице актуальных цен.

Если планируете переключаться между локальной и облачной моделью, настройте их как двух отдельных провайдеров.

Не переносите автоматически идентификатор модели, настройки аутентификации и формат вызова инструментов с одного эндпоинта на другой. Сначала проверьте совместимость каждого варианта.

Чек-лист безопасного обновления

Перед переводом рабочего бэкенда кодингового агента на llama.cpp 1.0.0 выполните следующие проверки:

  1. Зафиксируйте исходники v1.0.0 или конкретную сборку.
  2. Удалите --defrag-thold и вызовы устаревших C API.
  3. Пересоберите нативные биндинги с новыми заголовочными файлами.
  4. Начните с прежней конфигурации FP16 KV-кеша.
  5. Отдельно проверьте FP8 KV-кеш: расход памяти, скорость, качество кода и вызовы инструментов.
  6. Настраивайте MoE-кеш только при наличии поддерживаемого GPU-бэкенда и экспертов в оперативной памяти.
  7. Проверьте аутентификацию инструментов и правила доступа к приватным URL медиафайлов.
  8. Проверьте /v1/models, генерацию через API, вызовы инструментов и работу кодингового клиента.
  9. Сохраните прежний рабочий бинарный файл и конфигурацию для отката.

Версия 1.0.0 вводит понятные правила совместимости публичных C-библиотек. Но решение об обновлении по-прежнему нужно проверять на своих биндингах, оборудовании, настройках доступа и задачах агента.

Готовы оптимизировать LLM workflow?

Подключите единый API, управляйте ключами и контролируйте расходы на AI-модели в BetterToken.

Начать бесплатно