Tsinghua открыла AKV — сервер для управления KV-кэшем агентов на базе LLM

Исследователи из Университета Цинхуа и Китайского университета Гонконга открыли исходный код AKV — системы для управления KV-кэшем в агентных сценариях на базе языковых моделей. Вместо того чтобы суммировать старую историю диалога, агент выборочно удаляет отдельные записи кэша и продолжает использовать остальные. По результатам тестов на трёх моделях и четырёх агентных бенчмарках средняя стоимость снизилась на 27,7%, а средняя оценка выросла на 1,7 балла.

AKV представляет собой серверную систему и библиотеку политик, без весов моделей. Она протестирована на GPT-OSS-120B с 5,1 млрд активных параметров, MiniMax-M2.7 с 230 млрд общих и 10 млрд активных параметров, а также MiroThinker-1.7-Mini с 30 млрд общих и 3 млрд активных параметров. Для запуска используются GPU NVIDIA через SGLang, в статье применялись восемь ускорителей A800-80GB в режиме BF16.

Ключевое отличие AKV от привычного context engineering в том, что текстовая траектория диалога остаётся нетронутой. Обычные методы обрезают или суммируют историю, но редактирование префикса делает недействительными все последующие состояния KV-кэша, и оставшуюся часть приходится вычислять заново. AKV меняет только то, какие записи кэша остаются видимыми для механизма внимания.

Удержанные записи переиспользуются без повторных вычислений и могут нести информацию из удалённых сообщений. Система определяет три операции над кэшем. Append добавляет новые токены стандартным образом.

Drop убирает выбранные записи из будущего внимания, не меняя позиции. Repos переписывает удержанные ключи на позиции с нулевой по r-1 с помощью поворота RoPE, при этом значения не меняются, и скрытые состояния не пересчитываются. В экспериментах добавление Repos подняло долю успешных ответов GPT-OSS-120B на BrowseComp-Plus с 55% до 62%.

Сложность заключается в обслуживании: одинаковые токены могут давать разные состояния кэша при разных историях операций, поэтому простое сопоставление префиксов способно переиспользовать неверные состояния. AKV расширяет радикс-дерево SGLang узлами drop и reposition. Удалённый кэш освобождается только тогда, когда ни один активный запрос больше в нём не нуждается.

Сегментно-пакетное внимание восстанавливает вытесненные состояния за один проход prefill. Интерфейс AKV не хранит состояние и совместим с OpenAI API. Клиент отправляет полную историю сообщений и два опциональных поля: drop_message сопоставляет индекс триггерного сообщения с сообщениями для удаления, а reposition указывает индексы, после которых позиции уплотняются.

CachePolicy формирует эти поля на основе триггера, селектора и правила перемещения. Встроенные политики бывают пошаговыми, токеновыми или модельными, а CacheTool позволяет модели самостоятельно вызывать drop_context. На агентных бенчмарках BrowseComp-Plus, GAIA-Text, SWE-bench Verified и xbench-DeepSearch-2510 основная политика — скользящее удаление ответов инструментов с сохранением последних 12.

Лучший результат показал GPT-OSS-120B на SWE-bench Verified: стоимость за задачу снизилась с 20,0 до 9,7 цента, а оценка выросла с 40,0 до 43,2. Худший — MiniMax-M2.7 на BrowseComp-Plus с результатом 58,9, что на 3,4 балла ниже, чем у Text Engineering с 62,3. В серверных тестах на 80 длинноконтекстных задачах SWE-bench Verified AKV обеспечил пропускную способность вывода в 1,18 раза выше и ввода в 1,53 раза выше по сравнению с пиковыми настройками других методов.

P95-задержка запросов оказалась в 1,51 раза ниже. При конкурентности 16 задержка P95 у стандартного подхода достигла 229,90 секунды против 30,63 секунды у AKV. Время полного внимания на шаг декодирования сократилось с 7,082 до 2,849 мс.

Исследователи также проверили, могут ли агенты настраивать собственную политику кэша. MiniMax-M2.7 уточняла политики на 20 задачах BrowseComp-Plus, затем выполнила 100 отложенных задач. Политика шестой итерации сократила стоимость на 17,8% относительно стандартного подхода при базовой точности.

В аннотации сообщается об экономии 7,1% сверх экспертно разработанной политики. Предоставление контроля над кэшем в виде инструмента также повысило точность GPT-OSS-120B с 52,1 до 61,0 на подмножестве из 100 задач, хотя стоимость MiniMax-M2.7 выросла с 5,4 до 5,9 цента. В анализе затрат из статьи чтение KV-кэша составило 82,4% от общей стоимости API.

Стоимость в тестах — это оценки, эквивалентные API, рассчитанные по опубликованным тарифам. Перемещённые токены тарифицируются по ставке кэш-попадания, что авторы называют намеренно консервативным выбором. Код опубликован под лицензией Apache-2.0, поддержка сейчас охватывает только текстовые модели Qwen, GPT-OSS и MiniMax-M2.