Память AI сжали в 50 раз: MIT решил главную проблему языковых моделей

Почему память — это узкое место всех AI-агентов

Каждый раз, когда языковая модель отвечает на вопрос, она хранит математическое представление всей предыдущей переписки в так называемом KV-кеше (кеш ключей и значений). Это её рабочая память. Чем длиннее разговор или документ — тем больше этот кеш, тем дороже и медленнее работа модели.

В корпоративных сценариях — анализ юридических контрактов, многосессионные диалоги с клиентами, автономные агенты-кодировщики — KV-кеш может раздуваться до нескольких гигабайт на один запрос. Именно это ограничение тормозило масштабирование AI-систем сильнее, чем количество параметров модели.

Что такое Attention Matching и почему это прорыв

Исследователи MIT представили технику Attention Matching — метод сжатия KV-кеша в до 50 раз без заметной потери качества ответов. В отличие от предыдущих подходов, он работает за секунды, а не часы.

Ключевое математическое открытие: чтобы сжатая память вела себя как оригинальная, нужно сохранить два свойства — внимание-вывод (что модель извлекает из памяти) и внимание-вес (относительная значимость каждого токена). Если сжатая память точно воспроизводит эти два свойства, модель «не заметит» замены.

• Reference queries — система генерирует небольшой набор «референсных запросов», имитирующих то, что модель будет спрашивать у памяти в будущем
• Chunked compaction — контекст обрабатывается независимыми блоками, что улучшает работу на длинных документах
• Простая алгебра вместо GPU — вместо дорогой градиентной оптимизации используется метод наименьших квадратов

Тесты: медицинские записи объёмом 60 000 токенов

Метод проверяли на двух типах данных. Первый — QuALITY, стандартный бенчмарк понимания текстов длиной 5 000–8 000 слов. Второй — LongHealth, 60 000-токенный датасет с медицинскими историями болезней нескольких пациентов. Именно второй сценарий — настоящий корпоративный стресс-тест.

Результат: 50-кратное сжатие с сохранением точности на моделях Llama 3.1 и Qwen-3. Прежний лидер в качестве сжатия — метод Cartridges — требовал для аналогичного результата часов вычислений на дорогих GPU. Attention Matching делает то же самое за секунды, используя стандартные алгебраические методы.

Почему это важно для рынка прямо сейчас

AI-индустрия застряла в парадоксе: большие модели дают лучшее качество, но их стоимость, задержки и энергопотребление делают их непрактичными для многих реальных задач. Метод MIT атакует эту проблему с неожиданной стороны — не делая модели меньше, а делая их память эффективнее.

Для предприятий это означает: меньше GPU-памяти на один запрос → больше параллельных сессий → ниже стоимость инференса. В условиях, когда корпоративные AI-системы работают 24/7 с огромными объёмами данных, это прямая экономия бюджетов.

Мнение редакции

Я давно жду именно таких новостей. Не очередная гонка за параметрами, не новый «лучший в своём классе» чат-бот — а тихая инженерная победа, которая реально расширяет то, что AI могут делать прямо сейчас. KV-кеш — это скучно звучащая деталь, но именно она определяет, может ли агент прочитать весь контракт целиком или забудет начало к тому моменту, как доберётся до конца.

Attention Matching — это не революция в заголовках. Это революция в счетах за облачные вычисления и в том, насколько далеко AI-агенты смогут зайти в рамках одной задачи. И это, пожалуй, важнее.