Почти каждая дообученная модель на Hugging Face Hub сделана через LoRA — 20 509 из 20 834 карточек, где упоминается хоть одна PEFT-техника. Hugging Face опубликовал разбор: такое доминирование объясняется не превосходством метода, а инерцией экосистемы — и теперь предлагает инструменты, чтобы выйти за эти рамки.
LoRA популярна по инерции, а не по качеству. На внешних платформах для генерации изображений картина та же: 95% PEFT-чекпоинтов — LoRA. Академическая работа (arXiv:2602.04998) проверила девять альтернативных вариантов LoRA через полный перебор гиперпараметров — learning rate, batch size, rank, длительность обучения. Результат: при честно подобранном learning rate все методы выходят на одинаковый пик качества с разницей в 1–2%. Преимущество «улучшенных» вариантов, которое авторы этих методов демонстрировали в своих статьях, исчезает, когда убираешь фиксированные или слабо подобранные гиперпараметры. Иными словами: LoRA скорее всего популярна потому, что появилась раньше других и обросла туториалами, а не потому что работает лучше.
Hugging Face добавил в PEFT новый метод — Cartridges. В отличие от LoRA, которая дообучает низкоранговые матрицы поверх замороженной модели, Cartridges хранят сжатый контекст как параметризованный KV-кэш (prefix — заготовленный префикс в кэше ключей и значений). Метод рассчитан на задачи с длинным контекстом: вместо того чтобы прогонять большой документ каждый раз, модель получает его сжатое представление сразу. Документация и код уже в официальной библиотеке PEFT.
Параллельно вышел инструмент для оценки агентов на реальных инструментах. Репозиторий upskill измеряет не только правильность финального ответа, но и цену пути: сколько шагов и токенов агент потратил, чтобы добраться до результата. Разница наглядна: один агент решал задачу классификации за один вызов CLI, другой — через 40-строчный скрипт с отладкой. Оба дали верный ответ, но стоимость отличалась в разы. Harness работает на открытых моделях и рассчитан на любой инструмент с командной строкой.
Обе публикации вышли в один день и держатся на одной логике: не доверять популярности по умолчанию — ни в выборе метода дообучения, ни в оценке агентов «по финальному ответу». Честный пробел при этом остаётся: Hugging Face не публикует сравнительных бенчмарков Cartridges против LoRA на стандартных задачах, так что выбор альтернативы пока — эксперимент на свой страх.