Пока большинство моделей наращивают параметры или просят «думать вслух», чтобы улучшить логику, ByteDance Research представила Recycler — архитектуру, которая позволяет LLM улучшить рассуждения и математические способности, эффективно используя внутренние скрытые состояния (latent states).
Recycler достигает этих улучшений за счет повторного использования непрерывных скрытых состояний из предыдущих шагов генерации, пропуская их через легковесный адаптер (lightweight adapter). Это сохраняет богатую семантику между шагами с минимальными вычислительными затратами, что отличает его от стандартного авторегрессивного декодирования, которое отбрасывает эту информацию после каждого токена.
Ключевая особенность — высокая параметрическая эффективность: экспериментально показано, что Recycler превосходит модели с в 2-3 раза большим количеством параметров. В основе лежит идея, что даже небольшая часть параметров (например, 2% от основной модели) может достичь сопоставимых результатов, если она эффективно использует обратную связь скрытых состояний.
Подход Recycler фокусируется на «латентном рассуждении» — многошаговом выводе внутри внутренних скрытых состояний, а не на явных, токен-ориентированных цепочках рассуждений (chain-of-thought), как это делают многие современные модели, включая Gemini от Google. Это позволяет повысить эффективность и абстракцию, избегая избыточных промежуточных текстовых выводов.
Recycler предлагает элегантное решение для повышения интеллектуальных способностей LLM, смещая акцент с грубой силы масштабирования на умную архитектурную оптимизацию. Однако в релизе не указаны конкретные бенчмарки (например, GSM8K, MATH) и процентные улучшения, что не позволяет точно оценить масштаб заявленных "сильных" математических способностей.