Стоит читать если: вы работаете с 3D-графикой, рендерингом или созданием реалистичных материалов и ищете способы ускорить этот процесс с помощью ИИ. Можно пропустить если: ваши задачи не связаны с PBR-материалами, CGI-рендерингом или аналитикой серверлес-приложений.
PATINA: от изображения к физически корректному материалу
Основная проблема с AI-генерированными изображениями материалов заключается в том, что они выглядят хорошо сами по себе, но содержат в себе тени и освещение, которые мешают их использованию в других сценах. patina позволяет извлекать PBR-карты (Physical Based Rendering) — такие как basecolor (albedo), normal, roughness, metalness и height (displacement) — из любого изображения. Эти карты затем могут быть использованы в стандартных CGI-движках для создания реалистичных 3D-моделей, которые корректно реагируют на разное освещение.
В основе patina лежит модифицированный flux-2-klein. FLUX.2 — это система латентного сопоставления потоков, объединяющая vision-language модель с трансформером rectified flow, а вариант klein специально оптимизирован для преобразования изображений. Это обеспечило надежную основу для модели, которая должна понимать макет, структуру и пространственные отношения. Для предсказания материалов был добавлен адаптер с DINOv2 backbone, который транслирует информацию о семантической сегментации в формат, пригодный для модели.
Отличие от предсказания геометрии. Хотя предсказание геометрии из одного изображения продвинулось благодаря архитектурам типа DPT, MiDaS, Marigold и GeoWizard, оно не дает информации о материалах. Карта глубины не объясняет, почему блик возник от глянца или металла, а карта нормалей не уточняет, почему поверхности с похожей формой отражают свет по-разному. patina ближе к SVBRDF-оценке, пытаясь восстановить латентные параметры, необходимые рендереру для воссоздания внешнего вида при различных условиях освещения.
Тренировочный набор данных генерировался с помощью рендерера. Датасет patina был создан на основе CC0 библиотек материалов (AmbientCG, Poly Haven). Для каждого материала собирались необходимые карты (basecolor/albedo, roughness, metalness, displacement, normals), затем каждый материал рендерился в десятках различных сценариев освещения с использованием Cook-Torrance BRDF-рендерера, реализованного на PyTorch для ускорения GPU. Такой подход позволил генерировать десятки обучающих пар из одного набора материалов.
Модель обучалась поэтапно для каждой карты. Обучение проходило в три стадии разрешения (512, 768 и 1024) с использованием одного предварительно закодированного текстового эмбеддинга на каждую модальность. В общей сложности это составило около 1.5 миллиона шагов на каждую модальность, или примерно 7.5 миллионов шагов для всех пяти карт. Металлическая карта требовала отдельного этапа предварительного обучения для освоения сегментации материалов, прежде чем заработало точное предсказание.
patina как полноценный пайплайн создания материалов. Для практического использования fal также выпустил специализированные версии Z-Image Turbo Seamless Tiling и SeedVR2 Seamless Upscaling. Эти конечные точки используют сквозные тайловые диффузионные пути через MultiDiffusion, что позволяет генерации, обнаружению карт и масштабированию сохранять непрерывность тайлов.
- patina Material endpoint — это сквозное решение, которое использует генерацию, апскейлинг и patina для создания полных PBR-материалов до 8K из текста (с опциональным начальным изображением). Стоимость начинается от $0.08 за полный набор материалов.
- patina Material Extraction endpoint — позволяет взять изображение и простую метку для желаемой текстуры. Затем модель идентифицирует эту текстуру, выравнивает ее, удаляет мешающие элементы, делает тайлируемой, масштабирует и возвращает полный набор материалов, построенный на том же пайплайне patina.
Планы развития включают расширение библиотеки материалов и создание модели text-to-tiling-image, специально предназначенной для материалов. Также планируется добавление новых типов карт, таких как luminance, opacity и других специализированных каналов. Идея была вдохновлена проектом CHORD от Ubisoft La Forge.
API аналитики для Serverless-приложений
Владельцы Serverless-приложений получили новый serverless-analytics-api для мониторинга входящего трафика. Ранее доступная аналитика (GET /v1/models/analytics) показывала только активность запросов пользователя как вызывающей стороны, теперь же новый эндпоинт позволяет владельцам приложений видеть агрегированную аналитику по своим собственным развернутым сервисам.
Новый эндпоинт GET /v1/serverless/analytics предоставляет следующие метрики:
- Количество запросов — общее число входящих запросов.
- Показатели успеха/ошибок — процент успешных и ошибочных ответов.
- Перцентили задержки — p50, p75 и p90 для оценки производительности.
Эти метрики доступны для любого диапазона дат и временного фрейма, что делает их идеальными для экспорта и анализа в сторонних инструментах, таких как BigQuery, Grafana или Datadog. Важное ограничение: доступ к этим данным имеют только владельцы соответствующих эндпоинтов, обеспечивая конфиденциальность.
Что это значит
Fal продолжает двигаться в сторону автоматизации сложных креативных и операционных задач. patina напрямую отвечает на потребность 3D-художников и инженеров в быстром создании реалистичных материалов из самых разных источников, устраняя рутину и технические барьеры. В свою очередь, serverless-analytics-api предоставляет разработчикам Serverless-приложений критически важные данные для мониторинга и оптимизации производительности своих сервисов, интегрируя аналитику напрямую в их рабочие процессы. Эти релизы показывают фокус на инструментах, которые не просто генерируют что-то, а интегрируются в существующие продакшн-пайплайны.
Ссылки
{
"name": "report_done",
"input": {
"sources_used": [
"fal_blog::introducing-patina",
"fal_changelog::2026-04-10"
]
}
}