Полноразмерные изображения патологий могут весить гигабайты, а их анализ тысячами плиток быстро съедает бюджет. Именно это ограничивало масштабные исследования рака. Microsoft Research представила модели GigaPath-Flash и GigaTIME-Flash, которые снижают вычислительные затраты, делая такие исследования доступнее.
Новые модели расширяют существующие GigaPath и GigaTIME, фокусируясь на эффективности. Они сохраняют полезные представления патологических данных, но требуют гораздо меньше ресурсов для генерации и использования. Это стало возможным благодаря дистиллированному бэкбону — компактному ViT-S энкодеру, полученному из миллиардно-параметрического энкодера оригинальной GigaPath. Обе модели выпущены под лицензией Apache 2.0.
Оригинальная GigaPath обучена на реальных гистопатологических данных и способна анализировать целые изображения, захватывая как локальные клеточные паттерны, так и общую архитектуру тканей. GigaTIME расширяет эту работу до моделирования микроокружения опухолей, переводя обычные изображения в виртуальные карты протеомики по 21 белковому каналу.
Благодаря снижению вычислительных требований, GigaPath-Flash и GigaTIME-Flash позволяют учёным анализировать более крупные когорты пациентов, проводить больше экспериментов и продвигаться к исследованиям в масштабе целых популяций. Это ускорит изучение биологии заболеваний, поиск биомаркеров и оценку клинических исходов на разнообразных онкологических наборах данных.
Новые модели решают проблему масштабирования экспериментов, позволяя учёным проводить их чаще и с большим количеством данных, что ускоряет поиск новых биомаркеров и подходов к лечению. Однако Microsoft подчёркивает, что это исследовательские инструменты, не предназначенные для клинического использования, включая диагностику, прогноз или выбор терапии. Их производительность может варьироваться в зависимости от данных и условий.