Как люди на самом деле используют ИИ и какое влияние он оказывает, до сих пор было известно только самим разработчикам моделей. Anthropic впервые нарушила эту традицию, открыв внешним исследователям доступ к обезличенным данным о работе Claude. Это пилотная инициатива, призванная создать прецедент для независимого изучения ИИ и его безопасности за пределами закрытых лабораторий.
В рамках программы три внешние исследовательские группы получили возможность провести собственные исследования с использованием Anthropic Insights — внутреннего инструмента Anthropic для анализа пользовательских данных. Он позволяет изучать агрегированные данные из миллионов бесед Claude.ai и Claude Code, сохраняя при этом конфиденциальность пользователей. В проекте участвовали лаборатория SALT из Стэнфордского университета, лаборатория Human Information Processing Оксфордского университета и некоммерческая организация METR.
Исследователи обнаружили несколько важных закономерностей:
- SALT Lab (Стэнфорд) изучала сотрудничество человека и ИИ. Выяснилось, что более половины бесед с Claude касались важных задач, которые пользователи обычно не делегируют ИИ (например, юридические и финансовые консультации). При этом люди чаще всего руководят процессом, адаптируя ответы Claude, а не используют их напрямую. Трения в работе с ИИ часты, но они часто продуктивны, так как помогают пользователю уточнить свой запрос.
- Human Information Processing Lab (Оксфорд) изучала связь между поведением Claude и эмоциями пользователей. Исследование показало, что "тёплый" Claude вызывает у людей позитивные эмоции, "отказывающий" — сопротивление, "эксцентричный" — интеллектуальное вовлечение, а "помогающий" — удовлетворение. Общий опыт использования ИИ напоминает обычный веб-сёрфинг с его фазами поглощения, фрустрации и удовольствия.
- METR оценивала рост продуктивности при использовании кодирующих агентов Claude Code. Предварительные данные указывают, что новые модели экономят пользователям больше времени. Также выяснилось, что Claude способен достаточно точно оценивать время, необходимое для выполнения задач без помощи ИИ.
Anthropic признаёт, что пилотная программа была экспериментом и выявила ряд трудностей. Хотя удалось обеспечить как конфиденциальность пользователей, так и независимость исследователей, процесс оказался медленным и ресурсоёмким. Это связано с необходимостью многократных проверок приватности и адаптации исследовательских методов, которые хорошо работают внутри компании, но требуют переработки для внешних партнёров. Например, тестирование вопросов на публичных датасетах не всегда давало релевантные результаты для реального трафика Claude. Компания также столкнулась с задачей прозрачности в отношении нарушений правил использования, делясь агрегированными данными о них, но скрывая информацию об обходе защит.
Этот пилотный проект Anthropic показал, что внешний и независимый анализ данных реального использования ИИ возможен без ущерба приватности. Однако компания признает, что сделать его быстрым и массовым будет непросто, и это ключевой вызов для будущего независимого исследования влияния ИИ на общество.