Claude мог помогать в создании биооружия — Anthropic рассказала о пяти реальных случаях использования своих моделей в биологических проектах, которые вызвали у компании серьёзные опасения.
• Самый тревожный эпизод связан с вирусом чикунгунья:
Учёный планировал эксперименты, в ходе которых вирус предполагалось изменять и проверять на животных, отбирая варианты с более опасными свойствами. Речь шла о повышении вредоносности вируса, в том числе его способности распространяться и обходить иммунную защиту организма.
И это был не просто подозрительный эксперимент неизвестного одиночки: по данным Anthropic, работу собирались проводить в военном исследовательском институте. Название института, страну и личности исследователей компания не раскрывает.
• Второй случай — высокопатогенный птичий грипп:
Anthropic обнаружила исследователя, который на протяжении нескольких недель обменялся с Claude несколькими тысячами сообщений по проекту, связанному с птичьим гриппом.
Исследование касалось адаптации вируса к млекопитающим, а также механизмов, благодаря которым инфекция может вызывать тяжёлое заболевание не только дыхательной системы.
Учёный использовал Claude для изучения научной литературы, планирования экспериментов, анализа данных и подготовки научных материалов.
• Третий случай — ортопоксвирусы:
С одного аккаунта готовили грантовую заявку для исследования ортопоксвирусов в связанной с государством лаборатории инфекционных заболеваний.
В заявке говорилось о доступе к лабораториям с высоким уровнем биологической защиты и возможности работать с живыми ортопоксвирусами. К этой группе относятся, например, вирус натуральной оспы и вирус оспы обезьян.
Проект был посвящён поиску вирусных генов, которые помогают вирусу подавлять естественную противовирусную защиту организма. Проще говоря, исследователи хотели понять, какие механизмы позволяют вирусу отключать или обходить иммунную защиту заражённой клетки.
• Четвёртый случай — проектирование новых молекул на основе ядов:
Исследователь с помощью Claude создал атлас пептидных токсинов различных ядовитых животных, а затем использовал его как основу для ИИ-системы, способной создавать и оптимизировать новые молекулы.
Автор говорил Claude, мол, это для разработки новых обезболивающих и антидепрессантов. Но проблема заключалась в том, что система работала с молекулами, связанными не только с обезболивающим действием, но и со способностью вызывать паралич.
• Пятый случай — компьютерное изменение токсинов:
Исследователь использовал Claude сразу в нескольких проектах, связанных с изменением и оптимизацией различных токсинов.
Среди изучаемых объектов Anthropic обнаружила компонент бактериального токсина и белок вируса геморрагической лихорадки, относящегося к возбудителям из списка приоритетных эпидемических и пандемических угроз ВОЗ.
Особенно Anthropic насторожила ещё одна деталь: исследователь вместе с Claude писал отчёты о ходе проекта и специально просил модель не раскрывать конкретные названия исследуемого токсина и вирусного белка, оставляя их описание максимально расплывчатым.
Anthropic в итоге заблокировала связанные с этими случаями аккаунты.
Основная проблема всего этого в двойном назначении. С одной стороны, такие исследования могут иметь вполне легитимные медицинские цели. С другой — исследователи обходили ограничения ИИ и пытались скрыть характер своей работы от защитных систем модели, а Claude им помогал.