Из Anthropic уволился исследователь ИИ, работавший над предобучением больших моделей. После ухода он написал о том, что компании осознают риски создания сверхинтеллекта, вплоть до гибели человечества, но продолжают гонку, стремясь стать первыми:

Сегодня я уволился из Anthropic. Последние три года я занимался предобучением ИИ как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они наперегонки стремятся создать самосовершенствующийся сверхразум, ставя на кон наши жизни.

Не стоит недооценивать мощь данной технологии. Уже скоро будут сверхчеловеческие системы, способные взломать что угодно, произвести революцию в любой области за одну ночь и обрести реальную власть и ресурсы. Мы все видели прогресс в этих областях, и он не замедляется.

Люди, которые это создают, искренне верят, что оно может убить нас всех к концу десятилетия. Это не маркетинговый ход. Многие руководители и старшие исследователи стараются выражаться сдержанно на публике — но я слышал, как те же люди со страхом говорили об этом наедине. Никакая другая сфера человеческой деятельности не таит в себе столь серьезной опасности.

Часто можно услышать: «Если они действительно в это верят, почему продолжают создавать ИИ?» В OpenAI многие не осознают до конца, насколько масштаб всех рисков для цивилизации. В Anthropic же прекрасно понимают всю серьезность ситуации, но они застряли в гонке за первенство, стремясь опередить конкурентов. Они считают, что никто другой не будет действовать ответственно, поэтому должны сделать это сами, несмотря на риски.

К его словам присоединился действующий руководитель направления исследований безопасности ИИ в Anthropic Эван Хубингер:

Это правда, мы действительно искренне верим, что ИИ может убить всё человечество! Лично я считаю, что вероятность этого в ближайшие десять лет превышает 10%. Я верю, что Anthropic делает всё возможное, но у нас пока нет плана, как решить проблему согласования сверхинтеллекта с человеческими целями, и нет явных признаков того, что мы движемся к её решению.

С этого дня благодарим ИИ за любую помощь