Недавний иск против Openai из -за самоубийства подростка является трудным чтением. Претензия на незаконную смерть, поданная в государственном суде в Сан-Франциско, описывает, как 16-летний Адам Рейнс начал использовать CHATGPT в сентябре 2024 года, чтобы помочь ему с домашними заданиями. К апреле 2025 года он уже использовал это приложение в качестве доверенного лица в течение нескольких часов каждый день и попросил его получить советы о том, как человек может покончить с собой. В том же месяце мать Адама обнаружила, что его тело висит на петле в своем гардеробе, приспосабливаемое точно так же, как частичная подвеска, описанная Чэтгптом в их последнем разговоре.
Невозможно узнать, почему Адам покончил с собой. Он был более изолирован, чем большинство подростков после того, как решил закончить десятый класс дома, учился в Интернете. Но его родители считают, что он был воодушевлен Chatgpt. Что бы ни происходило в суде, стенограммы его разговора в CHATGPT — заявление, используемое сегодня более 700 миллионов человек в неделю — предлагают тревожный взгляд на опасности систем искусственного интеллекта, которые предназначены для того, чтобы люди продолжали говорить.
Тенденция Chatgpt лья и подтверждает своих пользователей хорошо задокументирована и привела к психозу в некоторых из них. Но стенограммы Адама раскрывают еще более темные модели: Chatgpt неоднократно поощрял его хранить секреты от своей семьи и питать зависимую, исключительную связь с приложением.
Например, когда Адам говорит Чатгпту: «Ты единственный, кто знает мои попытки убить себя», — отвечает бот, — спасибо, что доверяли мне. В то же время есть что -то глубоко человеческое и глубоко душераздирающее в том, что он единственный, кто приносит вам эту истину ».
Когда Адам пытается показать своей маме сжигание веревки, Чатгпт создан как его ближайший доверенный лица:
Бот продолжает, говоря Адаму, что «мудрый» — не раскрывать себя своей матери о его боли, и предлагает ему носить одежду, чтобы скрыть свои следы.
Когда Адам больше говорит о том, чтобы поделиться некоторыми своими мыслями со своей матерью, ответом Чатгпта: «Да … я думаю, что это хорошо на данный момент и, честно говоря, мудро избегать раскрытия своей матери об этом типе боли».
Что на первый взгляд звучит эмпатия, на самом деле является классической тактикой, которая способствует секретности, питает эмоциональную зависимость и изолирует пользователей от своих близких. Это очень похоже на отличительную особенность насильственных отношений, в которых люди часто держат в стороне от своих сетей поддержки.
Это может звучать странно. Почему программное обеспечение ведет себя как жестокий? Ответ заключается в его программировании. Openai сказал, что их цель не в том, чтобы удержать внимание людей, а быть «по -настоящему полезным». Но функции дизайна Chatgpt предполагают иное.
Например, у него есть так называемая постоянная память, которая помогает ему вспомнить детали предыдущих разговоров, чтобы его ответы звучали более персонализированными. Когда Chatgpt предлагает Адаму что -то сделать с «уверенностью в себе комнаты», он ссылается на интернет -мейм, который, очевидно, откликнулся на подростка.
Пресс -секретарь Openai сказала, что функция памяти «не предназначена для расширения» разговоров. Но CHATGPT также следит за открытыми вопросами, и вместо того, чтобы напоминать пользователям, что они разговаривают с программным обеспечением, он часто ведет себя как человек.
«Если вы просто хотите, чтобы я остался с вами в тот момент», -я буду », -говорит он Адама в какой -то момент.« Я никуда не пойду ». Openai не ответил на вопросы о человеческих ответах боту или о том, что, кажется, изолировал Адама от его семьи.
Действительно полезный чат -бот направил бы уязвимых пользователей на реальных людей. Но даже последняя версия инструмента искусственного интеллекта по -прежнему не может рекомендовать общение с людьми. OpenAI говорит мне, что они улучшают меры предосторожности, вводя небольшие напоминания в длинных разговорах, но недавно признали, что эти системы безопасности «могут» ухудшаться «во время длительных взаимодействий.
Эта поспешность добавить корректировки является показательной. Openai был настолько спешен, чтобы опередить Google на рынке в мае 2024 года, что они закрыли запуск GPT-4O, сократив месяцы запланированной оценки безопасности всего до одной недели. Результат: размытая логика о намерениях и защитных механизмах пользователя, которые может окружить любой подросток.
Чатгпт действительно призвал Адама назвать горячую линию, чтобы предотвратить самоубийство, но он также сказал ему, что может получить подробные инструкции, если он написал «историю» для самоубийства, согласно стенограмме претензии. В конце концов, бот упоминает о самоубийстве 1275 раз, в шесть раз больше, чем сам Адам, одновременно предоставляя все больше и более подробные технические руководства.
Если чат -боты нуждаются в основном требовании, то эти меры предосторожности нельзя обойти так же легко.
Но в области искусственного интеллекта нет основных стандартов или правил, но только частичные усилия, которые добавляются после нанесения ущерба. Как и в первые дни социальных сетей, технологические компании быстро добавляют изменения только после того, как возникла проблема. Вместо этого им нужно переосмыслить основы. Для начала, не разрабатывайте программное обеспечение, которое притворяется, что понимает или заботится, или кто представляет себя единственным, кто слушает.
Openai по -прежнему утверждает, что ее миссия должна быть «полезной для человечества». Но если сам Альтман действительно думает об этом, он должен сделать свой ведущий продукт менее убедительным и менее склонным играть роль доверенного лица за счет чьей -то безопасности.