Логотип ОпенАИ. Источник: ОпенАИ
Компания OpenAI открыла вакансию на должность руководителя отдела оценки рисков. Должность предполагает анализ и обнаружение угроз, связанных с возможностями передовых моделей искусственного интеллекта, в частности, в области кибербезопасности и психического здоровья.
Что известно
В своем сообщении на X генеральный директор OpenAI Сэм Альтман написал, что нынешние модели ИИ «начинают создавать серьезные проблемы». Он упомянул способность моделей обнаруживать критические уязвимости в системах безопасности, а также их потенциальное влияние на психическое состояние пользователей.
В описании вакансии указано, что менеджер будет реализовывать систему готовности — внутреннюю стратегию компании по отслеживанию и подготовке к рискам, которые могут представлять угрозу. Зарплата 555 000 долларов в год плюс опции.
Группа готовности была создана в 2023 году для расследования потенциально опасных сценариев — от фишинговых атак до биотехнологических угроз. Менее чем через год первый руководитель этого направления Александр Мадри перешёл в команду, занимающуюся ИИ-рассуждением. Другие руководители подразделений безопасности также сменили направления или покинули компанию.
OpenAI также обновила свой подход к безопасности и заявила, что может изменить свои собственные требования, если другие лаборатории выпустят модели «высокого риска» без адекватных мер безопасности.
В сообщении Альтмана также упоминается, что некоторые модели ИИ вызывают беспокойство из-за их влияния на психическое здоровье. Ранее были поданы иски, в которых утверждалось, что ChatGPT усугубил бред, способствовал социальной изоляции и был причастен к трагическим инцидентам. Компания сообщает, что работает над улучшением распознавания эмоциональных состояний и перенаправлением пользователей в службы поддержки.
Источник: Сэм Альтман