Сегодня 26 декабря 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI создала команду по изучению «катастрофических» угроз ИИ, вплоть до ядерной

Ответственная за сервис ChatGPT компания OpenAI сообщила, что сформировала подразделение по оценке и исследованию моделей искусственного интеллекта на предмет защиты от того, что характеризуется как «катастрофические риски».

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

Команду под названием Preparedness («боеготовность») возглавил директор Центра развёртываемого машинного обучения при Массачусетском технологическом институте Александр Мадри (Aleksander Madry) — по данным профессиональной соцсети LinkedIn, он занял этот пост в компании ещё в мае. В задачи подразделения входит отслеживание, прогнозирование и защита от опасностей, которые несут перспективные системы ИИ — от их дара убеждения (как в случае с составлением фишинговых писем) до генерации вредоносного кода. Некоторые из категорий угроз пока, к счастью, не обозначились в реальном поле: к ним отнесли химические, биологические, радиационные и ядерные.

Гендиректор OpenAI Сэм Альтман (Sam Altman) неоднократно выражал опасения, что ИИ способен «привести к вымиранию человечества», и формирование в компании соответствующего подразделения отражает эту позицию. Компания открыта и для изучения «менее очевидных» областей риска ИИ, добавил господин Альтман. Связаться с компанией для изложения своих опасений может любой желающий — авторы десяти лучших работ получат денежный приз в размере $25 тысяч или работу в OpenAI. «Представьте, что мы предоставили вам неограниченный доступ к моделям OpenAI Whisper (расшифровка речи), Voice (преобразование текста в речь), GPT-4V и DALLE·3, а вы оказались злодеем. Рассмотрим наиболее уникальные, хотя и, вероятно, потенциально катастрофически неправильные сценарии использования модели», — говорится в одном из конкурсных вопросов.

Подразделению Preparedness будет поручено сформулировать «политику разработки с учётом угроз» — документ с подробным описанием подхода OpenAI к построению инструментов оценки и мониторинга моделей ИИ, действий по снижению угроз, а также структуры управления для надзора в процессе развития моделей. Специалисты команды дополнят прочие аспекты работы OpenAI в области безопасного ИИ, уделяя особое внимание этапам до и после развёртывания модели.

Альтман и Илья Суцкевер (Ilya Sutskever), главный научный сотрудник и соучредитель OpenAI, убеждены, что ИИ с уровнем сознания выше человеческого может появиться в ближайшие десять лет, и не факт, что этот ИИ будет доброжелательным. Поэтому компания считает необходимым изучать возможности по его ограничению.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Российский аниме-хоррор MiSide внезапно оказался хитом Steam — восторженные отзывы игроков, сотни тысяч проданных копий 37 мин.
Киберпанковый слешер Ghostrunner 2 стал новой бесплатной игрой в Epic Games Store — раздача доступна в России и продлится всего 24 часа 3 ч.
Activision сыграет в кальмара: новый трейлер раскрыл, когда в Call of Duty: Black Ops 6 стартует кроссовер со Squid Game 2 3 ч.
«К чёрту Embracer Group»: неизвестный устроил утечку исходного кода Saints Row IV 5 ч.
Отечественная платформа Tantor повысит производительность и удобство работы с СУБД на базе PostgreSQL 8 ч.
В Steam вышла новая демоверсия голливудской стратегии Hollywood Animal от авторов This is the Police 8 ч.
IT-холдинг Т1 подал иск к «Марвел-Дистрибуции» в связи с уходом Fortinet из России 9 ч.
Рождественское чудо: в открытый доступ выложили документы Rockstar начала 2000-х, включая планы на GTA Online от 2001 года 9 ч.
«Битрикс24» представил собственную ИИ-модель BitrixGPT 10 ч.
За 2024 год в Китае допустили к релизу более 1400 игр — это лучший результат за последние пять лет 11 ч.
NASA поручило частным компания обеспечить связь в радиусе 2 млн км от Земли 52 мин.
Китайский автопроизводитель GAC представил гуманоидного робота GoMate с 38 степенями свободы 3 ч.
Главный конкурент Tesla запустил разработку человекоподобных роботов 3 ч.
Omdia: быстрый рост спроса на TPU Google ставит под вопрос доминирование NVIDIA на рынке ИИ-ускорителей 4 ч.
Российскую игровую приставку собрались построить на процессоре «Эльбрус», для которого не существует игр 5 ч.
Equinix предложил ИИ-фабрики на базе систем Dell с ускорителями NVIDIA 6 ч.
NASA показало «рождественскую ель» галактического масштаба 6 ч.
Китайский оператор ЦОД Yovole может выйти на IPO в США — после неудавшейся попытки в Китае 7 ч.
Patriot представила SSD P400 V4 PCIe 4.0 — до 4 Тбайт и до 6200 Мбайт/с 7 ч.
OnePlus представила доступные флагманы Ace 5 и Ace 5 Pro со Snapdragon, большими экранами и до 16 Гбайт ОЗУ 8 ч.