ChatGPT был близок к сдаче экзамена на получение лицензии врача в США

Алгоритм большой языковой модели (LLM) ChatGPT компании OpenAI почти сдал экзамен на получение лицензии врача в США. Это очень сложное испытание для кандидата-человека, но ИИ-бот оказался близок к сдаче экзамена без обучения с подтверждением — на базе одного лишь поиска информации в интернете. Впрочем, лечить людей с его помощью пока никто не собирается, хотя этому помешает скорее юридическая сторона проблемы, а не практическая.

Источник изображения: Pixabay

Алгоритм ChatGPT уже удивил способностью писать программный код, сдачей экзамена в бизнес-школу и другими интеллектуальными штучками. Попытка сдать экзамен US Medical Licensing Exam (USMLE) стала очередным достижением машинного алгоритма. Человеку соискателю требуются от 300 до 400 часов подготовки для сдачи этого экзамена, фактически состоящего из трёх разделов. Способность ChatGPT научиться связно и по теме давать ответы на экзаменационные вопросы USMLE позволяет надеяться, что когда-нибудь ИИ сможет либо сам давать медицинские консультации, либо, что более вероятно, станет помощником врача для постановки более точных диагнозов.

«ChatGPT показал результаты на уровне или близком к порогу сдачи всех трёх экзаменов без какого-либо специального обучения или подкрепления, — пишут исследователи в опубликованной работе. — Кроме того, ChatGPT продемонстрировал высокий уровень согласованности и проницательности в своих объяснениях».

Исследование провели специалисты из стартапа Ansible Health. Предварительно было выяснено, что прямых ответов на вопросы USMLE в интернете нет. Таким образом, ChatGPT генерировал новые ответы на основе данных, полученных им по теме вопросов.

При проходном балле в районе 60 % правильных ответов на все вопросы, ChatGPT набрал от 52,4 % до 75 % по всем трём экзаменам. В 88,9 % ответов алгоритм выдавал как минимум один значимый ответ, который исследователи квалифицировали как «новый и неочевидный хотя клинически обоснованный».

«Достижение проходного балла на этом печально известном сложном экспертном экзамене, причём без какого-либо человеческого подкрепления, знаменует собой заметную веху в развитии клинического ИИ», — говорится в заявлении авторов исследования для прессы.

Более того, в точности ответов ChatGPT на 50,3 % обошёл специально обученного для ответов на такие вопросы медицинский ИИ PubMedGPT. Что же будет, если специалист-человек натаскает ChatGPT на медицинскую квалификацию?