ChatGPT сдал экзамен на врача и в считаные секунды поставил правильный диагноз пациенту

Доктор Айзек Кохейн (Isaac Kohane), гарвардский специалист по информационным технологиям и медицине, совместно с двумя коллегами протестировал GPT-4 на предмет возможности использовать искусственный интеллект во врачебной сфере. По словам исследователя, система проявила себя лучше многих врачей.

Источник изображений: Tumisu / pixabay.com

Результаты эксперимента доктор Кохейн изложил в книге «Революция ИИ в медицине», написанной совместно с независимой журналисткой Кэри Голдберг (Carey Goldberg) и вице-президентом Microsoft по исследованиям Питером Ли (Peter Lee). Выпущенная в марте ИИ-модель GPT-4 в 90 % случаев правильно отвечала на вопросы из экзамена на получение лицензии врача, выступая лучше ChatGPT на базе GPT-3 и GPT-3.5 и даже некоторых докторов, у которых уже есть лицензии.

GPT-4 отлично проявил себя не только как экзаменуемый и знаток фактов, но и как переводчик. Он разобрался с медицинской выпиской пациента на португальском языке и перефразировал наполненный техническим жаргоном текст в материал, с которым справится и шестиклассник. ИИ предлагал врачам полезные советы, как вести себя у постели больного и как разговаривать с пациентом о его состоянии понятным, но сострадательным языком. Машина справлялась с обработкой объёмных отчётов об обследовании, мгновенно обобщая их содержимое.

Свои ответы система излагала в формате, который как будто указывает на интеллект сродни человеческому, но исследователи всё равно пока делают вывод, что в своих размышлениях ИИ ограничен шаблонами — пускаться в полноценные рассуждения с причинно-следственными связями GPT-4 ещё не умеет. Тем не менее, когда системе предложили данные по реальному случаю, та на уровне специалиста с годами учёбы и практики верно диагностировала редкую болезнь.

Доктор Кохейн, с одной стороны, рад, что в обозримом будущем такой инструмент будет доступен миллионам людей, но, с другой стороны, он пока не знает, как сделать платформу безопасной для пользователя. GPT-4 не всегда надёжен в своих ответах, и в книге приводится множество примеров его ошибок разного рода. Причём ИИ склонен настаивать на своей правоте, когда ему на эти ошибки указывают — это явление в технической среде уже назвали «галлюцинациями». В свою защиту GPT-4 однажды заявил: «У меня нет намерений кого-то обманывать или вводить в заблуждение, но я иногда совершаю ошибки и делаю предположения, основываясь на неполных или неточных данных. Я не даю клинических оценок и не несу этической ответственности как врач или медсестра».

В качестве одной из мер защиты авторы книги предлагают проводить по нескольку сессий с GPT-4, чтобы ИИ сам «перечитывал» или «проверял» собственную работу «свежим взглядом». Иногда это помогает выявлять ошибки: GPT-4 несколько раз в сдержанной форме признавал своё заблуждение. Или можно поручить проверку его работы специалисту.