Специализирующаяся на технологиях нейроинтерфейса компания Synchron разработала систему, которая позволяет управлять платформой умного дома при помощи мысленных команд. Пользователь может включать свет в своём доме, видеть через камеру стоящего у двери гостя и выбирать программу просмотра по телевизору — без помощи рук или голосовых команд.

Источник изображений: Synchron

Созданный компанией Synchron интерфейс переводит мозговую активность пользователя в команды, передаваемые службе Amazon Alexa. Виртуальный помощник работает на планшете пользователя, подключённом к устройствам умного дома. Испытать систему согласился пациент с боковым амиотрофическим склерозом — при этой болезни он не может использовать руки, поэтому отдаёт мысленные команды для навигации по опциям системы умного дома и задействует их.

Команды считываются при помощи компонента Stentrode, который встраивается в кровеносный сосуд на поверхности мозга — он содержит электроды, которые обнаруживают двигательные команды. У технологии Synchron есть важное преимущество перед решениями Neuralink — разработанные первой компанией компоненты имплантируются через яремную вену без необходимости вскрывать череп, и они могут оставаться на месте неограниченное время. При этом большинство альтернативных решений требуется через какое-то время удалять.

Компоненты Synchron уже вживлены десяти добровольцам, тогда как Neuralink сообщила об установке своего чипа лишь второму пациенту. При этом имплантаты Neuralink являются более мощными — они оснащаются 1024 электродами для захвата большего количества сигналов мозга для совершения более сложных операций. Компоненты Synchron имеют массивы в 16 электродов, и предназначаются они для более конкретных задач с индивидуально разработанными интерфейсами.

Ранее Synchron, которую поддержали Билл Гейтс (Bill Gates) и Джефф Безос (Jeff Bezos), доложила, что интегрировала свой компонент с гарнитурой смешанной реальности Apple Vision Pro — управление устройством осуществляется при помощи движений глаз и мысленных команд. К сожалению, до вывода технологии на рынок потребуется проделать ещё значительный объём работы: американские нормы требуют многолетних испытаний перед коммерческим запуском.

Нейротехнологический стартап Synchron сегодня объявил об успешном подключении своего мозгового импланта к гарнитуре Apple Vision Pro. Разработанный Synchron «интерфейс мозг-компьютер» (brain-computer interface, BCI) призван помочь парализованным пациентам управлять технологичными устройствами при помощи своего разума. На сегодняшний день компания имплантировала BCI шести пациентам в США и четырём в Австралии.

Источник изображений: Synchron

Обычно пользователи управляют гарнитурой дополненной реальности Apple Vision Pro с помощью движений глаз, голосовых команд и жестов рук. Synchron сделала гарнитуру доступной для пациентов, которые не могут говорить или двигать верхними конечностями. По мнению генерального директора Synchron Томаса Оксли (Thomas Oxley), платформа от Apple является «лучшей в своём классе», поэтому компания изначально разработала интерфейс именно для экосистемы Apple. В дальнейшем компания планирует подключить свой BCI и к гарнитурам других производителей.

По словам Оксли, Apple «очень поддержала» интеграцию Vision Pro. «Я думаю, что BCI имеет очень хорошие возможности для того, чтобы принести огромную пользу за счёт синергетической интеграции в экосистему Apple», — добавил он.

BCI от Synchron вводится через яремную вену пациента, поэтому операция на открытом мозге не требуется. Устройство доставляется в кровеносный сосуд, расположенный на поверхности моторной коры головного мозга. Антенна, расположенная под кожей в области груди, собирает необработанные данные мозга и отправляет их на внешние устройства.

64-летний пациент Марк стал пионером в работе Synchron с гарнитурой Vision Pro. Марку, чью фамилию компания не называет по соображениям конфиденциальности, в августе 2023 года был имплантирован BCI Synchron. У него дегенеративное заболевание, называемое боковым амиотрофическим склерозом, или БАС, из-за которого пациенты постепенно теряют контроль над своими мышцами. С момента постановки диагноза в январе 2021 года у Марка утратили функции мышцы плеч, рук и кистей, но он все ещё может говорить и ходить на короткие расстояния.

Марк работает с Synchron два часа два раза в неделю, чтобы попрактиковаться в различных навыках и функциях своего BCI. Он сказал, что с апреля периодически тестирует Vision Pro и может использовать его для отправки текстовых сообщений, игры в пасьянс и просмотра телевизора. По его словам, использование BCI для управления гарнитурой мало чем отличается от его использования для управления iPhone, iPad и компьютером. Некоторые приложения гарнитуры более ограничены и сложны, чем другие, и он все ещё экспериментирует с новыми способами их использования.

«Для меня это просто ещё один шанс обрести некоторую независимость, — говорит Марк. — На самом деле это потрясающе». Он не может больше использовать руки для рисования, поэтому учится использовать Vision Pro для создания изображений. Ему также нравится использовать приложение, которое позволяет изучать небесные созвездия. У Марка начинают отказывать мышцы шеи, но пока он может пользоваться гарнитурой в течение двух часов, не уставая и не испытывая укачивания.

Synchron готовится к более масштабному клиническому исследованию с участием большего числа пациентов, и Марк выразил надежду, что его работа с гарнитурой улучшит качество обслуживания других людей. По мнению Оксли, «это начало нового терапевтического варианта восстановления способности использовать цифровые технологии, которые мы считаем само собой разумеющимися».

Synchron является частью все более конкурентной индустрии мозговых имплантов, где соперничают такие компании, как Paradromics, Precision Neuroscience, Blackrock Neurotech и Neuralink, хотя их цели, проекты и амбиции заметно отличаются. Для дальнейшей коммерциализации новой технологии Synchron необходимо одобрение Управления по контролю за продуктами и лекарствами США (Food and Drug Administration, FDA).

Американская компания Synchron, разрабатывающая технологии нейрокомпьютерных интерфейсов (BCI) для восстановления двигательных функций у парализованных людей, объявила об интеграции системы генеративного искусственного интеллекта от OpenAI в свою платформу. Это позволит пациентам с тяжёлой формой паралича взаимодействовать с другими людьми силой мысли.

Пациент с имплантом Synchron использует ИИ-чат-бот для общения. Зелёные плитки — предложенные ИИ фразы. Источник изображений: Synchron

Чат-бот в нейроинтерфейсе, работающий на базе ИИ от создателя ChatGPT, упростит процесс общения для пользователей. Система может генерировать автоматические подсказки в текстовом и аудиоформате в режиме реального времени, учитывая контекст и эмоциональное состояние пользователя (система принимает текстовые, аудио и графические данные), и предлагать оптимальные варианты фраз. То есть ИИ будет помогать в наборе текста силой мысли, предсказывая, что бы хотел сказать человек в той или иной ситуации, и предлагать несколько вариантов слов или фраз на выбор — своего рода продвинутый Т9.

Компания уже испытала технологию на пациенте, которому ранее вживили её BCI. Пациент по имени Марк с боковым амиотрофическим склерозом (БАС), которому вживили имплант Synchron в прошлом году, последние два месяца периодически тестировал новую функцию на базе ИИ-чат-бота. По его словам, она помогает ему экономить драгоценное время и энергию во время общения с близкими. Использование BCI требует сосредоточенности и практики, поэтому, по словам Марка, искусственный интеллект помогает снять с себя часть нагрузки при ответе на сообщения.

Том Оксли (Tom Oxley), генеральный директор и основатель Synchron, подчеркнул важность этой интеграции: «Наши пациенты утратили способность воспроизводить какие-либо действия из-за неврологических заболеваний. Генеративный ИИ может предложить варианты, контекстуально соответствующие окружающей среде, а BCI позволит сделать человеку выбор на основании той или иной подсказки. Система по сути сохраняет фундаментальное право человека на свободу самовыражения и автономию».

Вот что сказал Марк по поводу новой технологии: «Как человек, который, скорее всего, потеряет способность общаться по мере прогрессирования неизлечимой на сегодня болезни, эта технология даёт мне надежду, что в будущем у меня всё ещё будет способ легко общаться с близкими».

Устройство Synchron имплантируется в кровеносные сосуды на поверхности моторной коры головного мозга через яремную вену с помощью малоинвазивной эндоваскулярной процедуры. После имплантации устройство способно выявлять и беспроводным способом передавать из мозга двигательные намерения, что позволяет парализованным людям управлять персональными устройствами без помощи рук, как бы наводя указатель мышки и кликая по опциям. Аналогичным образом человек сможет выбирать слова и фразы, предложенные ИИ. Важно отметить, что платформа Synchron не будет передавать сигналы мозга человека на сервер OpenAI — используется платформа самой компании в облаке AWS.

Обновлённая платформа BCI от Synchron, теперь с генеративным ИИ, позволит пациентам печатать текст с более естественной скоростью и тем самым значительно повысить качество общения. Это первый в своём классе коммерческий продукт, который позволит миллионам людей с нарушениями функций верхних конечностей оставаться с миром на связи.

Поддержанная инвестициями Билла Гейтса (Bill Gates) и Джеффа Безоса (Jeff Bezos) компания Synchron, которая конкурирует с широко раскрученной в прессе компанией Neuralink Илона Маска (Elon Musk), начала собирать команду добровольцев для массовых испытаний собственных мозговых имплантатов.

Источник изображения: Synchron

Речь идёт о многих десятках человек. Для начала испытаний необходимо разрешение Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA), которое компания должна получить.

Нейрозонд Synchron считается более безопасным на всех этапах его использования, чем устанавливаемый прямо на мозг под череп чип Neuralink. Зонд Synchron вводится в яремную вену и по кровеносным сосудам подводится к участку моторной коры головного мозга. К настоящему времени зонд установили десяти пациентам: четырём в Австралии и шестерым в США. Благодаря зонду пациенты с парализованными конечностями получили возможность управлять курсором мышки на экране компьютера, а это прямой путь к социализации больных, которые сейчас обречены на одиночество и информационный вакуум.

По словам представителя компании, она создала реестр пациентов и медицинских учреждений, заинтересованных в участии в испытаниях. На данный момент с Synchron связались около 120 центров клинических испытаний. Это позволяет надеяться на привлечение десятков потенциально ценных кандидатов для участия в испытаниях, которые могут длиться несколько лет, прежде чем будут опубликованы результаты. Проведение подобных испытаний станет шагом в сторону коммерциализации мозгового имплантата Synchron и это, судя по всему, произойдёт намного раньше, чем в случае Neuralink.

Недавно Илон Маск (Elon Musk) сообщил, что его компании Neuralink впервые удалось имплантировать чип в человеческий мозг. Эта процедура стала ещё одним шагом к реализации обещания Маска подключать человеческий мозг напрямую к компьютерам. По его мнению, это однажды позволит людям соответствовать возможностям продвинутого ИИ. Заявления Маска часто вызывают неприятие со стороны конкурентов, но при этом помогают «приблизить эту область к реальности».

Источник изображения: unsplash.com

Подобные импланты уже много лет являются основным объектом разработки и исследований ведущих научных лабораторий. По крайней мере трём конкурирующим стартапам удалось установить электроды в мозг человека и использовать их для сбора и интерпретации его сигналов. Но именно Маск «действительно привлёк внимание и инвестиции к этой области», — вынужден признать Том Оксли (Tom Oxley), исполнительный директор компании Synchron, которая ещё в 2019 году провела первые испытания мозговых имплантов на людях и к настоящему моменту привлекла $130 млн инвестиций.

Обеспечение бурной огласки своих усилий при минимуме доказательств «это то, что Илон Маск делает лучше, чем кто-либо другой», уверена Энн Ванхёстенберг (Anne Vanhoestenberghe), профессор активных имплантируемых медицинских устройств в Королевском колледже Лондона. «Они [Neuralink] впереди? Нет. Их технология уникальна? Нет, ничто из того, что я видела, не является чем-то новым», — добавила она, признав при этом, что компания Маска является «очень продвинутой» и «самой современной» в этой области.

Маск уже давно использует своих многочисленных поклонников в социальной сети X и других средствах массовой информации в качестве стратегического оружия для привлечения капитала и талантов в свои предприятия. Это преимущество он реализовывает, чтобы составить конкуренцию OpenAI, создав намного позже свою компанию xAI для разработки ИИ. А Neuralink, благодаря его маркетинговым усилиям, привлекла почти $700 млн, включив в число своих соучредителей некоторые лучшие умы в этой области.

Однако амбициозные заявления Маска имеют и обратную сторону — по мнению профессора университета Иллинойса Юрия Власова они привели к «огромному бремени завышенных ожиданий». И всё же нужно признать, что заявления Маска пролили свет на технологию, начавшую приносить многообещающие результаты, хотя совсем недавно она многим казалась надуманной и бесперспективной.

Источник изображения: Neuralink

Работа над мозговыми компьютерными интерфейсами (BCI — Brain-computer interface) началась два десятилетия назад, но темпы исследований были невысоки. После основания Neuralink в 2016 году Маск пообещал провести испытания на людях уже в 2020 году, для чего изо всех сил пытался получить одобрение Управления по контролю за продуктами и лекарствами США.

BCI стали реальностью в результате достижений в области миниатюризации полупроводников, развития систем считывания сигналов мозга и использования машинного обучения для расшифровки сигналов мозга и использования их для управления компьютерным курсором или протезом конечности.

На сегодняшний день представлено несколько разных подходов к BCI. Метод Neuralink включает в себя введение чрезвычайно тонких нитевидных электродов в ткань мозга с целью сбора электрических сигналов от отдельных или небольших групп нейронов. Процедура требует удаления части черепа для доступа робота-хирурга, которого Маск называет «швейной машиной». Neuralink показала видео, на которых обезьяны используют свои импланты для игры в понг на компьютере. Однако последствия длительного нахождения электродов рядом с тканями мозга ещё недостаточно исследованы.

Источник изображения: Neuralink

Другие методы предполагают некий компромисс между инвазивностью (и рисками) имплантов и качеством собираемой информации. Компания Precision Neuroscience, соучредителем которой является Бенджамин Рапопорт (Benjamin Rapoport), нейрохирург и один из основателей Neuralink, делает крошечные разрезы в черепе, инсталлируя через них сетку микроэлектродов, которая «обёртывается» вокруг мозга. Хотя этот менее инвазивный метод собирает меньше данных, чем электроды Neuralink, он все равно должен давать достаточно данных для управления протезом конечности.

Компания Synchron вводит свои датчики в череп через вену, во многом аналогично имплантации коронарного стента — метод, который, как она надеется, позволит имплантациям головного мозга стать рутинной процедурой. Мозговой сигнал, полученный таким методом, менее детальный, но достаточно сильный, чтобы технология стала применима для массового производства. Synchron стремится направлять сигналы мозга для управления смартфоном или планшетом, предоставляя пациентам с частичным параличом больше способов общения и контроля над окружающей средой.

Учёные проводили испытания на людях с использованием других методов и добились значительных успехов в интерпретации сигналов мозга. Так, исследовательская команда из Стэнфордского университета в 2021 году сообщала о преобразовании сигналов мозга парализованного человека в текст на компьютере.

По мнению Алекса Моргана (Alex Morgan), инвестирующего в нейротехнологии, различные подходы и методы могут привести к созданию целого ряда продуктов. «Это не технология, по которой победитель получает все», — считает он. Самая большая проблема по-прежнему состоит в интерпретации сигналов мозга, поэтому трудно сказать, когда технология сможет делать больше, чем просто перемещать компьютерный курсор или активировать простые движения протезов конечностей.

Сейчас стартапы, работающие над интерфейсами для мозга и компьютера, объединились с целью разработать импланты для пациентов с наиболее тяжёлыми формами паралича. Пока это очень далеко от технологии, улучшающей разум, о которой мечтает Маск. По мнению Рапопорта, это дело далёкого будущего, хотя он «не думает, что это невообразимо».

Сотрудники стартапа Synchron, специализирующегося на создании интерфейсов мозг-компьютер (BCI), продолжают работу в лаборатории в Бруклине над технологией, которая позволит изменить жизнь парализованных пациентов. На данный момент импланты успешно вживили уже семи людям. Также оценки показывают, что устройство безопасно для пациентов.

Источник изображений: Synchron

С помощью импланта Synchron Switch, который подводится к коре головного мозга человека неинвазивным эндоваскулярным методом (через кровеносную систему) парализованный пациент сможет усилием мысли управлять курсором компьютера. Это поможет пациентам с параличом или дегенеративными заболеваниями, такими как боковой амиотрофический склероз (БАС) восстановить способность общаться с друзьями, семьёй и внешним миром, набирая текстовые сообщения, а также совершать покупки в интернете и многое другое.

Synchron стала первой компанией в области разработки BCI, получившей разрешение Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA) на тестирование технологии на людях. На данный момент проведено 7 успешных операций — 4 в Австралии и 3 в США. В рамках исследования, призванного доказать безопасность применения импланта Switch, компания должна провести как минимум 6 операций в США. По словам коммерческого директора Synchron Курта Хаггстрема (Kurt Haggstrom), компания в настоящее время находится примерно на полпути к выполнению этой задачи.

Гендиректор Synchron Том Оксли (Tom Oxley) в интервью CNBC заявил, что для парализованного человека «невероятно радостно и вдохновляюще вновь обрести способность быть немного более независимым, чем раньше». «Это помогает им (парализованным пациентам) выполнять то, что мы считаем само собой разумеющимися», — добавил он. Оксли назвал наиболее важным для пациентов появление благодаря импланту Switch возможности обмена текстовыми сообщениями. «Потеря возможности отправлять текстовые сообщения невероятно изолирует, — говорит Оксли. — Восстановление возможности отправлять их близким — это очень эмоциональное восстановление силы».

Хаггстрем отметил, что финансирование его компании поможет ускорить разработку продукта Synchron и начать ключевые клинические испытания, которые приблизят коммерциализацию технологии.

В январе медицинский журнал JAMA Neurology опубликовал направляемые на экспертную оценку долгосрочные результаты испытаний системы BCI Synchron в Австралии, показавшие, что технология остаётся безопасной и не ухудшает качество сигнала или производительность в течение 12 месяцев с момента проведения имплантации.

В декабре прошлого года Synchron провёл раунд финансирования, позволивший привлечь для дальнейшей работы $75 млн инвестиций. В списке инвесторов стартапа фирмы сооснователя Microsoft Билла Гейтса (Bill Gates) и основателя Amazon Джефф Безос (Jeff Bezos).