Эти опасения кажутся вам преждевременными? Напрасно. В мае 2023 года в журнале Nature Neuroscience были опубликованы результаты исследования группы ученых Техасского университета (Остин, США), в которых искусственный интеллект справился с тем, чтобы сформулировать в текстовой форме визуальные образы испытуемых-волонтеров и воспринимаемую ими на слух речь. Сделал он это если не на твердую четверку, то уж точно на четыре с минусом.
Но об этом чуть позже. А сейчас давайте вернемся на несколько лет назад.
Расшифровать мозговые коды
Когда мы двигаемся, что-то ощущаем при помощи органов чувств, говорим, выполняем те или иные действия, наш мозг генерирует определенные паттерны электрической активности.
Что такое паттерн
Паттерн – это целостная картина биоэлектрической активности по всем исследуемым областям мозга.
На изучение этих паттернов ученые потратили десятилетия – и не напрасно.
Результаты их исследований дали прекрасные плоды – это протезы рук и ног, которые натренированы соответствующим образом реагировать на команды, поступающие на электронное устройство из мозга человека. Паттерн активности мозга, соответствующий, например, такому действию, как рукопожатие, преобразуется электронным устройством в код команды, которую выполняет искусственная рука.
Собственно, уже это в каком-то смысле можно назвать чтением мыслей человека. Не любых мыслей, разумеется, а лишь тех, что связаны с движением определенной конечности.
Ученые Стэнфордского университета продвинулись дальше. В 2021 году они опубликовали статью в журнале Nature, описавшую создание мозгового имплантата, обученного считывать буквы, которые парализованный испытуемый мысленно писал, и передавать их на экран компьютера.
Это, однако, стало вторым этапом исследования.
Чипы в мозге: неплохо, но травматично
На первом этапе один из авторов исследования, доктор наук, профессор Стэнфордского университета Кришна В. Шеной, который долго изучал нейронные паттерны, связанные с речью, создал программу, которая позволяла парализованному человеку при помощи воображаемой руки передвигать курсор по клавиатуре на экране компьютера, выбирать буквы и печатать их.
Участником исследования стал 65-летний мужчина, который был почти полностью парализован после тяжелой травмы позвоночника в 2007 году.
К сожалению, этот метод позволил пациенту печатать лишь 40 знаков в минуту, то есть намного меньше, чем средняя скорость печатания – 190.
В 2016 году стэнфордский нейрохирург и соавтор исследования Джейми Хендерсон имплантировал два маленьких чипа в мозг мужчины. Каждый чип состоял из 100 электродов – датчиков нейронной активности. Они были помещены в области коры, контролирующей моторику руки и кисти, давая возможность исследователям вычленить паттерны мозговой активности, связанные с письменным языком.
В итоге был создан интерфейс, позволяющий декодировать паттерны, соответствующие движениям руки, пишущей определенную букву, превращая их в буквы на экране компьютера.
Такая техника позволяет парализованному пациенту мысленно «печатать» 90 знаков в минуту, что приближается к средней скорости печатания пожилых людей (115 знаков в минуту), когда они, например, набирают смс на экране телефона.
Совсем не плохо, однако такая технология, как говорят в медицине, носит инвазивный характер, то есть предполагает серьезное вмешательство, сопряженное с довольно тяжелой хирургической операцией – трепанацией черепа. Было бы весьма полезно найти такое решение, которое обходилось бы без хирургии и физических манипуляций с мозгом. К тому же это бы удешевило технологию, что тоже немаловажно, если иметь в виду будущую помощь большому количеству больных.
Решение уже близко
Огромный шаг вперед удалось сделать ученым из Техасского университета, о чем они сообщили в статье, опубликованной в Nature Neuroscience в мае 2023 года.
Впервые была создана модель искусственного интеллекта, которая оказалась способна продуцировать целые предложения на основе анализов паттернов мозговой активности участников исследования. При этом связь искусственного интеллекта с мозгом была неинвазивной и абсолютно безболезненной для испытуемых.
Исследователи использовали функциональную магнитно-резонансную томографию (фМРТ) для фиксации активности мозга. Различия с предыдущим методом заключалось в том, что фМРТ фиксировала не электрические сигналы, а паттерны кровотока в мозге, который усиливался в активированных областях коры.
Ученые использовали знаменитую языковую модель GPT1, созданную компанией OpenAI, в которую они загрузили базы предложений на английском языке из социальной сети Reddit, 240 историй из радиопередачи The Moth Radio Hour и подкаста The New York Times’s Modern Love.
Вдруг кто-то слышит про GPT впервые?
Искусственная нейросеть GPT (Generative Pre-trained Transformer) – это алгоритм обработки естественного языка, который способен запоминать и анализировать информацию, а также создавать на основе этих данных связный и логичный текст. GPT на сегодняшний день самая объемная и сложная языковая модель из всех существующих.
Ученые выбрали эти источники не случайно: они хотели, чтобы участники слушали что-то интересное и развлекательное, потому что в ответ на это мозговые сигналы, по их мысли, будут сильнее.
Во время эксперимента каждый из трех участников, находясь в томографе, прослушал 16 часов различных эпизодов одних и тех же подкастов и несколько лекций TED. Используя эти данные, ИИ научился различать паттерны мозговой активности, которые у испытуемых вызывают определенные слова при слушании речи. Поскольку модель ИИ обладала информацией о структуре предложений и данными о наиболее частых сочетаниях слов и их последовательностях, она могла угадывать предложения достаточно близко к тексту.
Например, один из участников слышит «я еще не получил водительское удостоверение», а ИИ расшифровывает сигналы мозга, как «она еще не начала учиться водить машину». Не точно, но близко и определенно на ту же самую тему.
Или: исходный текст: «Я встал с надувного матраса и прижался лицом к стеклу окна спальни, ожидая увидеть глаза, пристально смотрящие на меня, но вместо этого обнаружил только темноту». Расшифровка ИИ: «Я просто продолжал подходить к окну и открывать стекло, я встал на цыпочки и выглянул наружу, я ничего не увидел и снова посмотрел вверх, я ничего не увидел». И то и другое, в принципе, можно свести к «я посмотрел в окно, но ничего не увидел».
Исследователи также показали участникам короткие мультфильмы без диалога, и ИИ должен был перевести в речь то, что испытуемый видел, а не слышал. Оказалось, что эта задача ему тоже по плечу. Точность этого перевода была приблизительно такой же, как в предыдущем эксперименте.
Важное уточнение: у каждого из участников была собственная, адаптированная именно к его мозгу модель GPT1. Для самообучения ИИ требовалось прослушать большое количество текстов вместе с испытуемым, чтобы зафиксировать паттерны, соответствующие конкретным словам именно у этого человека.
Еще одна важная подробность. Как уже говорилось выше, МРТ напрямую не измеряет электрическую активность нейронов, а лишь отслеживает медленные изменения в кровотоке, который снабжает эти нейроны кислородом. В результате перевод паттернов в слова идет с серьезной задержкой.
Как говорит ведущий автор работы Джерри Хант, данные тех исследований, которые уже десятки лет активно применяются для диагностики, дают гораздо больше информации, чем мы думали до появления возможностей, предоставленных нам искусственным интеллектом.
Ученый не претендует на то, что он и его коллеги уже создали модель «чтения мыслей». «То что мы сделали – это доказательство концепции, согласно которой речь может быть расшифрована на основе неинвазивных записей мозговой активности». И непосредственно в тексте статьи авторы заявляют о необходимости соблюдать этические принципы и проводить подобные эксперименты в соответствии со строгими правилами информированного согласия участника и гарантиями безопасности его приватности.
Реакция коллег
Реакция научного сообщества оказалась двоякой.
Ряд ученых комментирует результаты эксперимента с определенным скепсисом. Так, французский нейробиолог Ромен Бретт, считает, что на данном этапе эта технология не является чем-то прорывным.
«Принцип работы алгоритма заключается в том, что модель искусственного интеллекта составляет предложения на основе расплывчатой информации о семантическом поле предложений, полученных в результате сканирования мозга. …я скептически отношусь к тому, что мы действительно приближаемся к уровню, когда сможем читать мысли».
Интересно, что биоэтики, опасающиеся вторжения в свой мозг всяческих технических девайсов, оценивают результаты довольно высоко, но не особенно радуются им.
Нита Фарахани, с которой мы начали свой рассказ, уже предлагает в качестве реалистичного сценария такой.
Уже известно, что фМРТ можно заменить портативным спектрографом, и ученые смогут обучить его читать мысли, а какие-нибудь «плохие парни» станут вставлять их, например, в наушники. Включаешь музыку и мечтаешь – а кто-то подслушивает твои заветные мечты… Очень полезно для многих, начиная от производителей товаров и кончая спецслужбами.
Пока что такой план кажется не вполне осуществимым, но, скорее всего, профессор Фарахани права в том, что ясно артикулируют и сами авторы работы: будущее таких технологий невозможно без создания строгих правил для их использования.
А пока что ученые планируют отработать свой метод для помощи тем, кто в результате травмы или болезни лишен способности говорить.
Источники:
Brain scans can translate a person’s thoughts into words
New Brain Implant Turns Visualized Letters into Text
Artificial intelligence study decodes brain activity into diaglogue
Коллажи Дмитрия Петрова
