Нейроинтерфейс что это такое

Нейрокомпьютерный интерфейс — Википедия

Пример управления с помощью однонаправленного нейро-компьютерного интерфейса

Нейрокомпьютерный интерфейс (НКИ) (называемый также прямой нейронный интерфейс, мозговой интерфейс, интерфейс «мозг — компьютер»^[1]) — система, созданная^[2] для обмена информацией между мозгом и электронным устройством (например, компьютером). В однонаправленных интерфейсах внешние устройства могут либо принимать сигналы от мозга, либо посылать ему сигналы (например, имитируя сетчатку глаза при восстановлении зрения электронным имплантатом). Двунаправленные интерфейсы позволяют мозгу и внешним устройствам обмениваться информацией в обоих направлениях. В основе нейрокомпьютерного интерфейса, часто используется метод биологической обратной связи.

Возможность симбиоза человека и компьютера рассматривалась ещё в 1960 году исследователем агентства DARPA, считавшим, что первое время расширенный интеллект будет превосходить полностью искусственный^[3].

Изучение оснований, на которых базируется нейро-компьютерный интерфейс, уходит корнями в учение И. П. Павлова об условных рефлексах и регулирующей роли коры. Развивая эти идеи, П. К. Анохин с 1935 года показал, что принципу обратной связи принадлежит решающая роль в регулировании как высших приспособительных реакций человека, так и его внутренней среды. Существуют работы Н. П. Бехтеревой с 1968 по 2008 гг. по расшифровке мозговых кодов психической деятельности, продолжающиеся до настоящего времени её последователями, в том числе, с позиций нейрокибернетики и офтальмонейрокибернетики.

Исследования нейро-компьютерного интерфейса начались в 1970-х годах в Калифорнийском университете в Лос-Анджелесе (UCLA). После многолетних экспериментов на животных в середине девяностых годов в организм человека были имплантированы первые устройства, способные передавать биологическую информацию от тела человека к компьютеру. С помощью этих устройств удалось восстановить поврежденные функции слуха, зрения, а также утраченные двигательные навыки. В основе успешной работы НКИ лежит способность коры больших полушарий к адаптации (свойство пластичности), благодаря которому имплантированное устройство может служить источником биологической информации.

В нейрохирургическом центре в Кливленде в 2004 году был создан первый искусственный кремниевый чип — аналог гиппокампа, который в свою очередь был разработан в университете Южной Калифорнии в 2003 году. Кремний обладает возможностью соединять неживую материю с живыми нейронами, а окруженные нейронами транзисторы получают сигналы от нервных клеток, одновременно конденсаторы отсылают к ним сигналы. Каждый транзистор на чипе улавливает малейшее, едва заметное изменение электрического заряда, которое происходит при «выстреле» нейрона в процессе передачи ионов натрия.

Новая микросхема способна получать импульсы от 16 тысяч мозговых нейронов биологического происхождения и посылать обратно сигналы к нескольким сотням клеток. Так как при производстве чипа нейроны были выделены из окружающих их глиальных клеток, то пришлось добавить белки, которые «склеивают» нейроны в мозге, также образуя дополнительные натриевые каналы. Увеличение числа натриевых каналов повышает шансы на то, что транспорт ионов преобразуется в электрические сигналы в чипе.

Нейропротезирование — область неврологии, занимающаяся созданием и имплантацией искусственных устройств для восстановления нарушенных функций нервной системы или сенсорных органов (нейропротезов или нейроимплантов). Наиболее часто используется кохлеарный нейроимплантат, которым пользуется около 100 000 человек по всему миру (по данным на 2006 год). Существуют также нейропротезы для восстановления зрения, например, имплантаты сетчатки.

Основное отличие НКИ от нейропротезирования заключается в особенностях их применения: нейропротезы чаще всего «подключают» нервную систему к имплантированному устройству, в то время как НКИ обычно соединяет мозг (или нервную систему) с компьютерной системой. На практике нейропротез может быть подсоединен к любой части нервной системы, например, к периферическим нервам, в то время как НКИ представляет собой более узкий класс систем, взаимодействующих с центральной нервной системой. Термины нейропротезирование и НКИ могут быть взаимозаменяемыми, поскольку оба подхода преследуют одну цель — восстановление зрения, слуха, двигательных способностей, способности общаться и других когнитивных функций. Кроме того, в обоих подходах используются аналогичные экспериментальные методы, включая хирургическое вмешательство.

Нескольким лабораториям удалось записать сигналы от коры головного мозга обезьяны и крысы для управления НКИ при движении. Обезьяны управляли курсором на экране компьютера и давали команды на выполнения простейших действий роботам, имитирующим руку, мысленно и без каких-либо движений. Другие исследования с участием кошек были посвящены расшифровке визуальных сигналов.

Исследования, в результате которых были разработаны алгоритмы для реконструкции движений из сигналов нейронов моторной зоны коры головного мозга, которые контролируют двигательные функции, датируются 1970-ми годами. Исследовательские группы, возглавлявшиеся Шмидтом, Фетзом и Бейкером в 1970-х установили, что обезьяны могут быстро обучаться избирательно контролировать скорость реакции отдельных нейронов в первичной двигательной коре головного мозга используя замкнутое позиционирование операций, обучающий метод наказания и наград.

В 1980-х Апостолос Георгопоулос из Университета Хопкинса обнаружил математическую зависимость между электрическими ответами отдельных нейронов коры головного мозга у макак резус и направлением, в котором макаки двигали свои конечности (на основе функции косинуса). Он также обнаружил, что разные группы нейронов в различных областях головного мозга совместно контролировали двигательные команды, но были способны регистрировать электрические сигналы от возбужденных нейронов только в одной области одновременно из-за технических ограничений, налагаемых его оборудованием.

С середины 1990-х годов началось быстрое развитие НКИ. Нескольким группам ученых удалось зафиксировать сигналы двигательного центра мозга используя записи сигналов от групп нейронов, а также использовать эти сигналы для управления внешними устройствами. Среди них можно назвать группы, возглавлявшиеся Ричардом Андерсеном, Джоном Донахью, Филиппом Кеннеди, Мигелем Николелисом, Эндрю Шварцом.

Экзоко́ртекс (др.-греч. ἔξω [exō] — вне, снаружи; лат. cortex — кора) — внешняя система обработки информации, которая поможет усилить интеллект^[4] или выступить нейропротезом для коры головного мозга^[5]. Если термин «экзокортекс» понимать расширенно, то можно сказать, что его функции уже выполняются Интернетом, смартфонами^[6], различными гаджетами и что его история началась с изобретения письменности^[7].

Возможность симбиоза человека и компьютера рассматривалась ещё в 1960 году исследователем агентства DARPA, считавшим, что первое время расширенный интеллект будет превосходить полностью искусственный^[8].

К появлению экзокортекса может привести развитие биоинженерии: интерфейса мозг-компьютер, устройств для восстановления функций нервов и рецепторов; нейробиологии: нейроморфных процессоров; вычислительной нейробиологии: программное обеспечение, эмулирующее психические процессы.

Людей с вживлёнными подобными устройствами можно будет называть киборгами^[9] или постлюдьми. На рынок готовятся выйти модуляторы настроения, основанные на принципах электростимуляции^[10], однако в отсутствие обратной связи их можно рассматривать лишь как устройства для ТЭС-терапии.

В качестве экзокортекса может быть использован мозг другого человека^[11]. Финские исследователи считают, что экзокортекс может дать возможность не только для загрузки сознания человека в компьютер, но и для объединения сознания нескольких человеческих организмов^[12].

Достижения исследовательской работы[править | править код]

Первый в истории НКИ был создан Филлипом Кеннеди и его коллегами с использованием электродов, имплантированных в кору головного мозга обезьян. В 1999 году исследователи под руководством Яна Дэна из Университета Калифорнии расшифровали сигналы нейронов зрительной системы кошки и использовали эти данные для воспроизведения изображений, воспринимаемых подопытными животными. В этих экспериментах были использованы электроды, вживленные в таламус (структура среднего мозга, передающая в кору сенсорные сигналы от всех органов чувств). С их помощью было исследовано 177 клеток в латеральном коленчатом теле в таламусе и расшифрованы сигналы, приходящие от сетчатки. Кошкам демонстрировали восемь коротких фильмов, в течение которых проводили запись активности нейронов. Используя математические фильтры, исследователи расшифровали сигналы для воспроизведения образов, которые видели кошки и были способны воспроизвести узнаваемые сцены и двигающиеся объекты. Схожие результаты на человеке были получены исследователями из Японии.

Для повышения эффективности управления НКИ Мигель Николесис предложил регистрировать электрическую активность одновременно с помощью нескольких электродов, вживленных в удаленные области головного мозга. За первыми исследованиями на крысах, которые в девяностых годах проводили Николелис и его коллеги, последовали аналогичные эксперименты на обезьянах. В результате был создан НКИ, с помощью которого сигналы нервных клеток обезьян были расшифрованы и использованы для управления движениями робота. Именно обезьяны оказались идеальными испытуемыми для такого рода работ, поскольку у них хорошо развиты двигательные и манипуляционные навыки, и, соответственно, высоко развиты структуры головного мозга, отвечающие за реализацию моторных функций. К 2000 году группа Николелиса создала НКИ, который воспроизводил движения передних конечностей обезьян во время манипуляций джойстиком или во время захвата пищи. Данная система работала в режиме реального времени и была использована для дистанционного управления движениями робота посредством интернет-связи. При этом обезьяна не имела возможности увидеть движения собственных конечностей и не получила какой-либо другой информации для обратной связи.

Позднее группа Николесиса использовала результаты экспериментов с макаками-резус для создания алгоритма движения робота, имитирующего движения руки человека. Для управления движениями робота использовали информацию, полученную при записи нейронной активности обезьян после декодирования. Обезьяны были обучены указывать на объекты на экране компьютера, манипулируя джойстиком. Движения конечности обезьян-операторов были воспроизведены движениями робота.

В России с 2009 года действует проект NeuroG, целью которого является создание универсальных алгоритмов для распознавания зрительных образов человеком. 25 апреля 2011 года в Политехническом музее Москвы проектом NeuroG была проведена первая в мире демонстрация эксперимента по распознаванию воображаемых образов.^[13]

9 июля 2015 года российская «Объединённая приборостроительная корпорация» приступила к испытаниям неинвазивного нейроинтерфейса «мозг-компьютер», позволяющего силой мысли управлять биологическими роботизированными экзопротезами. На данный момент нейроинтерфейс проходит испытания. После их завершения будет принято решение о серийном выпуске роботизированных экзопротезов. По заявлению пресс-службы, ориентировочно серийный выпуск протезов должен был быть начат в 2016 году.^[14]

1. ↑ Академические исследователи используют термин "интерфейс «мозг — компьютер» (англ. brain-computer interface), так как термин «нейрокомпьютерный» закреплен за большим классом технологий, основанных на специфической архитектуре вычислительных систем, J. Wolpaw, J. Donoghue, Birbaumer, Nicolelis, А. Каплан (МГУ), А. Фролов, Г. Иваницкий (ИВНД и НФ РАН))
2. ↑ Исследователи продемонстрировали курсор, контролируемый силой мысли — нейробиология — Новости науки
3. ↑ Man-Computer Symbiosis J. C. R. Licklider IRE Transactions on Human Factors in Electronics, volume HFE-1, pages 4-11, March 1960
4. ↑ Философские науки, Выпуски 1-4; Высшая школа., 2008; стр. 103
5. ↑ Экзокортекс — Гипотетическое устройство, подключаемое тем или иным образом к человеку и выполняющее функции, сходные с функциями коры головного мозга: то есть имитирующее высшую нервную деятельность. Предположительно, может использоваться для протезирования или как средство «усиления разума»
6. ↑ Simola – The Roving Mind: A Modern Approach to Cognitive Enhancement&dq=exocortex  The Roving Mind: A Modern Approach to Cognitive Enhancement, ST Press, 2015; ISBN 069240905X, ISBN 9780692409053
7. ↑ Intelligence Unbound: The Future of Uploaded and Machine Minds Редакторы Russell Blackford, Damien Broderick;John Wiley & Sons, 2014; ISBN 1118736451, ISBN 9781118736456 Introduction
8. ↑ Man-Computer Symbiosis J. C. R. Licklider IRE Transactions on Human Factors in Electronics, volume HFE-1, pages 4-11, March 1960
9. ↑ The human race, Version 2.0 (неопр.) (20 March 2006). Архивировано 27 июля 2007 года.
10. ↑ MEDTECH BOSTON — Testing Thync: A Calming, Energizing Personal Brain Modulator
11. ↑ RESEARCHER CONTROLS COLLEAGUE’S MOTIONS THROUGH FIRST NONINVASIVE HUMAN-TO-HUMAN BRAIN INTERFACE (VIDEO) with information from University of Washington researchers: «one researcher able to send a brain signal via the Internet to control the hand motions of a fellow researcher».
12. ↑ KAJ SOTALA, HARRI VALPOLA — COALESCING MINDS: BRAIN UPLOADING-RELATED GROUP MIND SCENARIOS, 2012; International Journal of Machine Consciousness
13. ↑ Еникеева, Альфия«Российские учёные научат компьютер читать мысли», «Наука и технологии России», Проверено 2011-7-24.
14. ↑ ОПК «Ростеха» приступила к испытаниям нейроинтерфейса роботизированных протезов

• Анохин П. К. Проблема центра и периферии в современной физиологии нервной системы // Проблема центра и периферии в высшей нервной деятельности. Горький, 1935, с. 9-70.
• Анохин П. К., Шумилина А. И., Анохина А. П. и др. Функциональная система как основа интеграции нервных процессов в эмбриогенезе. Труды V съезда физиологов СССР. 1937, 148—156.
• Бехтерева Н. П. Нейрофизиологические аспекты психической деятельности человека. М.: Медицина, 1971, — 120 с., Oxford Univ . Press (USA), 1978.
• Бехтерева Н. П. Мозговые коды психической деятельности / Бехтерева Н. П., Будзен П. В., Гоголицын Ю. Л. — Л.: Наука, 1977. — 165 с.
• Бехтерева Н. П., Нагорнова Ж. В. Динамика когерентности ЭЭГ при выполнении заданий на невербальную (образную) креативность // Физиология человека, 2007, т. 33, № 5, с. 5-11.
• Иваницкий А. М. Сознание и мозг // В мире науки, 2005, № 11, с. 3-11.
• Иваницкий А. М., Наумов Р. А., Роик А. О. Как определить, чем занят мозг, по его электрическим потенциалам? Устойчивые паттерны ЭЭГ при выполнении когнитивных заданий // Вопросы искусственного интеллекта, 2008, № 1 с. 93-102.
• Иваницкий Г. А. Николаев А. Р., Иваницкий А. М. Использование искусственных нейросетей для распознавания типа мыслительных операций по ЭЭГ // Авиакосмическая и экологическая медицина, 1997, т. 31, с. 23-28.
• Петрунин Ю. Ю., Рязанов М. А., Савельев А. В. Философия искусственного интеллекта в концепциях нейронаук. (Научная монография), М.: МАКС Пресс, 2010, ISBN 978-5-317-03251-7.
• Савельев А. В. Онтологическое расширение теории функциональных систем // Журнал проблем эволюции открытых систем, Казахстан, Алматы, 2005, № 1(7), c. 86-94.
• Савельева-Новосёлова Н. А., Савельев А. В. Принципы офтальмонейрокибернетики // В сборнике «Искусственный интеллект. Интеллектуальные системы», Донецк-Таганрог-Минск, 2009, с. 117—120.
• Шемякина Н. В., Данько С. Г., Нагорнова Ж. В., Старченко М. Г., Бехтерева Н. П. Динамика спектров мощности и когерентности динамических компонентов ЭЭГ при решении вербальной творческой задачи преодоления стереотипа // Физиология человека, 2007, т. 33, № 5, с. 14-21.
• Bechtereva N. P., Gretchin V. B. Physiological foundations of mental activity. Intern.Rev.Neurobiol. Academic Press, N.Y. — London , 1968, vol.11, p.239-246.
• Miyawaki Y., Decoding the Mind’s Eye — Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders, Neuron (Elsevier, Cell Press) 60 (5) (10 December 2008): 915—929,
• Santhanam G., Ryu S.I., Yu B.M., Afshar A. and Shenoy K.V., A high-performance brain-computer interface, Nature Letters, Vol 442 (13 July 2006), 195—198.
• Savelyev A. V. Neurotechnogenesis – is socio-technological strategy and future philosophy of technology // The XXII World Congress of Philosophy, Seoul, Korea. — 2008. — № 48 section. — С. 1057. (недоступная ссылка)
• Vidal J., Toward Direct Brain-Computer Communication, in Annual Review of Biophysics and Bioengineering, L.J. Mullins, Ed., Annual Reviews, Inc., Palo Alto, Vol. 2, 1973, pp. 157—180.
• Vidal J., Real-Time Detection of Brain Events in EEG, in IEEE Proceedings, May 1977, 65-5:633-641.
• Wolpaw J.R., McFarland D.J., Neat G.W., Forneris C.A., An EEG-based brain-computer interface for cursor control. Electroencephalography & Clinical Neurophysiology. Vol 78(3), Mar 1991, 252—259.
• Wolpaw J.R., Birbaumer N., Heetderks W.J., McFarland D.J., Peckham P.H., Schalk G., Donchin E., Quatrano L.A., Robinson C.J., and Vaughan T.M., Brain-Computer Interface Technology: A Review of the First International Meeting, IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO. 2, JUNE 2000, 164—173.

Рекомендуемая литература[править | править код]

• Карпов М. Интерфейсы «мозг-компьютер». Лекция психолога Василия Ключарёва о том, как нейротехнологии стирают границы между человеком и внешней средой (неопр.). Lenta.ru (4 апреля 2015). Дата обращения 14 сентября 2015.

Нейроинтерфейсы сегодня / Habr

Со времён изобретения манипулятора "мышь" прошло полвека, и это по-прежнему один из основных способов взаимодействия человека с компьютером. Я поехал на конференцию в Институт когнитивных нейронаук ВШЭ, чтобы узнать о последних достижениях в области BCI, которая находится за горизонтом, и поэтому так интересна.

Отчет о конференции я переработал в статью для связанного повествования. Какие-то моменты упрощаю и опускаю, а какие-то дополняю из своих наблюдений и отчетов с других мероприятий. Прочитав ее, я надеюсь, у вас появятся общие понимания подходов к BCI и текущего состояния в этой области. За оригинальными трактовками лучше обращаться к оригинальным статьям, к счастью, почти все в открытом доступе.

История

История BCI началась в 1973 году с публикации Toward direct brain-computer communication [1], где Jacques Vidal изложил идеи в коммуникации между человеком и машиной и описал лабораторию по анализу EEG сигнала для таких целей. Спустя десятилетие Wolpaw сфокусировал применение BCI на помощи парализованным людям и описал принципиальную схему BCI [2]:

Основные реализации BCI давали возможность вводить текст людям c синдромом изоляции. Это были сложные в использовании системы, потому что пользователь должен проходить долгую тренировку [3], в противовес, появились "спеллеры" на основе распознавания P300 — компонента, который возникает в момент, когда человек совершает выбор, которые снизили требования к пользователю [4].
 
В 90-е тема все более становится известной, особенно с появлением техник машинного обучения [5]. С увеличением надежности BCI люди интересуются расширением применения в новые области.

Thorsten Zander предложил следующую классификацию BCI [6]:

• Активные BCI – пользователь инициирует команду безусловно
• Реактивные BCI – пользователь инициирует команду в ответ на воздействие системы
• Пассивные BCI – пользователь не дает команду, но система считывает и анализирует его состояние

Отдельно стоит рассмотреть вопрос стимуляции мозга, эта тема, хоть и не относится напрямую к BCI, но представляет собой связанную технологию, которая расширяет возможности BCI для контроля.
 
Также BCI можно классифицировать по способу получения сигнала:

• Инвазивные (вживленные электроды, ECoG и другие)
• Неинвазивные (EEG, NIRS и другие)

EEG самый распространённый способ получения сигнала, поэтому, если не указано обратное, я имею его в виду по умолчанию.
 

Активные  BCI 

Basketparadigm

Это условное обозначение возможности контроля путем активации воображаемых движений. Дело в том, что моторная кора компактно расположена в центре головы, поэтому воображаемые движения разных частей тела хорошо классифицируются и используются для построения BCI. Пользователю, для работы с такими BCI, необходимо мысленно представлять как он совершает движения разными частями тела.

Для облегчения проведения экспериментов ученые разрабатывают собственные фреймворки, например, BCILAB. С его помощью провели эксперимент, чтобы продемонстрировать скептику возможность управления c помощью воображаемых движений. Результат составил 80% – так себе результат в условиях, когда у человека есть привычные альтернативы, но заслуживает высокой оценки, особенно, для неподготовленного респондента [7].
 
Этот же подход применили для управления горизонтом для авиасимулятора. Результаты неоднозначные, для 3-х респондентов удалось добиться результата в 94%, еще для 4-х 64% и меньше 60% еще для троих. Успех заключается в том, что первая троица управляла самолетам так же, как это делается штурвалом. Остальные пилоты недостаточно сосредоточились на внутреннем состоянии и совершали мускульные движения, что вносило негативный вклад в управление.
 

Системы реабилитации

BCI, которые распознают моторные команды, хорошо изучены и уже используются для реабилитации пациентов переживших инсульт: для восстановления разорванных связей необходимых для управления парализованными конечностями. Павел Бобров продемонстрировал результаты клинических испытаний реабилитационного комплекса для восстановления моторных функций рук, которые доказали эффективность использования. Причем, есть значимая разница для пациентов, кто начал реабилитацию спустя месяц и спустя 6 месяцев после инсульта, чем раньше начинается реабилитация, тем лучше эффект. [11]
 
Глава g.tec Gunter Edlinger рассказал о работе специальных тренажерных залов для реабилитации, интересный момент, что в процесс реабилитации добавлена электростимуляция конечностей, и если выше использовалась электро-механическая установка, то здесь стимуляция током, что снижает стоимость комплекса.

 
Если добавить в процесс элементы игры и соревнования, вовлечение будет выше, а значит пациент лучше пройдет через реабилитацию. В центре биоэлектрических интерфейсов ВШЭ под руководством Алексея Осадчего разработали прототипы для улучшения процесса реабилитации. На видео демонстрируется прототип системы для двух человек, где они управляют сосудом, выполняя воображаемые моторные команды, пытаясь склонить сосуд в свою сторону:

 
Однопользовательская игра:

 
Или, например, алгоритм распознавания почерка по мышечной активности с помощью компактного массива электродов позволяет реконструировать написанное: [12]

 
Вершина в их работе – это работа над BCI в проекте ExoAtlet, который позволяет людям с ограниченными возможностями передвигаться самостоятельно или использовать его для реабилитации.

 
Инвазивные BCI – это более сложная тема, и сейчас эксперименты проводятся на животных или на людях, которым электроды установлены по медицинским показаниям. Была освещена серия исследований, которая показала, что возможно определять не только единичные компоненты (имеются ввиду все те же вымышленные движения), но и разделять движение, внимание, направление взгляда между собой. Доступна запись аналогичного доклада с конференции в Самаре.
 

Реактивные BCI

Классический пример реактивного BCI это "спеллер" на эффекте P300, это "волна", которая появляется в ответ на выбор показанного стимула, ну а в "спеллере", таким стимулом служит определенным образом кодированные символы алфавита или команды. Пользователь должен мысленно взаимодействовать со стимулами, которые показывает система – считать количество вспышек выбранного символа.

Нельзя не упомянуть о проекте Нейрочат, который позволяет общаться людям с ограниченными возможностями:

Пассивные BCI

Базовая идея пассивных BCI – это оценка состояния человека, например, оценка когнитивной нагрузки (workload), она может быть применена в системах обучения, было проведено исследование, чтобы решить эту задачу.

Классификатор тренировали на следующих задачах:

• Для высокой нагрузки — респондент вычитал из 3-4 значных чисел 1-2 значные исключая простые варианты с десятками.
• Для легкой нагрузки — просили сосредоточится респондента на приятном воспоминании.

Точность алгоритма составила 70%. Классификатор протестировали на других задачах (умножение, игра в скрембл), и получили аналогичную точность, тем самым подтвердили факт, что можно сделать независимым классификатор от человека и задач.  [13]
Эту идею можно применить для контроля хирурга во время операции [14]. Решалась задача определения нагрузки на хирурга во время выполнения разных по сложности манипуляций на тренажере. Система научилась определять каким способом хирург выполняет операцию с высокой точностью.
 
Еще один вариант – это измерение степени расслабления. На основе состояния посетителя интерактивной инсталляции  в "Музее молчания" создавалась живая картина, которая отражала его внутреннее состояние. [15]

  
Пассивные BCI можно использовать и для задач управления, довольно оригинальный подход предоставить человеку не непосредственный контроль за курсором, а лишь право судить о том, движется ли курсор по правильному пути к цели. Эксперимент был проведен на небольших матрицах размером 4х4 и 6х6 точек. Сначала систему тренировали на произвольном движении точки, и задача человека была определять в правильную ли сторону движется точка, далее тестировали в живом режиме и получили, что результат близок к оптимальному пути. [16] Можно посмотреть демонстрацию.

Midas touch problem и E-BCI интерфейсы

Управление курсором с помощью направления взгляда – простая задача, которая решается с помощью eye-tracker'инга (он же видеоокулография). Но в этих интерфейсах есть проблемы, например, непроизвольные движения глаз и проблема выбора, к слову, весьма символично ее называют проблемой прикосновения Мидаса – фригийского царя, любое прикосновение которого, обращало предмет в золото. Применений пассивных BCI позволяет решать эти проблемы.

Подход, где активный BCI использовался для совершения выбора при управлении с помощью eye-tracker'а, известен давно, но не отличается быстродействием. Исследование, где респонденты оценивали разные способы выбора по шкале NASA TLX, показало, что вариант с BCI не быстрее по времени, чем вариант с долгой фиксацией для выбора объекта, но при этом BCI вызывает меньшую степень фрустрации [10].
 
Дальнейшая работа команды Торстена Цандера показала, что можно отличать сознательную фиксацию на объекте от бессознательной с точностью 90%[17]. Для эксперимента использовалась парадигма "Oddball" – респондент просматривал серию из фигур, содержащих фигуру, которую он хочет выбрать в сочетании с отвлекающими фигурами.

Сергей Шишкин рассказал о улучшении вышеописанного подхода [8]. Существенный плюс их решения – это снижение скорости выбора до 300мс-500мс, что требует очень быстрой классификации, для этого использовали EEGNet [9].

Механизмы внимания – это отдельная тема, которая может расширить области применения BCI и создавать системы для реабилитации пациентов с СДВГ, о базовой идее рассказывает Mehdi Ordikhani в своем Tedtalk

 

Стимуляция

Вопрос этики проведения экспериментов весьма остро стоит для нейроисследований, и животные принимают основной удар для исследований находящихся за гранью. Что если мы хотим воздействовать на какой-то определенный участок в глубине мозга? Сейчас это возможно только с помощью вживленных электродов. Но, например, в природе есть существа, которые чувствительны к магнитному полю, команда Galit Pelled из Мичиганского университета выделили этот ген у рыб, внедрили крысам и научились контролировать их поведение действием магнитного поля [18]. Таким образом, возможно оказывать адресное воздействие на нужные участки, например, останавливать эпилептические припадки.
 
И целая группа исследований инвазивных интерфейсов от Михаила Лебедева на макаках-резус: был построен интерфейс мозг-компьютер-мозг, который позволял, управляя виртуальными конечностями, получать тактильную обратную связь. Можно подробнее посмотреть отрывок из лекции "Интерфейс между мозгом и компьютером".
 

Царство Deep Learning

Кроме того, что алгоритмы "глубокого обучения" позволяют добить и так уже высокую точность "машинного обучения", можно отметить то, что люди работают над "обратной задачей". Основываясь на быстрых данных EEG и MEG можно попытаться восстановить реальную активацию нейронов в мозге, которую сейчас показывает, например, метод fMRI, но с очень низким временным разрешением. Можно только порадоваться оптимизму и верить в скорый успех этой работы.
 
Еще одна проблема BCI на основе EEG или MEG – это то что результаты активности в разных областях мозга для одних и тех же компонент различаются среди пользователей, приходится учить нейросеть для каждого пользователя и задачи, что усложняет работу с системой и делает ее дороже. Тем не менее, здесь возможны изменения с "переносом обучения", когда нейросеть использует данные разных пользователей/в разных задачах и дообучивается онлайн, в результате этап калибровки может быть пропущен. [19]
 

Hardware

Наконец-то, мы добрались до железок!

Тут важно сказать про 2 момента, с одной стороны, оборудование для BCI довольно громоздкое, человек в нем привлекает внимание, в одном из выступлений были продемонстрированы миниатюрные электроды, такие что человек в них ничем не выделяется. [20]

К сожалению, вставить фото большего размера возможности нет, но вы можете посмотреть через гугл фото.

Несмотря на всю миниатюрность, устанавливать эти электроды не удобно, придется приклеивать каждый отдельный электрод. Для ускорения используют различные приспособления:

• EEG шапочки, в которых размечены отверстия под электроды
• Обручи и шлемы различной конструкции, где в основном положение электродов фиксированное, только OpenBCI выделяется Ultracortex'ом, в котором электроды можно переставлять в зависимости от задач.

Относительно свежая идея – это массивы из электродов CeeGrid, для крепления в области уха, которые одновременно и невидимы, и легко устанавливаются, но существенный минус это ограниченность применения, хотя есть работы, которые показывают, что использовать этот вариант для ERP BCI реально [21].

И вторая проблема – это необходимость в токопроводящем геле для качественного сигнала, тут показано, что различия допустимые, и использование сухих электродов оправдано [22], но все зависит от количества волос. Над этим вопросом так же работают, например, недавно Florida Research Instruments начала продавать удлинненный сухой электрод (на картинке ниже он слева), который отличается от первоначальной версии большей округлостью пинов и, как вы понимаете, вызывает меньше негативных ощущений у пользователей. Еще более продвинутые варианты – когда сами пины на электродах снабжены амортизацией, благодаря материалу или с помощью пружин (на картинке ниже они в центре и справа).

Заключение

Распространение BCI в массы не будет быстрым и легким, сейчас открыты весьма ограниченные возможности по пониманию состояний мозга, но прогресс в этой области нельзя игнорировать. Главное, что есть правильная тенденция на снижение стоимости устройств/предоставление устройств по подписке и появление проектов, которые ориентированы на энтузиастов.

Лично меня очень радует то, что среди раскрученных Emotive, MUSE, OpenBCI начинают появляться и российские проекты. На недавнем Нейрофоруме, который прошел в Петербурге, были продемонстрированы:

Расширение доступных устройств делает область интерфейсов привлекательной для изучения и экспериментов. Порог вхождения низкий, всегда можно найти адекватную задачу, а улучшать алгоритмы можно до упора, приобретая новые знания и навыки. Чего я вам и желаю.

Такой я увидел область BCI, посмотрим, что интересного будет в следующем году.

UPD исправлено описание EBCI интерфейсов, по ошибки они были отнесены к активным BCI, что не соответствует действительности

как нейроинтерфейсы помогают человечеству / Cloud4Y corporate blog / Habr

Ещё более 100 лет назад учёные интересовались возможностями мозга и пытались понять, можно ли как-то воздействовать на него. В 1875 году английский доктор Ричард Катон сумел зарегистрировать слабое электрическое поле на поверхности мозга кроликов и обезьян. Затем было множество открытий и исследований, но лишь в 1950 профессор физиологии Йельского университета Хосе Мануэль Родригес Дельгадо изобрел устройство «Стимосивер», которое можно было вживлять в мозг и которое управлялось с помощью радиосигналов.

Тренировки велись на обезьянах и кошках. Так, стимуляция определённой области мозга через вживлённый электрод заставляла кошку поднимать заднюю лапу. По словам Дельгадо, животное не проявляло никаких признаков дискомфорта в ходе подобных экспериментов.

А спустя 13 лет учёный провёл знаменитый эксперимент — вживил стимосиверы в мозг быка и управлял им через портативный передатчик.

Так началась эра нейроинтерфейсов и технологий, способных повышать биологические возможности человека. Уже в 1972 году в продажу поступил кохлеарный имплант, который преобразовывал звук в электрический сигнал, передавал его мозгу и фактически позволил слышать людям с тяжёлыми нарушениями слуха. А в 1973 году впервые был официально использован термин «brain-computer interface» — компьютерный нейроинтерфейс. В 1998 году ученый Филипп Кеннеди имплантировал первый нейроинтерфейс в пациента — музыканта Джонни Рэя. После инсульта Джонни потерял способность двигаться. Но благодаря имплантации научился двигать курсором, лишь представляя движение рук.

Вслед за учёными идею создания нейроинтерфейса подхватили крупные бизнес-корпорации и стартапы. О намерении разработать систему, которая поможет управлять объектами силой мысли, уже заявили Facebook и Илон Маск. Одни возлагают на нейроинтерфейсы надежды — технологии позволят людям с ограниченными возможностями восстановить утраченные функции, улучшить реабилитацию человека, перенесшего инсульт или черепно-мозговую травму. Другие скептически настроены к подобным разработкам, полагая, что их использование чревато юридическими и этическими проблемами.

Как бы то ни было, на рынке есть достаточное количество крупных игроков. Если верить Википедии, некоторые разработки уже сняты с производства, зато остальные довольно популярны и доступны.

Что такое нейроинтерфейс и чем он может быть полезен?

Типы мозговых волн

Нейроинтерфейс — система для обмена информации между мозгом человека и электронным устройством. Это технология, которая позволяет человеку взаимодействовать с внешним миром на основе регистрации электрической активности мозга — электроэнцефалограммы (ЭЭГ). Желание человека совершить какое-то действие отображается в изменениях ЭЭГ, что в свою очередь расшифровывает компьютер.
Нейроинтерфейсы бывают однонаправленные и двунаправленные. Первые либо принимают сигналы от мозга, либо посылают их ему. Вторые могут посылать и принимать сигналы одновременно.
Существует несколько методов измерения сигналов мозга. Их разделяют на три типа.

• Неинвазивные. Датчики помещаются на голову для измерения электрических потенциалов, создаваемых головным мозгом (ЭЭГ) и магнитным полем (МЭГ).
• Полуинвазивные. Электроды помещаются на открытую поверхность мозга.
• Инвазивные. Микроэлектроды помещаются непосредственно в кору головного мозга, измеряя активность одного нейрона.

Ключевая особенность нейроинтерфейса состоит в том, что он позволяет подключиться к мозгу напрямую. Что это может дать на практике? Нейроинтерфейсы, например, способны облегчить или кардинально изменить жизнь парализованных людей. Кто-то не может, писать, двигаться или разговаривать. Но при этом мозг у них вполне рабочий. Нейроинтерфейс позволит совершать этим людям определенные действия, считывая намерения с помощью электродов, подключенных к мозгу.

Ещё один вариант использования нейроинтерфейса придумали американские учёные, разработавшие кибер-протез, способный улучшать человеческую память на 30%. Устройство формирует нервные импульсы, которые помогают пациенту формировать новые воспоминания, помнить лица родственников. Ожидается, что разработка поможет бороться со старческой деменцией, болезнью Альцгеймера и другими проблемами с памятью.

Помимо здоровья, нейроинтерфейсы можно использовать для личного развития человека, для работы и развлечений, а также для взаимодействия с окружающими. Итак, что интересного могут предложить нейротехнологии в этих областях?

Самосовершенствование

Самая, пожалуй, популярная область применения нейроинтерфейсов и всевозможных приложений — развитие каких-либо способностей человека. Этому посвящены разнообразные тренинги, системы развития ментальных способностей, системы изменения поведения, системы профилактики стрессов, СДВГ, системы по работе с психоэмоциональными состояниями и так далее. У такого рода деятельности даже свой термин есть, «Брейн-фитнес».

В чём суть идеи? В результате многочисленных исследований сформировались некоторые доказанные представления о том, как та или иная активность головного мозга соответствует состояниям человеческого сознания. Появились алгоритмы определения уровня внимательности, концентрации и медитации, ментальной релаксации. Добавьте к этому возможность считывать ЭЭГ и электромиографию (ЭМГ), и в результате мы получаем представление о состоянии человека на данный момент.

И когда нужно научиться вызывать конкретное психоэмоциональное состояние, человек тренирует себя с помощью устройства, к которому подключен нейроинтерфейс. Существует огромное количество программ визуализации ЭЭГ и психоэмоциональных состояний, мы не будем описывать их все. Тренировка вызова у человека необходимого состояния сознания выполняется с помощью технологии БОС ЭЭГ (биологическая обратная связь на основе электроэнцефалографии).

Как это выглядит на практике: родители хотят улучшить успеваемость своего ребенка и победить СДВГ (синдром дефицита внимания и гиперактивности). Для этого используют специальную программу (например, от NeuroPlus), выбирая в ней пресеты для тренировки нужных состояний: внимательности, концентрации, релаксакции, медитации, профилактики гиперконцентрации. Выбирают программу тренировки уровня концентрации. И запускают её.

Программа предлагает ребёнку тренировку, в которой нужно удерживать показатель волн Альфа и Бета выше определённого уровня. Волны не должны опускаться ниже определённого уровня. Одновременно с этим в окне программы проигрывается выбранный родителями видеоматериал. Например, любимый мультфильм. Ребёнок просто смотрит мультфильм, следит за уровнями Альфа и Бета волн и больше ничего не делает. Дальше в игру вступает БОС. Задача ребенка —поддерживать уровни Альфа и Бета всё время тренировки.

Если один из уровней падает ниже требуемого показателя, мультфильм прерывается. На первых занятиях ребёнок будет пытаться осмысленно вернуться к нужному состоянию, чтобы посмотреть мультик. Но через некоторое время мозг научится самостоятельно возвращаться к данному состоянию при выпадении из него (при условии, что мультик интересен ребёнку, а состояние для просмотра является «комфортным» для мозга). В результате у ребёнка вырабатывается умение вызывать у себя требуемое состояние концентрации, а также способность сохранять концентрацию на определённом уровне.

Выглядит страшновато, но не спешите пугаться и звонить в органы опеки. Есть и более простые решения на основе игр. Например, Mind The Ant от NeuroSky. Задача игрока — заставить муравья толкать предмет к себе в муравейник. Но чтобы муравей двигался без остановки, нужно поддерживать определенный уровень концентрации выше определенной отметки на соответствующей шкале.

Когда вы концентрируетесь на процессе, муравей толкает предмет. Как только уровень концентрации падает, муравей останавливается, и вы теряете время, ухудшая свой результат. С каждым уровнем игра становится сложнее, поскольку повышается требуемый уровень концентрации. Также появляются дополнительные отвлекающие факторы.

В результате регулярных тренировок пользователь вырабатывает способность поддерживать уровень концентрации и внимательности на выполняемой задаче, вне зависимости от отвлекающих внешних или внутренних факторов. Здесь всё как в спорте, невозможно получить спортивное тело, сходив пару раз в фитнес-центр или съев банку протеинов. Исследования в области БОС ЭЭГ показали, что результат от тренингов такого рода появляется только после 20 дней регулярных занятий длиной 20 минут каждое.

Развлечения

Нейрогарнитуры также дают возможность и развлекаться. Но все игры и развлекательные приложения параллельно являются и инструментами саморазвития. Играя в игры через нейроинтерфейс, вы используете осознанные состояния своего сознания для управления персонажами. И тем самым учитесь их контролировать.

Много шума в своё время наделала многопользовательская игра Throw Trucks With Your Mind. Управление персонажем происходит по стандартной схеме шутера от первого лица, однако сражаться с другими игроками можно только с помощью ментальных усилий. Для этого на мониторе игры отображаются параметры концентрации и медитации игрока.

Чтобы швырнуть в противника ящик, грузовик или любой другой предмет из игровой среды, вы должны поднять его в воздух при помощи своей ментальной силы, а затем бросить его в противника. Вам тоже может «прилететь», поэтому в стычке побеждает тот, кто эффективнее использует способность к концентрации и медитации. Сражаться силой разума с реальными противниками было весьма увлекательно. Из более свежих игр можно упомянуть Zombie Rush от MyndPlay.

Производители предлагают и более спокойные варианты игр. Вот, например, интересный обзор сразу нескольких популярных игровых приложений. Также стоит упомянуть игру MyndPlay Sports Archery Lite. Она простая: нужно сделать три выстрела из лука и набрать максимальное количество очков. За каждый выстрел вы можете получить до 10 очков. Используя видеоряд, игра погружает вас в свою среду, после чего вашему персонажу можно начинать целиться в мишень. В окне плеера появляется индикатор уровня концентрации. Чем выше концентрация, тем ближе к десятке попадёт стрела. Во втором выстреле для попадания требуется войти в состояние медитации. В третьем выстреле опять потребуется концентрация. Вот так наглядно игра демонстрирует интересные возможности нейроинтерфейсов.

Помимо игр, существуют и интерактивные нейрофильмы. Представьте: вы сели на диван, надели гарнитуру и включили интерактивный фильм про скейтеров. На каком-то этапе возникает момент, когда скейтер разогнался и вот-вот должен прыгнуть. В этот момент вы должны сами стать скейтером, чтобы сконцентрироваться на прыжке и держать уровень концентрации сознания, пока персонаж не закончит прыжок. При достаточной концентрации (соизмеримой с реальной жизнью и тем уровнем, который нужен будет в действительности) скейтер в фильме успешно совершит прыжок и сюжет пойдет далее до следующей интерактивной вилки. Если концентрация была так себе, то скейтер упадёт, а фильм пойдёт по другой сюжетной линии.

Аналогичным образом уже отсняли боевик в стиле Гая Ричи, а также целый ряд других фильмов. Фактически, сюжет и финал фильма напрямую зависит от ваших усилий. И это выглядит весьма интересно.

Простая и разветвлённая логика развития сюжета

Применение в работе

Помимо тренировочных и развлекательных программ разработчики создали большое количество приложений, предназначенных для профессионального использования. В качестве примера можно привести программу MindRec, которая создана для медицинских, спортивных, обычных психологов и психологов, работающих с представителями силовых структур.

Как она используется? Человек надевает на себя нейрогарнитуру, психолог запускает программу и приступает к сессии. Во время сессии выполняется мониторинг и запись в память компьютера следующей информации, а именно: уровень концентрации, внимательности, уровень медитации, сырой ЭЭГ сигал, в нескольких видах визуализации единовременно, в диапазоне от 0 до 70Гц. Сигналы, разбитые по частотным диапазонам, составляющим спектр основного сигнала. Разбивка производится на 8 диапазонов: Дельта, Тета, Низкая Альфа, Высокая Альфа, Низкая Бета, Высокая Бета, Низкая Гамма, Высокая Гамма. При необходимости выполняется аудио- и видеозапись действий пациента психолога.

Записанный материал можно пересмотреть, видя всё то, что отображалось в реальном времени во время сессии. Если психолог чего-то не заметил сразу, то при повторном изучении сессии или тренировки может изучить изменения волновых реакций головного мозга, сопоставить их с аудиовизуальной информацией. Это очень ценный инструмент для любого специалиста в данной области.

Другой вариант — нейромаркетинг. Нейрогарнитура позволяет проводить маркетинговые исследования, поскольку показывает эмоциональный отклик человека на определённые маркетинговые раздражители. Это намного эффективнее, поскольку при опросах и анкетировании люди далеко не всегда честны в ответах. А нейроисследование поможет увидеть реальный ответ, честный и беспристрастный. Собрав фокус-группу и проведя тестирование с помощью нейрогарнитуры, можно получить результаты, максимально соответствующие реальности.

Взаимодействие с внешними устройствами

Ещё одним интересным направлением работы с нейрогарнитурами является дистанционное управление внешними устройствами. Весьма популярны среди детей, к примеру, гоночные игры, которые допускают соревнование между двумя, тремя и четырьмя участниками. Вот хорошо известный пример таких игр:

Хочется побаловаться ещё с чем-то? Пожалуйста, вот другие разработки, которые тоже стали популярными.

Puzzlebox Orbit Helicopter

Игрушечный вертолет, который управляется силой мысли. Стандартная версия позволяет управлять высотой полета вертолета, но есть множество дополнений, которые превращают эту игрушку в мощный тренажёр для брейн-фитнеса. Обзор был на Хабре.

Zen Lamp

Лампа отражает ваше психоэмоциональное состояние в виде свечения определенного цвета. Идеально подходит для развития навыков медитации.

Force Trainer II

Презабавнейшая вещица. Создает голографическое изображение игровой среды и объектов внутри прозрачной пирамиды. А игрок, используя команды головного мозга, управляет этими объектами.

Necomimi

Ми-ми-мишные кошачьи ушки стали хитом во всём мире. Устройство полностью самодостаточно и не требует подключения к компьютеру или смартфону. Пользователь надевает ушки, включает их и получает возможность демонстрировать своё настроение (психоэмоциональное состояние) путём движения этими ушками. Кстати, аналогичный продукт, выполненный в виде хвоста, не стал популярным даже у себя на родине, в Японии. Куда в этом случае вставлялась гарнитура, можете додумать сами.

Нейрогарнитура — развлечение или полезный инструмент?

Во время чтения статьи может показаться, что нейроинтерфейсы и гарнитуры предназначены в основном для того, чтобы развлечь человека или потешить его ЧСВ. Однако это совершенно не так. Нейрогарнитура вкупе с соответствующим ПО вполне может помочь разработать конечность после сильного повреждения, снизить негативные последствия тяжёлых травм. Поэтому учёные активно используют нейротехнологии для того, чтобы помогать людям.

Например, в 2016 году американские учёные из Университета Джонса Хопкинса создали нейроинтерфейс, который помогает управлять отдельными пальцами биомеханического протеза. А спустя год их австрийские коллеги из Университета Граца разработали систему для написания музыки с помощью силы мысли. Рассчитана она на музыкально одаренных людей с ограниченными возможностями.

Специалисты из Калифорнийского университета с помощью нейроинтерфейса, нейромускульной стимуляции и подвеса научили ходить человека, парализованного ниже пояса. А бразильские исследователи вместе с коллегами из США, Швейцарии и Германии смогли частично восстановить спинной мозг у пациентов с помощью нейроинтерфейса, виртуальной реальности и экзоскелета. Ведутся и разработки для взаимодействия с пациентами с синдромом «запертого человека». Технология поможет выявлять таких больных, коммуницировать с ними, а также восстанавливать контроль над телом.

Facebook начала работу над неинвазивным нейроинтерфейсом, который поможет пользователям набирать текст без клавиатуры. Компания Nissan разработала интерфейс «мозг-машина», чтобы считывать мысли во время вождения для уменьшения времени реакции. А Илон Маск и вовсе хочет соединить мозг с компьютером, чтобы избежать захвата мира искусственным интеллектом.

Российские компании пока не могут похвастаться большим количеством достижений на ниве нейротехнологий. Однако недавно «Ростех» представил предсерийный образец устройства, которое поможет обмениваться информацией между мозгом и внешним устройством. Разрабатывал шлем Институт электронных управляющих машин (ИНЭУМ) им. И. С. Брука. Предполагается, что нейроинтерфейс позволит управлять электронными и электромеханическими устройствами: протезами, транспортными средствами.

Что ждёт рынок нейроинтерфейсов

Согласно прогнозу Grand View Research, объем глобального рынка компьютерных интерфейсов к 2022 году достигнет 1,72 млрд долларов. Сейчас основная область применения нейроинтерфейсов — это медицина, но активно развиваются развлекательные направления, а также военная и промышленная сфера. Нейрогарнитура для управления боевым роботом — это уже не просто сладкие фантазии высоколобых людей в погонах, а вполне решаемая задача.

Благодаря тому, что нейрогарнитуры предлагают открытую среду, которую можно использовать для создания собственного ПО, развивается и частное нейропрограммирование. Например, SDK одного из лидеров рынка, компании NeuroSky, доступна разработчикам абсолютно бесплатно. И в результате появляется всё больше приложений, использующих возможности этой платформы.

Отметим, что инициатива повсеместного внедрения нейроинтерфейсов и чипов для мозга сталкивается не только с поддержкой, но и с критикой. С одной стороны, нейроинтерфейсы могут усовершенствовать лечение черепно-мозговых травм, паралича, эпилепсии или шизофрении. С другой стороны, такие технологии могут усугубить социальное неравенство.

Высказываются опасения, что для внедрения в здорового человека электродов нет пока ни юридической, ни этической базы. Кроме этого, нейроинтерфейс может сделать мозг человека объектом, в который захотят проникнуть правительства, рекламодатели, хакеры, рептилоиды и другие личности, которым вряд ли обрадуется нормальный человек. И в целом нейроинтерфейс и гарнитуры могут изменить особенности человека, повлиять на его психику и деятельность как индивида, исказить понимание людей как физиологических существ.

В целом понятно, что нейротехнологии будут развиваться и дальше. Но когда они станут по-настоящему доступными и ещё более эффективными, предсказать невозможно.

Что ещё интересного есть в блоге Cloud4Y
→ Через «пару десятилетий» мозг подключат к Интернету
→ Искусственный интеллект для каждого
→ Свет, камера… облако: Как облака меняют индустрию кино
→ Футбол в облаках — мода или необходимость?
→ Биометрия: как дела с этим у нас, и у «них»

Нейроинтерфейсы: реальный телекинез

В мире технологий телекинез называют нейроинтерфейсом, это технология, которая считывает команды мозга и передает их компьютеру. Сейчас нейроинтерфейсы только начинают развиваться — чаще всего они даже выглядят как старомодная шапочка с проводами. Но им уже находят применение в самых разных сферах.

Игры

Это лучшая стартовая площадка для массового использования нейроинтерфейсов. Здесь гибкая и молодая аудитория, которой уже мало просто наблюдать — она хочет погружаться в игру всё сильнее. Поэтому ведущие разработчики пытаются избавиться от отвлекающих джойстиков, в том числе с помощью нейроинтерфейсов.

Год назад американский стартап Neurable представил гарнитуру, которая позволяет играть в Skyrim без кнопок: игроку показывают заклинания, и то, на которое мозг реагирует сильнее всего, выбирается для атаки. Это происходит почти мгновенно и отлично сказывается на реакции в поединках. Рамзес Алькаид, создатель Neurable, говорит, что точность в реальном времени составляет 85%, а с задержкой в одну секунду — 99%. Гарнитуру еще предстоит доработать.

Разработчики планируют с помощью нейроинтерфейсов сделать игры более реалистичными. Представьте, что вы идете по бетонному полу в шлеме виртуальной реальности, который показывает вам зеленый луг. Мозг в этот момент знает, что его пытаются обмануть, и ощущения травы под ногами не будет. А вот если подключить к голове электроды и передавать картинку напрямую, возможно, вы даже сможете почувствовать запах травы.

Следующий шаг — повороты игровых сценариев в зависимости от настроения игрока. Сегодня мозг плохо спал? Вместо битвы с монстрами будет легкий квест-прогулка.

Музыка

Попытки создать энцефалофон — музыкальный инструмент, который реагирует на активность мозга, — начались в 1943 году. Первый инструмент издавал звуки в зависимости от электроэнцефалограммы и использовался для диагностики. Реагировать на мысленные команды он не умел.

Другое дело — инструмент 2017 года, который создали вашингтонские ученые во главе с Томасом Диуэлем. Новый энцефалофон выглядит как шапочка с электродами. Наденьте ее, и сможете сыграть мыслями до 8 фортепианных нот, которые воспроизведет любой ноутбук. Инструмент уже участвует в джазовых концертах, и его партию играет создатель Томас.

А компания Muse тем временем продает гарнитуры, которые умеют оценивать активность мозга во время медитации и подбирать музыку в зависимости от глубины погружения. И это еще одна сторона нейроинтерфейсов.

Общение с животными

В 1999 году американские ученые подключили к лабораторной крысе несколько десятков электродов, чтобы записать последовательность импульсов, которая приводит к простому желанию попить. Сейчас таких измерений много, они проводились на мышах, собаках, обезьянах и других животных. Понимать язык животных полезно в первую очередь науке, где большая часть исследований строится на работе с животными.

Французский социолог Бруно Латур высказал мысль, что всё это может привести к тому, что животные встанут в один социальный ряд с людьми. Ведь если мы можем читать их мысли, то когда-нибудь сможем передавать им свои соображения и команды. Как насчет отправить собаку в магазин?

Медицина

Врачи возлагают на нейроинтерфейсы большие надежды. Новые технологии могут помочь людям, которые не слышат, не видят, даже не могут двигаться.

В 1961 году доктор Уильям Хаус создал кохлеарный имплантат — слуховой аппарат, который преобразует внешние звуки в электросигналы, понятные мозгу. Современная версия этого имплантата уже выручила больше 300 тысяч человек с проблемами слуха. Похожим образом работает нейросетчатка: с 2013 года ее официально разрешают применять в лечении.

Нейроинтерфейс: как и зачем

Алексей Павлов, доктор физико-математических наук,
Александр Храмов, доктор физико-математических наук
«Химия и жизнь» №12, 2019

— Вспомните, как он назвал свою расу, — тихо произнес психолог.
Тагобар замигал глазами очень медленно. Когда он заговорил, его голос был хриплым шепотом
— Существами с великой силой мысли.
— Вот именно, — подтвердил Зендоплит.

Джон Гордон, «Честность — лучшая политика»

Во многих фантастических романах есть сцены, когда герой управляет сложным техническим устройством, например, в романе Стивена Кинга «Томминокеры» космический корабль пришельцев управляется мысленными намерениями человека. Возникает вопрос: когда мы сможем прочитать мысли человека и создать устройства (или интерфейсы, говоря компьютерным языком), транслирующие наши мысленные намерения в те или иные команды? По крайней мере, название для них уже есть: нейроинтерфейсы или, для простоты — интерфейсы.

Нейро — нерв, интер — между, фейс — лицо

До чтения мыслей нейрофизиологам и инженерам еще так далеко, что непонятно, сколько. Однако задача создания интерфейсов мозг—компьютер понемногу решается. Нейроинтерфейсы — это устройства и программы, которые используют эти устройства, то есть которые регистрируют активность в различных областях головного мозга и переводят эти сигналы в команды управления внешним устройством, например, компьютером. «Активность» мозга может проявляться по-разному, и ниже мы это обсудим.

Сама разработка интерфейсов мозг—компьютер весьма востребована и поэтому быстро развивается. Области применения можно условно разделить на несколько групп. Первая — это наука, то есть исследование работы мозга. Вторая группа применений — это медицина: диагностика, лечение и реабилитация. Третья — это управление «силой мысли» всем на свете — экскаватором на Земле, исследовательским роботом на Луне, экзоскелетом для увеличения возможностей здорового человека, коляской для инвалида и автомобилем для них обоих. И вообще помощь частично или полностью парализованным во взаимодействии с внешними устройствами, например, технология neurochat.pro, позволяющая людям с ограниченными возможностями общаться. Тут же, кстати, игровая индустрия — круто мочить монстров силой мысли! Четвертая, не очевидная область, — это тонкое взаимодействие мозга и внешних устройств, в том числе с обратной связью, когда не только человек управляет внешним устройством, но и внешний мир что-то сообщает человеку, как-то на него влияет. Сюда относятся тренировка устойчивости человека к факторам стресса, улучшение владения своим психофизиологическим состоянием, разработка возможности оценивать и передавать эмоции человека устройствам.

Продвижение во всех этих направлениях зависит от понимания того, как работает наш мозг, как его работа отражается в том, что мы можем наблюдать. В современных интерфейсах регистрируют макроактивность головного мозга в виде сигналов электроэнцефалограмм (ЭЭГ), магнитоэнцефалограмм (МЭГ), ближней инфракрасной спектроскопии (NIRS, Near Infrared Spectroscopy).

Мозг обрабатывает входящие сенсорные стимулы, например — звук, запах, цвет, вкус, принимаемые через периферические нервы, и подает импульсы на исполнительные механизмы, например, на мышцы и железы. Кроме того, он отвечает за мышление, обучение, обработку зрительной информации, речь, память, эмоции и тому подобное. Все эти действия мозга отражаются в регистрируемой активности головного мозга, например, движение конечностью отражается вполне определенным образом на ЭЭГ человека. Причем если движение не реальное, а только воображаемое, то на ЭЭГ это тоже отражается.

При этом программа в компьютере может как угодно сложно обрабатывать сигнал, она может обучаться, адаптируясь как к задаче, так и к конкретному человеку. Для такого обучения необходима обратная связь — программа должна получать информацию о том, правильно ли она интерпретировала полученные сигналы, правильно ли она «поняла» тот конкретный мозг, с которым работает. При этом программа может отчасти управлять и пациентом, ориентируя его на работу с теми ситуациями, которые она распознает менее успешно. Можно даже сказать, что интерфейс мозг—компьютер использует искусственный интеллект для распознания типов активности мозга.

Первые интерфейсы, упоминаемые в научной литературе, были разработаны в 1973–77 годах научной группой Калифорнийского университета при поддержке Национального научного фонда США и Управления перспективных исследовательских проектов Министерства обороны США. В экспериментах участвовали добровольцы, на головах которых в затылочной и теменной области размещали пять электродов, а затем обрабатывали получаемые сигналы. В тех работах авторы анализировали особенности структуры сигналов ЭЭГ, возникающие во время предъявления человеку разных изображений, так называемые зрительные вызванные потенциалы. Но это были самые первые попытки.

Классификация интерфейсов

Множество нейроинтерфейсов можно разделить на три группы: активные, реактивные и пассивный интерфейсы. Активный интерфейс использует изменения активности мозга, которая непосредственно и сознательно управляется человеком. Например, человек воображает, что двигает правой ногой и правой рукой. Это мысленное усилие приводит к изменениям в электрической активности мозга, на основе которых программа формирует управляющие команды, посылаемые на внешнее устройство, как в интерфейсе для печати текстов Hex-o-Spell. Реактивный интерфейс формирует управляющие команды, изучая ответ мозга на внешний сигнал, например, свет или звук. Пример реактивного интерфейса — экранная клавиатура с мигающими по очереди символами: мозг откликается, когда мигает тот символ, который задумал человек. Пассивный интерфейс анализирует текущую активность головного мозга, которая возникает сама по себе, в процессе жизнедеятельности человека. Такие интерфейсы могут быть полезны для создания систем мониторинга, которые следят за эмоциональным состоянием, обнаруживают снижение концентрации внимания или потерю контроля над системой.

Активные и реактивные интерфейсы в первую очередь представляют интерес в работе с людьми с ограниченными возможностями. Пассивные, оценивающие состояние человека, могут найти применение в индустрии развлечений, компьютерных играх, нейромаркетинге, а также мониторинге тех или иных эмоциональных и функциональных состояний оператора в человеко-машинных системах. Они могут следить за оператором — не отвлекается ли он, не перевозбужден, наконец, просто — на заснул ли он.

Но как увидеть, что происходит в мозге? Исследование работы нейронов нужно далеко не только для создания интерфейсов. Наблюдение за их работой позволяет обнаруживать повреждения в ткани головного мозга, помогает в диагностике травм мозга, нейродегенеративных изменений в мозге, связанных с возрастом пациента, метаболических нарушений и поражений мозга в более мелком масштабе, в выявлении эпилептических очагов.

В основе работы интерфейса лежит анализ информации, поступающей от пациента по четырем каналам. Это электрические импульсы нейронов, их магнитная активность, скорость течения крови внутри сосудов и изменение метаболизма. Рассмотрим их по очереди.

Электроэнцефалография

Наверное, все читатели «Химии и жизни» знают, что такое электроэнцефалография. И все же напомним, что это запись электрической активности головного мозга с помощью электродов, расположенных на поверхности головы (неинвазивная, или скальповая ЭЭГ) или наложенных непосредственно на кору головного мозга (инвазивная ЭЭГ, или электрокортикограмма). Амплитуда сигнала составляет в первом случае порядка 100 мкВ, во втором — раз в десять больше. Электроды, наложенные непосредственно на кору, дают больше информации. Они позволяют регистрировать даже активность отдельных нейронов. Но этот метод ограниченно применим только в интерфейсах медицинского назначения, когда, скажем, необходимо контролировать активность мозга во время операции. Для широкого использования пригодна только неинвазивная ЭЭГ. Впрочем, и в медицине с ее помощью выявляют различные заболевания мозга, такие как болезнь Альцгеймера, эпилепсия, расстройства сна, внимания, а также отклик мозга при нейрохирургических вмешательствах.

Сигналы электрической активности мозга снимают с помощью нескольких электродов, которые размещают на голове. Тут тоже есть свои тонкости. Если использовать влажные электроды, смазанные проводящей пастой, то сопротивление будет ниже и сигнал лучше, но проще работать с сухими электродами. Такая же проблема с количеством: чем электродов больше, тем больше информации, но проще работать с меньшим количеством. А еще есть скальповые подкожные электроды — тут все ясно из названия.

После того как сигнал снят и очищен от шумов и наводок (скакнуло напряжение в сети, в соседней комнате что-то включили, под окнами проехал трамвай), начинается самое интересное — обработка сигнала. Штука это сложная и многообразная, и в популярной статье можно привести примеры только самой простой и традиционной обработки. Один из вариантов — сигнал разделяют фильтрами на частотные полосы и отслеживают изменения амплитуды колебаний в разных полосах. Этот метод опирается на традиционное разделение сигналов, поставляемых мозгом, на «ритмы» — альфа-ритм, бета-ритм и другие. Можно анализировать так называемые вызванные потенциалы, то есть характерные сигналы, возникающие, когда человеку предъявляется какой-то стимул (вспышка света, незнакомый звук). При этом разные элементы отклика мозга специалисты связывают с разными стадиями обработки стимула (заметил, сопоставил с известными, классифицировал, принял решение, запомнил...).

Различные подходы к сигналам ЭЭГ позволяют получать разные скорости передачи информации, но в общем можно сказать, что регистрация сигналов головного мозга в зрительной коре после предъявления изображений позволяет реализовать скорость передачи информации 60–100 бит/мин, анализ сенсомоторных ритмов, синхронизованных с реальной и/или воображаемой двигательной активностью, позволяет достичь скорости передачи информации в пределах 3–35 бит/мин.

Но есть и другие методы

Для регистрации активности мозга пригодны и другие методы. Например, МЭГ, которая позволяет измерять слабые магнитные поля, генерируемые ионными токами в нейронах мозга. Для детекции очень слабых магнитных полей используют сверхпроводниковые квантовые интерферометры, или СКВИД-датчики. Эта технология позволяет фиксировать события с длительностями порядка миллисекунды и не нужны электроды, поэтому ее используют при работе с детьми и младенцами. Технологию реально применяют, но она очень дорогая, нужен высококвалифицированный персонал и специальная экранированная комната, потому что магнитное поле Земли и промышленные помехи превышают полезный сигнал на девять и шесть порядков соответственно.

В последнее время для регистрации активности мозга все чаще используют спектроскопию в ближней инфракрасной области (NIRS). Это небольшой прибор в виде шапочки, которая надевается на голову. Инфракрасное излучение проникает через кости черепа и прилегающие ткани в лобную и затылочную кору мозга и позволяет оценивать степень окисления гемоглобина, то есть потребление мозгом кислорода. Здесь, в отличие от ЭЭГ и МЭГ, фиксируется сигнал оптической природы — поглощение инфракрасного излучения; этот метод, вообще говоря, давно используется химиками, но, конечно, не в голове испытуемого, а в кювете. В нашем случае метод чаще всего используют для регистрации активности в первичной моторной и префронтальной коре. В первом случае снимают сигналы, соответствующие реальным и воображаемым движениям, во втором случае — сигналы, порождаемые мысленным счетом и логическими задачами, музыкальными и визуальными образами.

Задачи, которые пытаются решать посредством интерфейсов, разнообразны, однако есть общие принципы построения интерфейсов. Сигнал снимается с мозга, обрабатывается и управляет внешним устройством. Человек видит результат обработки и может корректировать его, при этом и человек, и программа обработки приспосабливаются друг к другу. Человек учится говорить внятно, а система учится правильно его понимать.

Обычно «язык», на котором человек говорит с интерфейсом, — это воображение движений различных конечностей, что позволяет относительно устойчиво генерировать несколько команд для управления внешним устройством (например — «влево», «вправо», «вверх», «вниз»). Причем формирование команды может быть либо мгновенным, либо более сложным. Например, мы можем контролировать через интерфейс движение инвалидного кресла, основываясь на мгновенном сигнале мозга, либо следить за его состоянием и формировать команду на основе его изменения. Во втором случае система будет действовать несколько медленнее, но надежнее.

Как можно применить

Большинство приложений интерфейсов предназначены для людей с тяжелыми двигательными нарушениями, и можно ожидать, что качество их жизни будет значительно улучшено. Принципиально важным параметром здесь является скорость передачи информации. Пациентов можно условно разделить на три группы. Первая группа — пациенты, которые полностью обездвижены из-за последней стадии бокового амиотрофического склероза или тяжелой формы церебрального паралича. Вторая группа — с остаточной контролируемой двигательной активностью, например, движение или мигание глаз, подергивание губами и тому подобное. Третья группа — с сохранившимся нервно-мышечным контролем, в частности, с нарушениями речи, парезами и т. п.

Пациенты первой группы обычно не могут сознательно управлять интерфейсом. Для третьей группы пациентов использование интерфейсов неэффективно — есть способы, которые могут обеспечить более высокую и стабильную скорость передачи информации. Например, обнаружить движения глаз можно быстрее, проще и точнее, чем модуляции потенциалов головного мозга. C помощью технологии контроля движения глаз (айтрекера) может быть получена скорость набора текста порядка десяти слов в минуту. Естественно, были предложены гибридные системы, например, комбинации нейроинтерфейсов с айтрекерами.

На рисунке вверху показана взаимосвязь между необходимой скоростью передачи информации, возможностями человека и доступными для него приложениями интерфейса.

Для третьей группы представляет интерес не передача информации, а нейрореабилитация — восстановление утраченных моторных или когнитивных функций у постинсультных пациентов и пациентов с повреждениями спинного мозга. Она основана на использовании биологической обратной связи для саморегуляции мозговой активности, которая, в свою очередь, происходит за счет изменения топологии нейронных сетей мозга — то есть мозг начинает использовать другие пути передачи сигнала.

Еще одно, хотя пока менее развитое, применение интерфейсов — это мониторинг когнитивных способностей человека в процессе решения различных задач и даже тренировка его когнитивных способностей. Такие интерфейсы используют в нейромаркетинге и видеоиграх для получения информации об эмоциях, усталости и сосредоточенности пользователей. Cейчас исследователи изучают возможность с помощью таких интерфейсов распознавать проэпилептические состояния и подавлять эпилептические разряды в головном мозге.

Существует большое число различных приложений интерфейсов — текстовых процессоров, адаптированных браузеров, инвалидных колясок, нейропротезов; есть и игровые приложения. Однако большинство предназначено лишь для обучения и демонстрации, потому что на пути к реальному применению есть несколько препятствий, в частности — пока мала скорость передачи информации, много ошибок при ее передаче и во многих случаях требуется установка электродов. Кроме того, высока когнитивная нагрузка на человека: взаимодействовать с интерфейсом ему проще в спокойной лаборатории, нежели на шумной улице города. Поэтому наиболее удачные примеры применений были получены в клинической практике. Наконец, есть одна специфическая проблема — пользователь обычно имеет возможность отключить интерфейс с помощью специфичной активности мозга, но часто не может снова включить его. В нейронауке это называется проблемой Midas touch — дар золотого прикосновения, которым был наделен жадный царь мидас: к чему бы они ни прикасался, все превращалось в золото, поэтому использовать руки для повседневных функций было сложно.

А теперь — чуть подробнее о самых важных применениях нейроинтерфейсов.

Наша базовая потребность

Общение — одна из базовых потребностей человека. Человек, лишенный возможности двигать руками и набирать текст на клавиатуре, может воспользоваться специальным приложением. Обычно это виртуальная клавиатура на экране. Пользователь выбирает букву из алфавита с помощью интерфейса, который анализирует его ЭЭГ. Например, в одном из вариантов пользователю надо лишь представить, что он двигает рукой или ногой, чтобы выбрать ту или иную букву. Весь алфавит делится изначально пополам в зависимости от типа воображаемого движения, потом снова пополам и так до выбора конкретного символа. Скорость написания сообщений в этом случае — от 0,5 до 0,85 символа в минуту.

В другой системе символы отображаются на экране в виде матрицы. Здесь задача пользователя, чей ЭЭГ-ответ анализируется в реальном времени, — сосредоточить внимание и концентрироваться на выбранном символе. Строки и столбцы символов на экране по очереди мигают, что приводит к генерации потенциала при совпадении с ожидаемым символом. Когда на экране мигает нужная строка, ЭЭГ изменяется, когда мигает нужный столбец — изменяется второй раз. Скорость набора — два символа в минуту, метод не требует длительных тренировок.

Важное направление — браузеры, адаптированные к пользователям с тяжелыми формами инвалидности, и социальные сети на базе нейротехнологий. Пример — коммуникационная система «Нейрочат» (neurochat.pro), предназначенная для сетевого общения людей, не имеющих возможности говорить и двигаться. Разработка системы «Нейрочат», у которой нет прямых зарубежных аналогов, выполнена компанией «Нейротренд» под научным руководством доктора биологических наук А. Я. Каплана, заведующего лабораторией нейрофизиологии и нейрокомпьютерных интерфейсов биологического факультета МГУ имени М. В. Ломоносова. Проект «Нейрочат» создавался частной компанией в рамках Национальной технологической инициативы (дорожная карта «Нейронет»).

Ассистивные технологии и передвижение

Люди, которые страдают тяжелыми двигательными нарушениями, проводят основное время дома, поэтому им необходимы приложения, которые дают контроль над бытовыми устройствами, освещением или температурой в помещении. Уже протестированы три варианта подобных интерфейсов. В первом человек мог использовать клавиатуру, мышь или джойстик, во втором — только головные трекеры и микрофоны, если у пациента не повреждены мышцы шеи и он может говорить. В третьем случае, при полной инвалидности, системой можно было управлять с помощью ЭЭГ. В результате пользователь интерфейса мог силой мысли включить в комнате свет, изменить температуру, включить телевизор. Это не только повышает качество жизни самих инвалидов, но и снимает часть нагрузки с опекуна и родственников.

Приложения, позволяющие инвалиду контролировать коляску, на которой он передвигается, не менее важны. Однако сигналы ЭЭГ обычно содержат шум и помехи, поэтому возможны ложные срабатывания, а для коляски это недопустимо. Поэтому в данном случае предпочтительнее использовать инвазивные методы регистрации сигналов ЭЭГ. Эксперименты с обезьянами показали, что, используя сигналы с электродной матрицы, имплантированной в моторную кору, нашим предкам удается переместить компьютерный курсор в заданную точку на экране.

Однако инвазивная регистрации ЭЭГ все-таки неудобна, поэтому создание неинвазивных интерфейсов выглядит заманчиво. Показано, что управлять инвалидными колясками исключительно за счет использования сигналов ЭЭГ можно, принципиальным вопросом является недопустимость ложных срабатываний. Поэтому в некоторых разработках система управления инвалидным креслом может сама оценивать препятствия. В результате оператор коляски может передвигаться в помещении, задавая команды вперед / назад и влево / вправо, а система, в случае ошибки, ориентируясь на «карту помещения», корректирует его ошибки. Сделать подобную систему для передвижения в свободном пространстве более чем сложно, но работы в этом направлении ведутся.

Подобные нейротехнологии сейчас все больше привлекают к управлению беспилотниками.

Нейрореабилитация

Интерфейсы помогают восстанавливаться людям с инсультом и повреждениями спинного мозга. При этом используется биологическая обратная связь, которая вызывает саморегуляцию мозговой активности. Обычные последствия инсульта — дефицит подвижности на одной стороне тела, ненормальный мышечный тонус, неправильная корректировка позы, недостаток координации и чувствительности. В результате инсульта половина пациентов навсегда остаются в инвалидном кресле. Благодаря интерфейсам люди могут не только управлять вспомогательными устройствами (протезами, экзоскелетами), но и восстанавливать двигательные функции за счет активации пластических механизмов и изменения топологии нейронных сетей мозга.

Недостаток ЭЭГ для этих случаев — низкая точность метода, то есть недостаточно точная локализация источников активности в мозге. Поэтому для нейрореабилитации была бы полезна регистрация гемодинамической активности, измеряемая с помощью фМРТ — но это стационарная, сложная и дорогая техника. Возможное решение — использование NIRS, ближней инфракрасной спектроскопии, чтобы позволить пользователю преднамеренно регулировать свои гемодинамические реакции. При этом мозг учится, а именно — тренируется управлять своим кровоснабжением. Это было показано и для здоровых людей, и для постинсультных пациентов. Нейронная обратная связь на основе NIRS может быть использована и для долгосрочного обучения. Например, в последних работах нашей лаборатории было показано, что, используя биологическую обратную связь, можно до определенных пределов продлить степень концентрации внимания человека при решении монотонной задачи. Хотя за все приходиться платить: за счет ограниченного когнитивного ресурса мозга при этом сама степень концентрации уменьшалась.

Интерфейс оценивает человека

Задача пассивного интерфейса — работа со здоровыми людьми, а цель — повышения когнитивных способностей во время деятельности, связанной с высокой нагрузкой. С помощью такого интерфейса можно следить за концентрацией внимания, за когнитивным утомлением, вообще за эмоциональным состоянием оператора. Пассивные интерфейсы уже используются для оценки состояния водителей, используются они и в авиации для мониторинга состояния пилотов и диспетчеров. Интересное направление — мониторинг состояния студентов и школьников в процессе обучения.

Пассивные интерфейсы могут быть использованы и более широко — для мониторинга эмоционального состояния человека. Анализируя сигналы ЭЭГ, удается распознать до шести эмоций. Например, предложены системы, позволяющие различать эмоции счастливый / несчастливый, вызванные картинками и музыкой. В медицине такие системы помогут в диагностике депрессии и шизофрении. Возможны и не медицинские применения, для развлечений и игр. Было бы интересно исследовать влияние различных внешних стимулов и внутренних особенностей человека на его эмоциональное состояние. Как это ни странно звучит, но когда-нибудь на этом пути мы сможем определять, как сделать конкретного человека счастливым. То есть система сможет подбирать музыку, книги и игры так, чтобы сделать нас счастливыми.

Не голова, а компьютер

Нейроинтерфейсы — технологии, позволяющие связать мозг и компьютер, — постепенно становятся рутиной: мы уже видели, как с помощью мысленных приказов человек может управлять протезом или набирать текст на компьютере. Означает ли это, что уже скоро станут реальностью обещания фантастов, писавших о полноценном чтении мыслей с помощью компьютера или даже о переносе человеческого сознания в вычислительную машину? Этой же теме — «Дополненная личность» — в 2019 году посвящен конкурс научно-фантастических рассказов «Будущее время», организованный благотворительным фондом «Система». Вместе с организаторами конкурса редакция N + 1 разбиралась, на что способны современные нейроинтерфейсы и сможем ли мы действительно создать полноценную связь мозг-компьютер. А помогал нам в этом Александр Каплан, основатель первой в России лаборатории интерфейсов в МГУ имени Ломоносова.

«Взломать» тело

У Нила Харбиссона врожденная ахроматопсия, лишившая его цветного зрения. Британец, решив обмануть природу, вживил себе специальную камеру, преобразующую цвет в звуковую информацию и отправляющую ее во внутреннее ухо. Нил считает себя первым официально признанным государством киборгом.

В 2012 году в США Эндрю Шварц из Питсбургского университета продемонстрировал парализованную 53-летнюю пациентку, которая при помощи имплантированных в мозг электродов посылала сигналы роботу. Она научилась управлять роботом настолько, что смогла сама подать себе плитку шоколада.

В 2016 году в той же лаборатории 28-летний пациент с тяжелой травмой позвоночника протянул управляемую от мозга искусственную руку навестившему его Бараку Обаме. Сенсоры на кисти позволили пациенту почувствовать рукопожатие 44-го президента США.

Современные биотехнологии дают возможность людям «взломать» ограничения своего тела, создавая симбиоз между человеческим мозгом и компьютером. Похоже, все идет к тому, что биоинженерия скоро станет частью повседневной жизни.

Что будет дальше? Философ и футурист Макс Мор, последователь идеи трансгуманизма, с конца прошлого столетия развивал идею перехода человека на новую ступень эволюции при помощи, помимо прочего, компьютерных технологий. В литературе и кинематографе последних двух столетий проскальзывает похожая игра футуристического воображения.

В мире научно-фантастического романа Уильяма Гиббсона «Нейромант», опубликованного в 1984 году, разработаны имплантаты, позволяющие их носителю подключаться к интернету, расширять интеллектуальные возможности и заново переживать воспоминания. Масамуне Сиро, автор экранизированной недавно в США культовой японской сай-фай манги «Призрак в доспехах», описывает будущее, в котором любой орган можно заменить на бионику, вплоть до полного переноса сознания в тело робота.

Как далеко смогут зайти нейроинтерфейсы в мире, где, с одной стороны, незнание множит фантазии, а с другой, фантазии зачастую оказываются провидением?

Разность потенциалов

Центральная нервная система (ЦНС) — это сложнейшая коммуникативная сеть. В одном только мозге больше 80 миллиардов нейронов, а связей между ними — триллионы. Каждую миллисекунду внутри и снаружи любой нервной клетки меняются распределения положительно и отрицательно заряженных ионов, определяя то, как и когда она отреагирует на новый сигнал. В состоянии покоя нейрон имеет отрицательный потенциал относительно окружающей среды (в среднем -70 милливольт), или «потенциал покоя». Иными словами, он поляризован. Если нейрон получает электрический сигнал от другого нейрона, то, чтобы он был передан дальше, положительные ионы должны попасть внутрь нервной клетки. Происходит деполяризация. Когда деполяризация достигает порогового значения (примерно -55 милливольт, однако это значение может меняться), клетка возбуждается и впускает все больше положительно заряженных ионов, благодаря чему создается положительный потенциал, или «потенциал действия».

Потенциал действия

Studopedia.ru

Далее потенциал действия по аксону (каналу связи клетки) передается в дендрит — канал-реципиент следующей клетки. Однако аксон и дендрит не связаны напрямую, и электрический импульс не может просто перейти от одного к другому. Место контакта между ними называется синапсом. Синапсы производят, передают и принимают нейромедиаторы — химические соединения, осуществляющие непосредственную «переправку» сигнала от аксона одной клетки к дендриту другой.

Когда импульс доходит до окончания аксона, тот выпускает в синаптическую щель нейромедиаторы, преодолевающие пространство между клетками и прикрепляющиеся к окончанию дендрита. Они вынуждают дендрит впустить внутрь положительно заряженные ионы, перейти из потенциала покоя к потенциалу действия и передать сигнал в тело клетки.

От типа нейромедиатора также зависит, какой сигнал будет отправлен дальше. Например, глутамат приводит к возбуждению нейронов, гамма-аминомасляная кислота (ГАМК) является важнейшим тормозным медиатором, а ацетилхолин способен делать и то, и другое в зависимости от ситуации.

Так схематически выглядит нейрон:

Схема нейрона

Wikimedia commons

А так он выглядит в реальности:

Нейрон под микроскопом

Wikimedia commons

Более того, реакция клетки-реципиента зависит от количества и ритма поступающих импульсов, идущей от остальных клеток информации, а также от зоны мозга, из которой был отправлен сигнал. Различные вспомогательные клетки, эндокринная и иммунная системы, внешняя среда и предыдущий опыт — все это определяет состояние ЦНС в данный момент и тем самым влияет на поведение человека.

И хотя, как мы понимаем, ЦНС — это не набор «проводов», работа нейроинтерфейсов основывается именно на электрической активности нервной системы.

Позитивный скачок

Основная задача нейроинтерфейса — декодировать электрический сигнал, поступающий от мозга. Программа имеет набор «шаблонов», или «событий», состоящий из различных характеристик сигнала: частот колебаний, спайков (пиков активности), локаций на коре и так далее. Программа анализирует поступающие данные и пытается обнаружить в них эти события.

От полученного результата, как и от функционала системы в целом, зависят посылаемые далее команды.

Примером такого шаблона является вызванный потенциал P300 (Positive 300), часто используемый для так называемых спеллеров — механизмов набора текста при помощи сигналов мозга.

Когда человек видит на экране нужный ему символ, через 300 миллисекунд на записи активности мозга можно обнаружить позитивный скачок электрического потенциала. Обнаружив P300, система посылает команду о печати соответствующего символа.

При этом с одного раза обнаружить потенциал алгоритм не может из-за зашумленности сигнала случайной электрической активностью. Поэтому символ необходимо предъявить несколько раз, а полученные данные — усреднить.

Помимо одномоментного изменения потенциала, нейроинтерфейс может искать изменения в ритмической (то есть осцилляторной) активности мозга, вызванные определенным событием. Когда достаточно большая группа нейронов входит в синхронный ритм колебаний активности, то это можно обнаружить на спектрограмме сигнала в виде ERS (event-related synchronisation). Если же, наоборот, происходит рассинхронизация колебаний, то на спектрограмме присутствует ERD (event-related desynchronisation).

В момент, когда человек производит или просто представляет движение рукой, в двигательной коре противоположного полушария наблюдается ERD на частоте колебаний примерно 10–20 герц.

Этот и иные шаблоны могут быть заданы программе вручную, но зачастую они создаются в процессе работы с каждым конкретным индивидом. Наш мозг, как и особенности его активности, индивидуален и требует адаптации системы к нему.

Записывающие электроды

Большинство нейроинтерфейсов для записи активности используют электроэнцефалографию (ЭЭГ), то есть неинвазивный метод нейровизуализации — в силу его относительной простоты и безопасности. Электроды, прикрепленные к поверхности головы, регистрируют изменение электрического поля, вызванное изменением потенциала дендритов после того, как потенциал действия «перебрался» через синапс.

В момент, когда положительные ионы проникают в дендрит, в прилегающей к нему внешней среде образуется отрицательный потенциал. На другом конце нейрона ионы с тем же зарядом начинают покидать клетку, создавая снаружи положительный потенциал, и окружающее нейрон пространство превращается в диполь. Электрическое поле, распространяющееся от диполя, регистрируется электродом.

К сожалению, метод обладает рядом ограничений. Череп, кожа и остальные слои, отделяющие нервные клетки от электродов, хоть и являются проводниками, но не настолько хорошими, чтобы не искажать информацию о сигнале.

Электроды способны регистрировать только суммарную активность множества соседних нейронов. Основной вклад в результат измерения дают нейроны, расположенные в верхних слоях коры, чьи отростки перпендикулярны к ее поверхности, потому что именно они создают диполь, электрическое поле которого сенсор может уловить лучше всего.

Все это приводит к потере информации из глубинных структур и снижению точности, поэтому система вынуждена работать с неполными данными.

Инвазивные электроды, имплантируемые на поверхность или непосредственно внутрь мозга, позволяют добиваться куда большей точности.

Если нужная функция связана с поверхностными слоями мозга (например, двигательная или сенсорная активность), то имплантация ограничивается трепанацией и прикреплением электродов к поверхности коры. Сенсоры считывают суммарную электрическую активность многих клеток, но этот сигнал не так искажен, как при ЭЭГ.

Если же важна активность, расположенная глубже, то электроды внедряют внутрь коры. Возможна даже регистрация активности единичных нейронов при помощи специальных микроэлектродов. К сожалению, инвазивная методика представляет потенциальную опасность для человека и применяется в медицинской практике только в крайних случаях.

Однако есть надежда, что в будущем методика станет менее травмирующей. Американская компания Neuralink планирует осуществить идею безопасного внедрения тысяч тонких гибких электродов без сверления черепа, при помощи лазерного луча.

Еще несколько лабораторий работают над созданием биоразлагаемых сенсоров, что позволит удалять электроды из мозга.

Банан или апельсин?

Запись сигнала — это только первый этап. Далее необходимо его «прочесть», чтобы определить намерения, которые за ним стоят. Есть два возможных пути декодирования активности мозга: позволить алгоритму самому вычленить из набора данных релевантные характеристики или же дать системе описание параметров, которые надо искать.

В первом случае алгоритм, не ограниченный параметрами поиска, сам классифицирует «сырой» сигнал и найдет элементы, предсказывающие намерения с наибольшей вероятностью. Если, например, испытуемый попеременно думает о движении правой и левой рукой, то программа способна найти параметры сигнала, максимально отличающие один вариант от другого.

Проблема этого подхода заключается в слишком высокой многомерности параметров, описывающих электрическую активность мозга, и большой зашумленности данных различными помехами.

При втором алгоритме декодирования необходимо заранее знать, где и что искать. Например, в описанном выше примере спеллера P300 мы знаем, что при виде нужного человеку символа электрический потенциал изменяется определенным образом. Мы учим систему искать эти изменения.

В подобной ситуации возможность расшифровать намерения человека завязана на наших знаниях о том, как функции мозга закодированы в нейронной активности. Как то или иное намерение или состояние проявляется в сигнале? К сожалению, в большинстве случаев у нас нет ответа на этот вопрос.

Нейробиологические исследования когнитивных функций активно ведутся, но тем не менее, мы можем расшифровать очень малую долю сигналов. Мозг и сознание остаются для нас пока «черным ящиком».

Александр Каплан, нейрофизиолог, доктор биологических наук и основатель лаборатории нейрофизиологии и нейроинтерфейсов МГУ имени Ломоносова, получивший первый в России грант на разработку нейроинтерфейса для связи мозга и компьютера, рассказывает, что исследователям удается по признакам ЭЭГ автоматически расшифровывать некоторые намерения человека или мысленно представляемые им образы.

Однако на данный момент таких намерений и образов набралось не более десятка. Это, как правило, состояния, связанные с расслаблением и умственным напряжением или с представлением движений частей тела. И даже их распознавание происходит с ошибками: например, установить по ЭЭГ, что человек намерен сжать в кулак правую кисть, даже в самых лучших лабораториях удается не более чем в 80-85 процентах случаев от общего числа попыток.

А если попробовать понять по ЭЭГ, представляет себе человек банан или апельсин, то количество правильных ответов лишь слегка превысит уровень случайного угадывания.

Главное препятствие — это отсутствие ключей к расшифровке сигналов, которыми общаются между собой нервные клетки. Не зная кодов, невозможно подключиться к потокам информации. Проблема здесь не в том, что эти ключи трудно подобрать, а в исходном их отсутствии. В каждой паре нервных клеток их взаимное понимание обусловлено не только пробегающими между ними нервными импульсами, но и их взаимодействием с тысячами других нервных клеток. Это взаимодействие ежесекундно модифицируется, реагируя на мимолетные мыслей, колики в животе, дуновения ветра. Как это учесть, чтобы правильно подключиться к мозгу?

Александр Каплан,
основатель лаборатории нейрофизиологии и нейроинтерфейсов МГУ имени Ломоносова

Самое печальное в том, что повысить надежность нейроинтерфейсных систем в деле распознавания намерений человека по ЭЭГ и расширить список таких намерений не удается вот уже более 15 лет, несмотря на значительные успехи в развитии алгоритмики и вычислительной техники, достигнутые за это же время.

Видимо, в ЭЭГ отражается лишь малая часть мыслительной деятельности человека. Потому и к нейроинтерфейсным системам следует подходить с умеренными ожиданиями и четко очерчивать сферы их реального применения.

Трудности перевода

Почему мы не можем создать систему, делающую то, что с легкостью осуществляет мозг? Если вкратце, то схема работы мозга слишком сложна для наших аналитических и вычислительных возможностей.

Во-первых, мы не знаем «языка», на котором общается нервная система. Кроме импульсных рядов, его характеризует множество переменных: особенности путей и самих клеток, химические реакции, происходящие в момент передачи информации, работа соседних нейронных сетей и других систем организма.

Помимо того, что «грамматика» этого «языка» сама по себе сложна, у разных пар нервных клеток он может отличаться. Ситуация усугубляется тем, что правила коммуникации, а также функции клеток и отношения между ними — все это очень динамично и постоянно меняется под воздействием новых событий и условий. Это экспоненциально увеличивает количество информации, которую необходимо принимать в расчет.

Данные, полностью описывающие активность мозга, просто утопят любой алгоритм, который возьмется за их анализ. Поэтому декодирование намерений, воспоминаний, движений оказывается практически нерешаемой задачей.

Если импульсы передаются от одного компьютера в другой, то можно по адресам, по протоколам понять, что это, например, переброска из одних адресов памяти в другие адреса памяти, потому что протокол обмена и формат данных нам об этом свидетельствует. В случае мозга нет никаких шансов сделать прямую связь так, как связываются два процессора. Поэтому нет никаких теоретических предпосылок к тому, что информация из мозга потечет в компьютер, а из компьютера в мозг. Нет форматов данных, нет адресов, нет кодов.

Александр Каплан

Второе препятствие заключается в том, что мы и о самих функциях мозга, которые пытаемся обнаружить, не очень много знаем. Что такое память или зрительный образ, из чего они состоят? Нейрофизиология и психология давно пытаются ответить на эти вопросы, но пока большого продвижения в исследованиях нет.

Когда мы создаем зрительный образ — где он? Во всей голове. Потому что он синтетический: в него вплетаются не только зрительные, но и тактильные, обонятельные и другие ощущения. И как же мы будем подключаться?

Мозг это не та система, которая может поддаться таким элементарным процедурам, какие используются для тренировки распознавания номеров пролетающих мимо автомобилей. В ходе таких тренировок нейросетям много раз предъявляют номера и каждый раз говорят, что это за номера.

В нашем случае надо эти нейросети подключить к нейронам, много раз давать разную электрическую активность и каждый раз говорить, что она означает. Но мы-то этого не знаем. Вся мощь компьютеров и алгоритмики нейросетей оказывается бесполезна, потому что мы даем эти импульсы и не говорим, что они означают.

Александр Каплан

Простейшие функции вроде двигательных и сенсорных имеют в этом смысле преимущество, так как они лучше изучены. Поэтому имеющиеся на данный момент нейроинтерфейсы взаимодействуют в основном с ними.

Они способны распознавать тактильные ощущения, воображаемое движение конечностью, ответ на зрительную стимуляцию, а также простые реакции на события внешней среды вроде реакции на ошибку или на рассогласование между ожидаемым стимулом и реальным. Но высшая нервная деятельность остается на сегодня для нас большой тайной.

Двусторонняя связь

До сих пор мы обсуждали только ситуацию одностороннего считывания информации без какого-либо обратного воздействия. Однако сегодня уже существует технология передачи сигналов от компьютера в мозг — CBI (computer-brain interface). Она делает канал связи нейроинтерфейса двусторонним.

Информация (например, звук, тактильные ощущения и даже данные о работе мозга) поступает в компьютер, анализируется и через стимуляцию клеток центральной или периферической нервной системы передается в мозг. Все это может происходить полностью в обход естественных органов восприятия и успешно используется для их замещения.

По словам Александра Каплана, в настоящее время уже нет теоретических ограничений для оснащения человека искусственными сенсорными «органами», подключенными непосредственно к мозговым структурам. Более того, они активно внедряются в повседневную жизнь человека, например для замещения нарушенных естественных органов чувств.

Людям с нарушениями слуха уже сегодня доступны так называемые кохлеарные имплантаты: микрочипы, объединяющие микрофон со слуховыми рецепторами. Начато тестирование ретинальных имплантов для восстановления зрения.

По мнению Каплана, нет технических ограничений и для подключения к мозгу любых других сенсоров, реагирующих на ультразвук, изменение радиоактивности, скорости или давления.

Проблема в том, что эти технологии приходится полностью основывать на имеющихся у нас знаниях о работе мозга. Которые, как мы уже выяснили, довольно ограничены.

Единственный вариант обхода этой проблемы, по мнению Каплана, — создать принципиально новый канал связи, со своим языком общения, и учить распознавать новые сигналы не только компьютер, но и мозг.

Есть надежда на то, что благодаря чрезвычайно подвижной архитектонике межнейронных связей, модифицирующихся чуть ли не каждую секунду, с одной стороны, и последним достижениям в области разработки технологий машинного обучения, с другой стороны, станет возможным построение самообучающегося канала связи между мозгом и компьютером.

Александр Каплан

Такие разработки уже начаты. К примеру, в лаборатории прикладной физики Университета Джона Хопкинса несколько лет назад протестировали бионическую руку, способную передавать тактильную информацию в мозг.

Во время прикосновения к сенсорам искусственной руки электроды стимулируют пути периферической нервной системы, передающие далее сигнал в сенсорные зоны мозга. Человек учится распознавать поступающие сигналы как разные виды прикосновения. Таким образом, вместо попытки воспроизвести тактильную систему сигналов, естественную для человека, создается новый канал и язык коммуникации.

Однако этот путь развития ограничен числом новых каналов, которые мы можем создать, и тем, насколько информативными для мозга они будут, говорит Александр Каплан.

Можно раздражать с какой-то частотой какую-то группу клеток, но это же не естественный код. Поэтому никакой информации компьютер таким образом не передает. Во всех этих ситуациях можно очень грубо обучать мозг. Но обучить на все случаи жизни, как он обучен воспринимать природу, невозможно. Так что тут тоже нет шансов подобрать эти коды так, чтобы мозг понял, о чем компьютер хочет ему сообщить.

Александр Каплан

Будущее время

Каплан считает, что на данный момент нового пути развития технологий нейроинтерфейса не видно. По его словам, сама возможность интерфейса для связи мозга и компьютера была открыта в 70-х годах прошлого века, а принципы работы мозга, на которых основаны сегодняшние разработки, описаны около тридцати лет назад, и с тех пор новых идей практически не появлялось.

Так, широко применяемый сейчас потенциал Р300 было открыт в 1960-х, воображение движения (motor imagery) — в 1980-х-1990-х, а негативность рассогласования (mismatch negativity) — в 1970-х годах).

Когда-то ученые питали надежды, что им удастся наладить более плотный информационный контакт мозга с процессорной техникой, но сегодня стало ясно, что они не оправдались.

Однако, говорит Каплан, пришло понимание, что нейроинтерфейсы можно реализовать для медицинского применения. По мнению ученого, сейчас развитие нейроинтерфейсов в наибольшей мере идет по линии внедрения технологии в клиническую сферу.

«Футуристический мозг» — это здоровый мозг, даже в самом преклонном возрасте человека. В настоящее время нейродегенеративные заболевания, снижающие продуктивность работы мозга, распространяются еще быстрее, чем увеличивается возраст человека. Представьте, сколько можно было бы сделать в любом возрасте, если бы не ухудшение памяти, не замедление мышления, не расстройства внимания и не снижение интеллектуальных способностей. И все это как раз тогда, когда уже набран профессиональный опыт, когда накоплены необходимые знания, когда любой человек уже близок к самым высоким интеллектуальным достижениям.

Поэтому здоровый мозг – это новый потенциал человека и на сегодняшний день — главная задача современных нейротехнологий. Заложенный природой полный потенциал мозга человека далеко еще не исчерпан, а технологии искусственного интеллекта могут обеспечить раскрытие этого потенциала и без вживляемой в мозг электроники.

Александр Каплан

Тем не менее, благодаря исследованиям мозга и развитию технологий сегодняшние нейроинтерфейсы способны на то, что когда-то казалось неосуществимым. Мы не знаем наверняка, что ждет нас через 30, 50 или 100 лет. Историк науки Томас Кун выдвинул идею о том, что развитие науки — это цикл: периоды стагнации сменяются парадигмальными сдвигами и идущими следом научными революциями. Вполне возможно, в будущем нас ждет революция, которая позволит вынуть мозг из черного ящика. Причем придет она с самой неожиданной стороны.

Мария Ермолова

Нейро-компьютерный интерфейс как глобальный двигатель прогресса / Habr

Нейро-компьютерный интерфейс (НКИ) (называемый также прямой нейронный интерфейс, мозговой интерфейс, интерфейс «мозг — компьютер») – устройство или принцип работы, предназначенный для обеспечения односторонней или двухсторонней связи между мозгом и электронным устройством.

Другими словами, НКИ — это некоторый механизм, позволяющий управлять техникой с помощью " силы мысли". Исследования этой области начались в 1970-х годах в Калифорнийском университете в Лос-Анджелесе (UCLA). В середине 1990-х были разработаны устройства, которые позволили восстановить поврежденные функции слуха, зрения, а также утраченные двигательные навыки.

Одной из главных причин, по которой НКИ станет катализатором научно-технического прогресса, является широкая область применимости данной технологии.

Одно из самых перспективных направлений развития НКИ является медицина. НКИ позволит создавать протезы с высокой отзывчивостью, манипулировать подобного рода протезами можно будет наравне с здоровыми органами. Вопросами создания и имплантирования различных искусственных устройств для восстановления нарушений функций нервной системы и сенсорных органов занимается область неврологии – нейропротезирование. Самым распространенным нейропротезом является кохлеарный имплантат, который используется для компенсирования потери слуха некоторым пациентам с выраженной или тяжёлой степенью нейросенсорной (сенсоневральной) тугоухости.

Однако медицинские НКИ могут найти применение не только в медицине. На основе технологий нейропротезирования в последствии возможно создание систем управления гуманоидными роботами. Так, например, в 2000-ом году, исследовательской группе Мигеля Николесиса удалось воспроизвести движение передних конечностей обезьяны. Система работала в реальном времени и использовалась для управления роботом по средствам интернет соединения. На практике подобного рода роботы могут быть использованы при высокоточных работах, в местах, где прибывание человека невозможно. Так же, как и в случае с нейропротезами, НКИ позволит обеспечить более высокую точность и отзывчивость, что в значительной степени повысит эффективность работы оператора.

Развитие НКИ в сторону распознания мыслительных образов должно дать мощный толчек в развитии областей, связанных с моделированием и проектированием. НКИ позволит в значительной степени ускорить и упростить процесс создания моделей и чертежей. Ощутимый прогресс в данном направлении имеет группа NeuroG; группа занимается созданием алгоритмов для распознания зрительных образов, а 25 апреля 2011 года состоялась первая публичная демонстрация работы устройства по распознанию мыслительных образов. К сожалению, на тот момент, устройство распознавало только 4 изображения.

Следующий способ практического применения НКИ трудно отнести к какой либо конкретной области. Речь идет о хранении и передачи знаний и опыта. Развитие НКИ в данном направлении позволит сократить длительность обучения, а также позволит создавать продвинутые базы знаний, которые будут включать в себя опыт и знания других специалистов в данной предметной области. Сама возможность использования НКИ для передачи опыта была подтверждена Мигелем Николелисом и Михаилом Лебедевым с коллегами из отдела нейробиологи университета Дьюка (США). Ими была опубликована научная работа с описанием первого в мире интерфейса для передачи сигналов из мозга в мозг через интернет. В процессе эксперимента первая крыса (кодер) в университете Дюка осуществляла сенсомоторные задачи, требующие выбора из двух вариантов с использованием тактильных или визуальных стимулов. В процессе выполнения кодером задачи образцы мозговой активности передавались в соответствующие области мозга второй крысы (декодера) с помощью интракортикальных стимуляций (ICMS). При этом крыса-декодер физически находилась в Бразилии.

Так как работа НКИ связана с непосредственным воздействием на нервную систему человека, наиболее вероятным способом организации двусторонней связи человека с компьютером будет имплантирование модуля способного перехватывать, принимать (при необходимости обрабатывать) и передавать сигналы нервной системы.

Согласно опросу, проведенному в интернете, 72% опрошенных считают, что НКИ окажут положительное влияние на развитие науки-техники и жизни целом, 10% ответили отрицательно, 18% затруднились дать ответ на вопрос, однако на вопрос о согласии на имплантирование модуля, позволяющего использовать НКИ, положительно ответили только 35%, 24% ответили отказом, 32% затруднились дать ответ, 9% предложили свои варианты. В результате беседы с респондентами были выявлены основные причины, по которым люди затруднились ответить или дали отрицательный ответ:

1. Не желание людей становится ''киборгами'', т. е. модифицировать свое тело искусственным способом;
2. Страх потерять свободу воли и стать подконтрольным хакеру.

Список литературы

1. Староха А. В., Давыдов А. В. Кохлеарная имплантация — перспективное направление слухопротезирования//Бюллетень сибирской медицины.— 2004.— №4.— С.34—38
2. Carmena, J.M., Lebedev, M.A., Crist, R.E., O’Doherty, J.E., Santucci, D.M., Dimitrov, D.F., Patil, P.G., Henriquez, C.S., Nicolelis, M.A.L. (2003) Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology, 1: 193—208.
3. Еникеева, Альфия «Российские учёные научат компьютер читать мысли», «Наука и технологии России», 2011-04-27
4. Miguel Pais-Vieira, Mikhail Lebedev, Jing Wang, Miguel A. L. Nicolelis «A Brain-to-Brain Interface for Real-Time Sharing of Sensorimotor Information», 2013-02-28

Нейроинтерфейсы. Искусство читать мысли - Hitecher

Компьютер часто сравнивают с мозгом, а с недавнего времени эти системы — биологическую и механическую — можно еще и соединить. Какие же возможности дает эта технология и какие вызовы ставит перед человечеством?

Высокие технологии играют все большую роль в нашей жизни. То, что еще несколько лет назад казалось фантастикой, сегодня — необходимость, без которой невозможно обойтись в быту. Идея о подключении живого человеческого мозга к вычислительной машине звучит пугающе и может оказаться непонятой частью общества. Но пока есть по-настоящему нуждающиеся в этой технологии люди, принятие новшества остается лишь делом времени.

Что такое нейрокомпьютерный интерфейс?

Нейрокомпьютерный интерфейс — это система прямого обмена информацией между мозгом и электронным прибором. В широком смысле под ней можно понимать искусственные аналоги органов чувств (например бионический глаз) и другие приборы. Эти устройства однонаправленные и давно используются в медицине.

Куда больший интерес представляют двунаправленные интерфейсы, позволяющие и разуму, и внешней технике как принимать сигналы, так и служить их источником. Такими полноценными путями сообщения между «серым веществом» и внешним миром давно грезили фантасты, а с недавних пор и ученые.

Такие интерфейсы работают благодаря регистрации электрической активности мозга. Наши мысли и желания отображаются на электроэнцефалограмме (ЭЭГ), которая расшифровывается компьютером.

Краткая история нейроинтерфейсов

Как мы уже выяснили, нейрокомпьютерные интерфейсы неразрывно связаны с ЭЭГ. Поэтому, чтобы понять, как человечество пришло к идее подключить мозг к машине, нужно проследить историю развития данной технологии.

История электроэнцефалограмм

ЭЭГ уходит корнями в Германию, где проживал ученый-физиолог по имени Эмиль Генрих Дюбуа-Реймон. Именно этому человеку мы обязаны электрофизиологией.

В 1849 году Дюбуа-Реймон установил, что человеческий мозг обладает электрогенными свойствами. Это отправная точка в исследовании электрогенеза — возможности мозга генерировать ток. Также ученый впервые выявил некоторые закономерности, характеризующие электросигналы в человеческих нервах и мышцах.

Чтение мыслей и запись ложных воспоминаний. На что способны нейроинтерфейсы будущего?

Идеями совместить живой мозг и компьютер последние десятилетия грезят не только фантасты, но и ученые. Мощь компьютеров и современных технологий, вживленных в человеческий мозг, позволит не только расширить возможности человека как вида, но и поможет решить более насущные проблемы парализованных или незрячих людей. Телепатия, ложные воспоминания, управление предметами силой одной мысли... Все это так далеко и одновременно так близко.

Путь к изучению мозга — километр, мы прошли 3 см

Давайте будем откровенны: машины выполняют работу лучше, чем люди. Заводские роботы высвободили наши руки, автомобили высвободили наши ноги. И сделано это благодаря изобретениям, придуманным человеческим мозгом. Как раз таки он и является следующим рубежом, который машинам предстоит разгрузить, починить и улучшить.

Молекулярный биолог Джефф Лихтман из Гарварда, начиная курс лекций перед новыми студентами, играет с ними в небольшую «угадайку». Он предлагает им представить весь путь до полного изучения мозга как 1 км и предположить, какое же расстояние на этом отрезке преодолело человечество. Студенты выдают самые разные ответы: треть километра, две трети, 900 метров. Но всех их профессор огорчает и немного шокирует: по его прикидкам — всего 3 см.

В Гарварде, конечно, речь идет о милях и дюймах, но это не существенно. Главное, что профессор демонстрирует, как мало мы знаем о том, что позволяет нам постигать и приумножать знания. Нейробиолог Моран Серф и вовсе считает, что если бы человеческий мозг был настолько простым, что мы смогли бы его понять, то мы сами были бы настолько простыми, что не смогли бы его понять. Да, эти ученые крайне любят каламбурить, когда речь идет о вещах, полное понимание которых займет у нас десятилетия.

Нейросеть с квадриллионом связей

Чтобы понять, как сложно связать компьютер с мозгом человека, придется сперва уяснить самые базовые принципы устройства последнего.

Мозг состоит из различных участков, которые наслаивались друг на друга в процессе эволюции нашего вида. Выделяют рептильный мозг, лимбическую систему (мозг млекопитающего) и относительно молодой неокортекс — новую кору (мозг человека). Самые древние участки, например, отвечают за такие банальные вещи, как дыхание, кровяное давление, сердцебиение, а самый молодой сегмент делает из нас человека разумного — позволяет мыслить и говорить.

Если взглянуть на мозг еще ближе, то мы обнаружим, что серое вещество состоит из миллиардов нейронов — крохотных клеток, которые связаны между собой дендритами и аксонами. По ним-то и проходит информация в виде электрических сигналов, которая обрабатывается нейронами. Каждый нейрон тем временем может иметь тысячи синаптических связей со своими «коллегами».

Помните, мы рассказывали вам про нейросети? Так вот, человеческий мозг — самая сложная нейросеть, созданная природой. Она насчитывает около 85 млрд нейронов. Представляете, сколько там связей? Квадриллион! Просто ад для сисадмина, который попытается все это упорядочить. Да и будь у него все время мира, вряд ли какой-нибудь человек согласился бы так долго сидеть перед сисадмином с откинутой черепушкой.

Слепой в библиотеке

Ученые понимают, как работает каждый отдельный нейрон, как они общаются друг с другом. Но схема электрической активности в мозгу каждого человека выстроена по-своему, то есть в каждом конкретном случае мозг управляет вверенным ему хозяйством по-особому. А когда дело доходит до сознания, памяти, арифметики… Могут ли машины осознать, что они являются машинами? Может ли мозг понять сам себя?

Понять мозг трудно еще и потому, что мы не можем построить карту его активности в высоком пространственном и временнóм разрешении. Аппараты МРТ, стреляющие в мозг радиоимпульсами, а затем анализирующие эхо, могут похвастаться высокой точностью построения воксела на трехмерной картине мозга. Но на снимок уходит почти секунда, тогда как электрические сигналы в мозге возникают почти мгновенно.

Датчики электроэнцефалограммы (ЭЭГ, сеточка с электродами на голове) мгновенно регистрируют активность в мозге, но обладают низким пространственным разрешением: источник сигналов глубоко внутри черепной коробки сложно идентифицировать. Конечно, можно вскрыть череп человека и разместить сеточку из электродов прямо на его мозге, чем и отличается метод электрокортикографии (ЭКоГ), но пространственное разрешение в таком случае увеличится не так сильно, как хотелось бы.

Существуют более глубокие инвазивные методы исследования активности в мозге, однако они также обладают недостатками, не позволяющими увидеть обширную и точную картину.

Нейроны, отвечающие за что-то конкретное, отыскать в мозге довольно сложно. Собственно, это объясняет и сложности в построении интерфейса, позволяющего мозгу напрямую разговаривать с компьютером. И если мы можем примерно понять, о чем говорит активность определенных участков мозга, то записать в него какую-то информацию либо изменить стимуляцию нейронов не так просто. Но возможно. И это ученые доказывают на практике.

Загрузка воспоминаний: 97%, 98%, 99%…

Наверное, наиболее известными трюками с памятью в популярной культуре можно назвать сюжеты из фильмов «Матрица» и «Вспомнить всё». В первом Нео обучается приемам восточных единоборств, загрузив их в свой мозг, а во втором герой Арнольда Шварценеггера оказывается жертвой ложных, записанных в его мозг воспоминаний.

Воспоминания хранятся в различных частях нашего мозга, где они разбиты по категориям: числа, буквы, имена, растения, эмоции. А поскольку категории эти формируются в процессе накопления опыта, то у разных людей они будут разными.

В 2011 году ученые сумели записать воспоминание мыши и сохранить его в цифровом виде на компьютере. В 2015-м международная группа нейрофизиологов опубликовала свое исследование по вставке ложных воспоминаний в мозг мыши. Ученые наблюдали за активностью в ее гиппокампе во время сна и за «центром навигации» во время бодрствования. А затем связали воспоминание об определенном уголке клетки с ложным ощущением удовольствия. По итогу грызуны начинали проводить больше времени именно в этом фиктивном уголке клетки.

Совсем недавно группа американских ученых отчиталась об использовании нейроимпланта, который улучшает память на 15%. Девайс работает как стимулятор, посылая в мозг электрические импульсы, чтобы помочь ему именно в те моменты, когда он пытается сохранить новую информацию. 15% — это примерно тот показатель усвоения информации, которого лишаются пациенты с болезнью Альцгеймера в первые два с половиной года.

Имплант базируется на годах работы по декодированию сигналов мозга, которая спонсируется Министерством обороны США. Это важный заказчик разработок в сфере нейроинтерфейсов.

Но пока обсуждения коммерческого применения аппарата только ведутся, а тесты проводятся на больных эпилепсией. Они, стоит отметить, частенько выступают подопытными для тестирования всевозможных полуинвазивных нейроинтерфейсов. Это когда проникают под череп, но не в сам мозг.

Дело в том, что эпилептики могут проводить с открытым мозгом довольно долгое время (вплоть до нескольких недель). В этот период на поверхности органа располагается матрица из электродов, которые отслеживают активность в мозге. И когда случается очередной приступ, врачи могут понять, чем он вызван, и принять решение о хирургическом вмешательстве. С согласия пациентов этот период нередко используется когнитивистами для тестов на память и записи результатов.

Ловкость руки и никакого мошенничества

В 2012 году настоящий фурор в СМИ вызвала история Кэти Хатчинсон — пленницы своего тела. Парализованная к тому времени более десятка лет, девушка, сохранив трезвый ум, потеряла контроль над большинством своих мышц. Однако ученые из Университета Брауна поместили на поверхность мозга Кэти чип BrainGate площадью меньше монетки, который позволил пациентке самостоятельно (и это главное!) управлять механической рукой.

Клинические исследования BrainGate продолжаются. Последнее достижение — серьезное ускорение калибровки импланта. Участникам эксперимента с параличом всех конечностей удалось взять под контроль силой мысли компьютерный курсор после всего лишь одной простой калибровки. 63-летний мужчина смог передвинуть его просто представив, как двигает рукой манипулятор. До этого калибровка заняла 37 секунд.

Такого эффекта удается добиться в том числе потому, что двигательная кора головного мозга за столько лет уже хорошо изучена. По этой причине считывающие электроды можно с легкостью поместить на нейроны, управляющие нужной конечностью. И вуаля! Развитие технологии движется семимильными шагами, оставляя надежду для сотен тысяч и даже миллионов людей по всему миру однажды снова начать двигаться самостоятельно при помощи экзоскелетов, управляемых мыслью.

Припомните, ведь такое уже было. В 2014 году чемпионат мира по футболу в Бразилии открыл как раз такой человек. Джулиано Пинто парализован ниже пояса, но благодаря прославленному нейрофизиологу и конструктору нейроинтерфейсов Мигелю Николелиса он смог выйти на поле и ударить по мячу. Контролировать экзоскелет силой мысли Пинто учился на протяжении нескольких месяцев, а по итогу во время трансляции телевизионщики уделили этому событию одно мгновение.

В 2013 году ученые из Университета Вашингтона провели еще один интересный эксперимент, установив связь «мозг — мозг» между двумя людьми через интернет. Первый ученый в ЭЭГ-шлеме двигал рукой вправо. Сигнал со шлема по интернету передавался другому ученому посредством магнитного импульса из прибора, размещенного над участком мозга, отвечающим за движения правой рукой. В результате она двигалась. Технически один человеческий мозг командовал другим.

Чтение мыслей на расстоянии

А сможем ли мы таким образом делиться своими эмоциями и другими невербальными сообщениями? Возможно, через некоторое время человечество объединится в единую телепатическую сеть, которая будет обмениваться идеями, сообщениями и чувствами с миллиардами людей на всей планете. Этакий коллективный разум, управляющий массами.

Но не пугайтесь, до этого еще далеко. Если с двигательным аппаратом ученые более-менее разобрались, то с сегментами, отвечающими за образы, все немного сложнее. Хотя и в этом направлении есть подвижки.

Профессор Джек Галлант из Калифорнийского университета в Беркли научился воспроизводить из мозговой активности то, что видит человек. Сперва испытуемому в аппарате МРТ долго показывают различные трейлеры с YouTube, фиксируя активность в головном мозге. Затем в дело вступает математическая формула, выработанная и «надрессированная» на десятках предыдущих испытуемых и снимках. Она находит связь между изображением на экране и снимками МРТ, активностью мозга. А затем пытается воссоздать то, что видит человек.

Конечно, о какой-либо четкости в деталях говорить пока не приходится, но похожие образы отыскать все же можно.

Соседи мистера Галланта пошли дальше и считывают целые слова из мозга пациентов, больных эпилепсией. С помощью ЭКоГ ученые записывают сигналы от мозга, когда пациентам говорят определенные слова. Когда слово повторяется, то и сигнал оказывается знакомым. А потому создать определенный словарь сигналов-слов-букв не представляется чересчур сложной задачей.

Правда, точность такого перевода далеко не во всех случаях стремится к 100%. Особенно если для этого используется неинвазивный метод с шапочками электродов на голове, а не мозге. Так, Guger Technologies демонстрировала одно время печатную машинку с мысленным вводом. Сообщалось, что за 10 минут тренировки скорость печати на такой установке могла бы достигнуть 30—50 знаков в минуту.

---

Пока мы очень слабо понимаем свой собственный мозг, чтобы грезить о слиянии с компьютерами и искусственным интеллектом в ближайшие годы. Но радует то, что самые смелые фантазии начинают воплощаться во вполне реальных экспериментах заслуживающих доверия людей.

Медицинские термометры в каталоге Onliner.by

Читайте также:

Наш канал в Telegram. Присоединяйтесь!

Быстрая связь с редакцией: читайте паблик-чат Onliner и пишите нам в Viber!

Перепечатка текста и фотографий Onliner.by запрещена без разрешения редакции. [email protected]

настоящее и будущее нейроинтерфейсов – ответы на главные вопросы

Шлем или чип: как выглядят нейроинтерфейсы

Вживлять в мозг чип, представляющий собой пакет электродов, контактов с нервными клетками, очень опасно. Инородные тела отторгаются организмом. Чип долго не проживет в мозге, максимум пару лет, и здоровому человеку он ни к чему. За последние 20 лет разработки нейроинтерфейсных систем такие электродные комплексы были вживлены в мозг только 15–20 пациентам. Это делалось по медицинским показаниям, в частности чтобы дать возможность парализованным пациентам управлять манипулятором.

Запроса от здорового человека на вживление таких устройств в мозг не может быть: ведь для этого нужно будет делать нейрохирургическую операцию. Мы достаточно комфортно чувствуем себя без этих электродов. Но, несмотря на это, десятки или даже сотни тысяч людей ходят сейчас с вживленными электродными комплексами — правда, совсем по иному поводу. Например, для предупреждения приступов эпилепсии. Дело в том, что, как правило, изначально эпилептический приступ возникает в глубоких структурах мозга и далее распространяется по всему мозгу — человек теряет сознание, бьется в судорогах. Если это происходит раз в месяц, с этим как-то можно смириться. Но если такое случается несколько раз в день, это уже не жизнь. Оказалось, что достаточно пропустить слабый электрический ток через тот участок мозга, в котором зарождается эпилептический приступ, чтобы этот приступ предотвратить. Для этой процедуры в мозг пациента вживляется электрод, с помощью которого обнаруживают ранние признаки развития судорожной активности, и тут же через этот электрод в эпилептический очаг подаются электрические импульсы от миниатюрного стимулятора, предварительно вживленного под кожу головы. Пациенты даже не замечают, в какой момент их мог настигнуть приступ, потому что он тут же купируется.

Так что сама технология вживленных электродных комплексов распространена, но совсем не для того, чтобы расширить человеку память, эргономически подстроить под него компьютер или чтобы он умел быстро набирать тексты силой мысли.

Устройство, которое считывает электрическую активность мозга с кожной поверхности головы, состоит из трех частей. Первая часть — электродный комплекс, представляющий собой некоторое количество маленьких металлических дисков, которые прикладываются прямо к кожной поверхности головы для регистрации электрического потенциала. Таких электродов можно разместить много — у меня в лаборатории, например, можно закрепить на голове до 130 таких электродов, но для коммуникационного нейроинтерфейса достаточно всего 8 электродов, чтобы человек мог набирать буквы мысленными усилиями. Электродный комплекс прижимается к кожной поверхности головы специальной резиновой шапочкой.

Вторая часть — устройство, к которому идут провода от электродов и которое должно значительно усилить сигналы мозговой активности, поскольку они очень слабые, одна миллионная вольта, — такой слабый сигнал компьютер просто не сможет принять, чтобы его обработать.

Третья часть этой системы — вычислительная техника: сигналы принимаются на вход, и из колебаний потенциалов все это превращается в цифры, которые описывают амплитуды этих потенциалов. Дальше идет цифровая обработка сигнала: вычисляются разные его количественные характеристики, определяется его сходство с другими сигналами и так далее — последнее можно выяснить, если заранее составить каталоги сигналов, которые мы зарегистрировали, когда, например, человек представлял движение правой или левой рукой. На выходе мы получаем команду, которую можно подавать к внешним исполнительным устройствам.

Что такое нейроинтерфейсы и что ждет их в будущем — Альтернативный взгляд Salik.biz

Нейроинтерфейсы — технологии, позволяющие связать мозг и компьютер, — постепенно становятся рутиной: мы уже видели, как с помощью мысленных приказов человек может управлять протезом или набирать текст на компьютере. Означает ли это, что уже скоро станут реальностью обещания фантастов, писавших о полноценном чтении мыслей с помощью компьютера или даже о переносе человеческого сознания в вычислительную машину? Этой же теме — «Дополненная личность» — в 2019 году посвящен конкурс научно-фантастических рассказов «Будущее время», организованный благотворительным фондом «Система». Вместе с организаторами конкурса редакция N + 1 разбиралась, на что способны современные нейроинтерфейсы и сможем ли мы действительно создать полноценную связь мозг-компьютер. А помогал нам в этом Александр Каплан, основатель первой в России лаборатории интерфейсов в МГУ имени Ломоносова.

- Salik.biz

«Взломать» тело

У Нила Харбиссона врожденная ахроматопсия, лишившая его цветного зрения. Британец, решив обмануть природу, вживил себе специальную камеру, преобразующую цвет в звуковую информацию и отправляющую ее во внутреннее ухо. Нил считает себя первым официально признанным государством киборгом.

В 2012 году в США Эндрю Шварц из Питсбургского университета продемонстрировал парализованную 53-летнюю пациентку, которая при помощи имплантированных в мозг электродов посылала сигналы роботу. Она научилась управлять роботом настолько, что смогла сама подать себе плитку шоколада.

В 2016 году в той же лаборатории 28-летний пациент с тяжелой травмой позвоночника протянул управляемую от мозга искусственную руку навестившему его Бараку Обаме. Сенсоры на кисти позволили пациенту почувствовать рукопожатие 44-го президента США.

Современные биотехнологии дают возможность людям «взломать» ограничения своего тела, создавая симбиоз между человеческим мозгом и компьютером. Похоже, все идет к тому, что биоинженерия скоро станет частью повседневной жизни.

Рекламное видео:

Что будет дальше? Философ и футурист Макс Мор, последователь идеи трансгуманизма, с конца прошлого столетия развивал идею перехода человека на новую ступень эволюции при помощи, помимо прочего, компьютерных технологий. В литературе и кинематографе последних двух столетий проскальзывает похожая игра футуристического воображения.

В мире научно-фантастического романа Уильяма Гиббсона «Нейромант», опубликованного в 1984 году, разработаны имплантаты, позволяющие их носителю подключаться к интернету, расширять интеллектуальные возможности и заново переживать воспоминания. Масамуне Сиро, автор экранизированной недавно в США культовой японской сай-фай манги «Призрак в доспехах», описывает будущее, в котором любой орган можно заменить на бионику, вплоть до полного переноса сознания в тело робота.

Как далеко смогут зайти нейроинтерфейсы в мире, где, с одной стороны, незнание множит фантазии, а с другой, фантазии зачастую оказываются провидением?

Разность потенциалов

Центральная нервная система (ЦНС) — это сложнейшая коммуникативная сеть. В одном только мозге больше 80 миллиардов нейронов, а связей между ними — триллионы. Каждую миллисекунду внутри и снаружи любой нервной клетки меняются распределения положительно и отрицательно заряженных ионов, определяя то, как и когда она отреагирует на новый сигнал. В состоянии покоя нейрон имеет отрицательный потенциал относительно окружающей среды (в среднем -70 милливольт), или «потенциал покоя». Иными словами, он поляризован. Если нейрон получает электрический сигнал от другого нейрона, то, чтобы он был передан дальше, положительные ионы должны попасть внутрь нервной клетки. Происходит деполяризация. Когда деполяризация достигает порогового значения (примерно -55 милливольт, однако это значение может меняться), клетка возбуждается и впускает все больше положительно заряженных ионов, благодаря чему создается положительный потенциал, или «потенциал действия».

Потенциал действия.

Далее потенциал действия по аксону (каналу связи клетки) передается в дендрит — канал-реципиент следующей клетки. Однако аксон и дендрит не связаны напрямую, и электрический импульс не может просто перейти от одного к другому. Место контакта между ними называется синапсом. Синапсы производят, передают и принимают нейромедиаторы — химические соединения, осуществляющие непосредственную «переправку» сигнала от аксона одной клетки к дендриту другой.

Когда импульс доходит до окончания аксона, тот выпускает в синаптическую щель нейромедиаторы, преодолевающие пространство между клетками и прикрепляющиеся к окончанию дендрита. Они вынуждают дендрит впустить внутрь положительно заряженные ионы, перейти из потенциала покоя к потенциалу действия и передать сигнал в тело клетки.

От типа нейромедиатора также зависит, какой сигнал будет отправлен дальше. Например, глутамат приводит к возбуждению нейронов, гамма-аминомасляная кислота (ГАМК) является важнейшим тормозным медиатором, а ацетилхолин способен делать и то, и другое в зависимости от ситуации.

Так схематически выглядит нейрон:

Схема нейрона.

А так он выглядит в реальности:

Нейрон под микроскопом.

Более того, реакция клетки-реципиента зависит от количества и ритма поступающих импульсов, идущей от остальных клеток информации, а также от зоны мозга, из которой был отправлен сигнал. Различные вспомогательные клетки, эндокринная и иммунная системы, внешняя среда и предыдущий опыт — все это определяет состояние ЦНС в данный момент и тем самым влияет на поведение человека.

И хотя, как мы понимаем, ЦНС — это не набор «проводов», работа нейроинтерфейсов основывается именно на электрической активности нервной системы.

Позитивный скачок

Основная задача нейроинтерфейса — декодировать электрический сигнал, поступающий от мозга. Программа имеет набор «шаблонов», или «событий», состоящий из различных характеристик сигнала: частот колебаний, спайков (пиков активности), локаций на коре и так далее. Программа анализирует поступающие данные и пытается обнаружить в них эти события.

От полученного результата, как и от функционала системы в целом, зависят посылаемые далее команды.

Примером такого шаблона является вызванный потенциал P300 (Positive 300), часто используемый для так называемых спеллеров — механизмов набора текста при помощи сигналов мозга.

Когда человек видит на экране нужный ему символ, через 300 миллисекунд на записи активности мозга можно обнаружить позитивный скачок электрического потенциала. Обнаружив P300, система посылает команду о печати соответствующего символа.

При этом с одного раза обнаружить потенциал алгоритм не может из-за зашумленности сигнала случайной электрической активностью. Поэтому символ необходимо предъявить несколько раз, а полученные данные — усреднить.

Помимо одномоментного изменения потенциала, нейроинтерфейс может искать изменения в ритмической (то есть осцилляторной) активности мозга, вызванные определенным событием. Когда достаточно большая группа нейронов входит в синхронный ритм колебаний активности, то это можно обнаружить на спектрограмме сигнала в виде ERS (event-related synchronisation). Если же, наоборот, происходит рассинхронизация колебаний, то на спектрограмме присутствует ERD (event-related desynchronisation).

В момент, когда человек производит или просто представляет движение рукой, в двигательной коре противоположного полушария наблюдается ERD на частоте колебаний примерно 10–20 герц.

Этот и иные шаблоны могут быть заданы программе вручную, но зачастую они создаются в процессе работы с каждым конкретным индивидом. Наш мозг, как и особенности его активности, индивидуален и требует адаптации системы к нему.

Записывающие электроды

Большинство нейроинтерфейсов для записи активности используют электроэнцефалографию (ЭЭГ), то есть неинвазивный метод нейровизуализации — в силу его относительной простоты и безопасности. Электроды, прикрепленные к поверхности головы, регистрируют изменение электрического поля, вызванное изменением потенциала дендритов после того, как потенциал действия «перебрался» через синапс.

В момент, когда положительные ионы проникают в дендрит, в прилегающей к нему внешней среде образуется отрицательный потенциал. На другом конце нейрона ионы с тем же зарядом начинают покидать клетку, создавая снаружи положительный потенциал, и окружающее нейрон пространство превращается в диполь. Электрическое поле, распространяющееся от диполя, регистрируется электродом.

К сожалению, метод обладает рядом ограничений. Череп, кожа и остальные слои, отделяющие нервные клетки от электродов, хоть и являются проводниками, но не настолько хорошими, чтобы не искажать информацию о сигнале.

Электроды способны регистрировать только суммарную активность множества соседних нейронов. Основной вклад в результат измерения дают нейроны, расположенные в верхних слоях коры, чьи отростки перпендикулярны к ее поверхности, потому что именно они создают диполь, электрическое поле которого сенсор может уловить лучше всего.

Все это приводит к потере информации из глубинных структур и снижению точности, поэтому система вынуждена работать с неполными данными.

Инвазивные электроды, имплантируемые на поверхность или непосредственно внутрь мозга, позволяют добиваться куда большей точности.

Если нужная функция связана с поверхностными слоями мозга (например, двигательная или сенсорная активность), то имплантация ограничивается трепанацией и прикреплением электродов к поверхности коры. Сенсоры считывают суммарную электрическую активность многих клеток, но этот сигнал не так искажен, как при ЭЭГ.

Если же важна активность, расположенная глубже, то электроды внедряют внутрь коры. Возможна даже регистрация активности единичных нейронов при помощи специальных микроэлектродов. К сожалению, инвазивная методика представляет потенциальную опасность для человека и применяется в медицинской практике только в крайних случаях.

Однако есть надежда, что в будущем методика станет менее травмирующей. Американская компания Neuralink планирует осуществить идею безопасного внедрения тысяч тонких гибких электродов без сверления черепа, при помощи лазерного луча.

Еще несколько лабораторий работают над созданием биоразлагаемых сенсоров, что позволит удалять электроды из мозга.

Банан или апельсин?

Запись сигнала — это только первый этап. Далее необходимо его «прочесть», чтобы определить намерения, которые за ним стоят. Есть два возможных пути декодирования активности мозга: позволить алгоритму самому вычленить из набора данных релевантные характеристики или же дать системе описание параметров, которые надо искать.

В первом случае алгоритм, не ограниченный параметрами поиска, сам классифицирует «сырой» сигнал и найдет элементы, предсказывающие намерения с наибольшей вероятностью. Если, например, испытуемый попеременно думает о движении правой и левой рукой, то программа способна найти параметры сигнала, максимально отличающие один вариант от другого.

Проблема этого подхода заключается в слишком высокой многомерности параметров, описывающих электрическую активность мозга, и большой зашумленности данных различными помехами.

При втором алгоритме декодирования необходимо заранее знать, где и что искать. Например, в описанном выше примере спеллера P300 мы знаем, что при виде нужного человеку символа электрический потенциал изменяется определенным образом. Мы учим систему искать эти изменения.

В подобной ситуации возможность расшифровать намерения человека завязана на наших знаниях о том, как функции мозга закодированы в нейронной активности. Как то или иное намерение или состояние проявляется в сигнале? К сожалению, в большинстве случаев у нас нет ответа на этот вопрос.

Нейробиологические исследования когнитивных функций активно ведутся, но тем не менее, мы можем расшифровать очень малую долю сигналов. Мозг и сознание остаются для нас пока «черным ящиком».

Александр Каплан, нейрофизиолог, доктор биологических наук и основатель лаборатории нейрофизиологии и нейроинтерфейсов МГУ имени Ломоносова, получивший первый в России грант на разработку нейроинтерфейса для связи мозга и компьютера, рассказывает, что исследователям удается по признакам ЭЭГ автоматически расшифровывать некоторые намерения человека или мысленно представляемые им образы.

Однако на данный момент таких намерений и образов набралось не более десятка. Это, как правило, состояния, связанные с расслаблением и умственным напряжением или с представлением движений частей тела. И даже их распознавание происходит с ошибками: например, установить по ЭЭГ, что человек намерен сжать в кулак правую кисть, даже в самых лучших лабораториях удается не более чем в 80-85 процентах случаев от общего числа попыток.

А если попробовать понять по ЭЭГ, представляет себе человек банан или апельсин, то количество правильных ответов лишь слегка превысит уровень случайного угадывания.

Главное препятствие — это отсутствие ключей к расшифровке сигналов, которыми общаются между собой нервные клетки. Не зная кодов, невозможно подключиться к потокам информации. Проблема здесь не в том, что эти ключи трудно подобрать, а в исходном их отсутствии. В каждой паре нервных клеток их взаимное понимание обусловлено не только пробегающими между ними нервными импульсами, но и их взаимодействием с тысячами других нервных клеток. Это взаимодействие ежесекундно модифицируется, реагируя на мимолетные мыслей, колики в животе, дуновения ветра. Как это учесть, чтобы правильно подключиться к мозгу?

Александр Каплан, основатель лаборатории нейрофизиологии и нейроинтерфейсов МГУ имени Ломоносова.

Самое печальное в том, что повысить надежность нейроинтерфейсных систем в деле распознавания намерений человека по ЭЭГ и расширить список таких намерений не удается вот уже более 15 лет, несмотря на значительные успехи в развитии алгоритмики и вычислительной техники, достигнутые за это же время.

Видимо, в ЭЭГ отражается лишь малая часть мыслительной деятельности человека. Потому и к нейроинтерфейсным системам следует подходить с умеренными ожиданиями и четко очерчивать сферы их реального применения.

Трудности перевода

Почему мы не можем создать систему, делающую то, что с легкостью осуществляет мозг? Если вкратце, то схема работы мозга слишком сложна для наших аналитических и вычислительных возможностей.

Во-первых, мы не знаем «языка», на котором общается нервная система. Кроме импульсных рядов, его характеризует множество переменных: особенности путей и самих клеток, химические реакции, происходящие в момент передачи информации, работа соседних нейронных сетей и других систем организма.

Помимо того, что «грамматика» этого «языка» сама по себе сложна, у разных пар нервных клеток он может отличаться. Ситуация усугубляется тем, что правила коммуникации, а также функции клеток и отношения между ними — все это очень динамично и постоянно меняется под воздействием новых событий и условий. Это экспоненциально увеличивает количество информации, которую необходимо принимать в расчет.

Данные, полностью описывающие активность мозга, просто утопят любой алгоритм, который возьмется за их анализ. Поэтому декодирование намерений, воспоминаний, движений оказывается практически нерешаемой задачей.

Если импульсы передаются от одного компьютера в другой, то можно по адресам, по протоколам понять, что это, например, переброска из одних адресов памяти в другие адреса памяти, потому что протокол обмена и формат данных нам об этом свидетельствует. В случае мозга нет никаких шансов сделать прямую связь так, как связываются два процессора. Поэтому нет никаких теоретических предпосылок к тому, что информация из мозга потечет в компьютер, а из компьютера в мозг. Нет форматов данных, нет адресов, нет кодов.

Александр Каплан

Второе препятствие заключается в том, что мы и о самих функциях мозга, которые пытаемся обнаружить, не очень много знаем. Что такое память или зрительный образ, из чего они состоят? Нейрофизиология и психология давно пытаются ответить на эти вопросы, но пока большого продвижения в исследованиях нет.

Когда мы создаем зрительный образ — где он? Во всей голове. Потому что он синтетический: в него вплетаются не только зрительные, но и тактильные, обонятельные и другие ощущения. И как же мы будем подключаться?

Мозг это не та система, которая может поддаться таким элементарным процедурам, какие используются для тренировки распознавания номеров пролетающих мимо автомобилей. В ходе таких тренировок нейросетям много раз предъявляют номера и каждый раз говорят, что это за номера.

В нашем случае надо эти нейросети подключить к нейронам, много раз давать разную электрическую активность и каждый раз говорить, что она означает. Но мы-то этого не знаем. Вся мощь компьютеров и алгоритмики нейросетей оказывается бесполезна, потому что мы даем эти импульсы и не говорим, что они означают.

Александр Каплан

Простейшие функции вроде двигательных и сенсорных имеют в этом смысле преимущество, так как они лучше изучены. Поэтому имеющиеся на данный момент нейроинтерфейсы взаимодействуют в основном с ними.

Они способны распознавать тактильные ощущения, воображаемое движение конечностью, ответ на зрительную стимуляцию, а также простые реакции на события внешней среды вроде реакции на ошибку или на рассогласование между ожидаемым стимулом и реальным. Но высшая нервная деятельность остается на сегодня для нас большой тайной.

Двусторонняя связь

До сих пор мы обсуждали только ситуацию одностороннего считывания информации без какого-либо обратного воздействия. Однако сегодня уже существует технология передачи сигналов от компьютера в мозг — CBI (computer-brain interface). Она делает канал связи нейроинтерфейса двусторонним.

Информация (например, звук, тактильные ощущения и даже данные о работе мозга) поступает в компьютер, анализируется и через стимуляцию клеток центральной или периферической нервной системы передается в мозг. Все это может происходить полностью в обход естественных органов восприятия и успешно используется для их замещения.

По словам Александра Каплана, в настоящее время уже нет теоретических ограничений для оснащения человека искусственными сенсорными «органами», подключенными непосредственно к мозговым структурам. Более того, они активно внедряются в повседневную жизнь человека, например для замещения нарушенных естественных органов чувств.

Людям с нарушениями слуха уже сегодня доступны так называемые кохлеарные имплантаты: микрочипы, объединяющие микрофон со слуховыми рецепторами. Начато тестирование ретинальных имплантов для восстановления зрения.

По мнению Каплана, нет технических ограничений и для подключения к мозгу любых других сенсоров, реагирующих на ультразвук, изменение радиоактивности, скорости или давления.

Проблема в том, что эти технологии приходится полностью основывать на имеющихся у нас знаниях о работе мозга. Которые, как мы уже выяснили, довольно ограничены.

Единственный вариант обхода этой проблемы, по мнению Каплана, — создать принципиально новый канал связи, со своим языком общения, и учить распознавать новые сигналы не только компьютер, но и мозг.

Есть надежда на то, что благодаря чрезвычайно подвижной архитектонике межнейронных связей, модифицирующихся чуть ли не каждую секунду, с одной стороны, и последним достижениям в области разработки технологий машинного обучения, с другой стороны, станет возможным построение самообучающегося канала связи между мозгом и компьютером.

Александр Каплан

Такие разработки уже начаты. К примеру, в лаборатории прикладной физики Университета Джона Хопкинса несколько лет назад протестировали бионическую руку, способную передавать тактильную информацию в мозг.

Во время прикосновения к сенсорам искусственной руки электроды стимулируют пути периферической нервной системы, передающие далее сигнал в сенсорные зоны мозга. Человек учится распознавать поступающие сигналы как разные виды прикосновения. Таким образом, вместо попытки воспроизвести тактильную систему сигналов, естественную для человека, создается новый канал и язык коммуникации.

Однако этот путь развития ограничен числом новых каналов, которые мы можем создать, и тем, насколько информативными для мозга они будут, говорит Александр Каплан.

Можно раздражать с какой-то частотой какую-то группу клеток, но это же не естественный код. Поэтому никакой информации компьютер таким образом не передает. Во всех этих ситуациях можно очень грубо обучать мозг. Но обучить на все случаи жизни, как он обучен воспринимать природу, невозможно. Так что тут тоже нет шансов подобрать эти коды так, чтобы мозг понял, о чем компьютер хочет ему сообщить.

Александр Каплан

Будущее время

Каплан считает, что на данный момент нового пути развития технологий нейроинтерфейса не видно. По его словам, сама возможность интерфейса для связи мозга и компьютера была открыта в 70-х годах прошлого века, а принципы работы мозга, на которых основаны сегодняшние разработки, описаны около тридцати лет назад, и с тех пор новых идей практически не появлялось.

Так, широко применяемый сейчас потенциал Р300 было открыт в 1960-х, воображение движения (motor imagery) — в 1980-х-1990-х, а негативность рассогласования (mismatch negativity) — в 1970-х годах).

Когда-то ученые питали надежды, что им удастся наладить более плотный информационный контакт мозга с процессорной техникой, но сегодня стало ясно, что они не оправдались.

Однако, говорит Каплан, пришло понимание, что нейроинтерфейсы можно реализовать для медицинского применения. По мнению ученого, сейчас развитие нейроинтерфейсов в наибольшей мере идет по линии внедрения технологии в клиническую сферу.

Когда-то ученые питали надежды, что им удастся наладить более плотный информационный контакт мозга с процессорной техникой, но сегодня стало ясно, что они не оправдались.

Однако, говорит Каплан, пришло понимание, что нейроинтерфейсы можно реализовать для медицинского применения. По мнению ученого, сейчас развитие нейроинтерфейсов в наибольшей мере идет по линии внедрения технологии в клиническую сферу.

«Футуристический мозг» — это здоровый мозг, даже в самом преклонном возрасте человека. В настоящее время нейродегенеративные заболевания, снижающие продуктивность работы мозга, распространяются еще быстрее, чем увеличивается возраст человека. Представьте, сколько можно было бы сделать в любом возрасте, если бы не ухудшение памяти, не замедление мышления, не расстройства внимания и не снижение интеллектуальных способностей. И все это как раз тогда, когда уже набран профессиональный опыт, когда накоплены необходимые знания, когда любой человек уже близок к самым высоким интеллектуальным достижениям.

Поэтому здоровый мозг – это новый потенциал человека и на сегодняшний день — главная задача современных нейротехнологий. Заложенный природой полный потенциал мозга человека далеко еще не исчерпан, а технологии искусственного интеллекта могут обеспечить раскрытие этого потенциала и без вживляемой в мозг электроники.

Александр Каплан

Тем не менее, благодаря исследованиям мозга и развитию технологий сегодняшние нейроинтерфейсы способны на то, что когда-то казалось неосуществимым. Мы не знаем наверняка, что ждет нас через 30, 50 или 100 лет. Историк науки Томас Кун выдвинул идею о том, что развитие науки — это цикл: периоды стагнации сменяются парадигмальными сдвигами и идущими следом научными революциями. Вполне возможно, в будущем нас ждет революция, которая позволит вынуть мозг из черного ящика. Причем придет она с самой неожиданной стороны.

Мария Ермолова

---

Смотрите также

• 
  Полимерные материалы что это такое
• 
  Лимфангиома что это такое
• 
  Птоз лица что это такое
• 
  Анальгин это что такое
• 
  Прозелит что это такое
• 
  Миома матки что это такое доступным языком
• 
  Кочерга у детей что это такое фото
• 
  Что это такое калории
• 
  Автономная канализация в частном доме что это такое
• 
  Пренатальный скрининг 1 триместра что это такое
• 
  Сульфат натрия что это такое как удобрение