«В анамнезе искусственного интеллекта нет биологии. Зачем бы ему желать уничтожения людей?»

«Нейроны мозга могут оказаться более сложными процессорами, чем искусственные нейроны нейросетей»

— Мозг — это огромная сеть нейронов. Где же в этой сети прячутся разум, индивидуальное сознание? Некоторые нейроны и являются разумом и сознанием?

— А автомобиль — это сложная система из двигателя, трансмиссии и ходовой части. Где же в нем прячется движение?

Вот вторая часть вашего вопроса интереснее. В наших нейропсихологических средах периодически возобновляется дискуссия о так называемом «нейроне бабушки». Некоторые специалисты утверждают, что нейрон — достаточно сложный процессор сам по себе и он может в одиночку отвечать за целостное представление объекта или даже класса объектов, литературного типажа и тому подобного. Причем они вроде бы приводят экспериментальные свидетельства в пользу такой точки зрения. Практически данная позиция означает непризнание искусственных нейросетей в качестве сколько-нибудь адекватных моделей мозга, поскольку там нейроны крайне примитивны, а репрезентации (то есть способы представления данных) обеспечиваются целостным коннектомом, то есть архитектурой сети и весами межнейронных связей.

Эта проблема интересна и с точки зрения общей теории вычислений: какого рода вычисления лежат в основе когнитивных способностей? Если когнитивные способности возникают как эмерджентный эффект целостной сети, то мы имеем дело с классическим примером распределенных параллельных вычислений, когда каждый отдельный процессор обрабатывает ничтожную долю данных в соответствии с очень простыми алгоритмами, а общий результат обеспечивается определенной архитектурой всей сети и чаще всего недоступен отдельным нейронам. Если же существует «нейрон бабушки», то сеть, по убеждению сторонников этой точки зрения, вообще играет второстепенную роль, а основные вычисления выполняются в нейронах, и их природу и архитектуру еще предстоит исследовать.

По моему глубокому убеждению, философ не должен вмешиваться в содержательные научные споры, поскольку в конечном счете такие проблемы решаются эмпирическим путем.

Но вот недавно мне попалась статья, опубликованная еще в начале нашего века, авторы которой обратили внимание на очень сложное устройство пирамидальных клеток коры головного мозга. В частности, на тот факт, что их дендриты довольно большие и разветвленные. Они предположили, что сами дендриты пирамидальных клеток принимают и обрабатывают данные как своего рода нейросети. Причем эти нейросети в качестве «входа» получают не только внешние перцептивные данные, но и «выходы» соседних дендритов, а также общий «выход» своей материнской клетки, на ходу подстраиваясь под нужные параметры.

Авторы статьи построили компьютерную модель такого дендрита и показали, что эта малая нейросеть внутри большой нейросети способна предсказывать поведение своих собственных элементов и на этой основе строить опережающие модели внешних данных. То есть по крайней мере некоторые нейроны головного мозга могут оказаться значительно более сложными процессорами, чем искусственные нейроны нейросетей, и, в частности, обрабатывать целостные репрезентации.

«Пора избавляться от противопоставления человека животному царству как чего-то якобы «качественно отличного»

— И как вы прокомментируете этот частный результат научного исследования?

— На мой взгляд, привычный философский подход «или-или» может дезориентировать не только моих коллег, но и практикующих ученых. Нет логической необходимости полагать, что способность подсетей нейронов хранить распределенные репрезентации или осуществлять распределенные вычисления исключает возможность существования «нейронов бабушки». Мозг — не идеальный, но достаточно гибкий инструмент, чтобы реализовывать разные вычислительные подходы.

Правильный ответ на ваш вопрос должен звучать так. Привычными словами «сознание» или «разум» мы называем сложное, эмерджентное, физическое или символическое поведение живого существа или искусственной машины, в основе которого лежит работа вычислительного устройства, чья вычислительная мощность достаточна для выработки максимально эффективных адаптивных действий в ответ на любые неожиданные входные данные. Сказанное можно принять за «определение», если хотите, хотя я понимаю, что у моих коллег возникнет куча претензий к нему. Но это нормально.

В случае с человеком, например, — что обеспечивает достаточную вычислительную мощность? Во-первых, миллиарды «элементарных» процессоров, соединенных в сеть суперсложной архитектуры, что сразу дает труднопредставимое количество возможных состояний.

Над этим физическим — или скорее биологическим — субстратом, во-вторых, надстраиваются эволюционно выработанные алгоритмы, позволяющие создавать предиктивные, то есть опережающие, модели реальности, которые уточняются, сталкиваясь с реальными входными данными. Такой подход позволяет существенно экономить энергетические затраты на вычисления, повышая их эффективность. И, наконец, в-третьих, каждая человеческая особь включена в социальный макрокомпьютер, который позволяет еще более эффективно распределить вычисления между теперь уже многочисленными нейросетями, что дает возможность решать значительно более сложные вычислительные задачи.

Но что интересно, те же или аналогичные вычислительные архитектуры мы находим у других животных видов — млекопитающих, птиц, насекомых — включая объединение особей в мультиагентные системы: рои, стаи, общества. Что это значит для философа? То, что пора избавляться от религиозного по своему происхождению противопоставления человека животному царству как чего-то якобы «качественно отличного». Я в принципе уважаю Маркса как мыслителя, но в его высказывании об архитекторе и пчеле, столь охотно и обильно цитировавшемся советскими философами, проглядывает все тот же религиозный предрассудок.

Мы не знаем, что происходит в голове у пчелы, когда она строит свои соты. А о содержимом головы архитектора он сам может судить только с помощью интроспекции, о которой еще Кант говорил, что она не может служить основой для научных выводов. И современная когнитивная наука это подтверждает.

«Организм — это предприятие, в котором есть проектные группы, департаменты и, наконец, совет директоров»

— Если наше сознание управляет всем, в том числе мозгом, то почему мы не знаем многих химических операций, который происходят в наших внутренних органах и не можем ими управлять силой воли? Может быть, это мозг управляет сознанием и диктует нам, что делать, а что нет?

— И в этом вашем вопросе просвечивает булева логика традиционной философии: или-или. Не истинно — следовательно, ложно. Детерминирован — значит, несвободен и т. п. Мир на самом деле организован не логически, а количественно и вероятностно. Хотя и в этом моем утверждении слишком много метафизики. Правильнее было бы сказать, что количественно-вероятностный подход лучше справляется с фактами мира, чем логические дихотомии.

Марвин Мински, один из высших авторитетов в области искусственного интеллекта, когда-то написал книжку «Общество мозга», где уподобил царство нейронов некоей социальной структуре. Я позволю себе продолжить и уточнить эту аналогию.

Организм — это предприятие, в котором есть различные — основные и вспомогательные — проектные группы, отделы, департаменты и, наконец, совет директоров. В идеальном состоянии, когда предприятие функционирует по заданным алгоритмам и ничего неожиданного не происходит, совет директоров может предаться блаженному ничегонеделанию. Однако такое состояние практически недостижимо.

У уборщицы неожиданно закончилась моющая жидкость, кто-то заболел и не вышел на работу, курьер не доставил вовремя корреспонденцию… Все подобные сюрпризы обрабатываются специальными алгоритмами на низовых уровнях и также не требуют вмешательства топ-менеджеров.

Однако те не бездельничают. Они собираются на регулярные заседания, обсуждают стратегии развития, действия конкурентов, котировки акций, предстоящие сокращения или, наоборот, развитие новых направлений и набор новых сотрудников… Они не отслеживают траектории всех уборщиц и курьеров. О состоянии предприятия они судят по отчетам глав департаментов, составленным на основе отчетов руководителей отделов и т. д., вниз по иерархии. Эти отчеты суть огрубленные репрезентации многих и многих единичных событий, до которых топ-менеджерам нет никакого дела. Их интересуют только некие результирующие, существенно важные для их собственного существования. Да, они отдают распоряжения, но на жизнь уборщицы эти распоряжения если и влияют, то очень опосредованно.

Понятно, что я хочу сказать. Сознание — это совет директоров предприятия «Организм Ltd.». Мозг — это совокупность управляющих структур этого предприятия, собранных в одном офисном здании. Совет директоров знает только то, что ему есть смысл знать, и влияет только на то, на что ему есть смысл влиять. Чтобы не перегружать себя и оставить время на необходимый нам всем отдых.

— Искусственный интеллект активно развивается, обучается, помогает людям решать прикладные задачи, учится разговаривать и понимать человека. Какие признаки сознания он имеет сейчас? И что нужно приобрести ИИ, чтобы можно было говорить о наличии у него сознания?

— Ваш вопрос упирается в знаменитую проблему «философских зомби», широко обсуждаемую в аналитической философии. Представьте: вы дружите с человеком, близко принимаете его/ее проблемы и эмоциональные состояния, бросаетесь на помощь, если близкий человек испытывает боль или дискомфорт. И вот во сне вам является посланец небес (или кто-то в этом роде) и сообщает, что ваш сердечный друг — не человек в прямом смысле слова, а специально созданный биоробот, биологически неотличимый от человека, но совершенно лишенный внутреннего опыта. Его «человечное» поведение имитируется хитрыми технологиями, пока недоступными людям. Вы просыпаетесь — и что? Есть ли у вас возможность как-то проверить — снился ли вам кошмар, или, наоборот, вам раскрыли страшную тайну этого мира? А может быть, вы — единственный человек среди сонмища зомби?

Этот мысленный эксперимент некоторые философы используют для «опровержения физикализма»: как будто бы в мире есть нечто, не обнаруживаемое физически — квалиа, субъективный опыт, но тем не менее чрезвычайно важное.

На мой взгляд, данный аргумент построен на еще одном не очень логически оправданном шаге — отождествлении сознания с «внутренним опытом», то есть с качественными восприятиями и переживаниями.

Мы знаем, что есть люди, не чувствующие зубной боли, люди с необычно высоким болевым порогом, способные нанести себе страшные раны и не заметить… Есть слепые, глухие, слепоглухонемые. Но даже последних, например, в рамках Загорского эксперимента удавалось вернуть к нормальной человеческой жизни — в том числе академической. Если сознание равно внутреннему качественному опыту, то существенный дефицит последнего должен существенно ограничивать сознание или делать его вовсе невозможным. Необходим ли качественный субъективный опыт, который только и является собственно «внутренним», то есть невыразимым, для сознания?

Мы, например, можем осознавать, что эта чашка — зеленая, а можем — что квадратный корень из четырех равен двум. В первом случае качественный опыт необходим, а во втором? Когнитивные исследования показывают, что операции с конкретными понятиями активируют зоны мозга, ответственные за зрительные и слуховые восприятия, а операции с абстрактными — только языковые центры.

— Какой качественный опыт нужен для осознания философских мыслей или математических расчетов?

— Вернемся к нашей «корпоративной» аналогии. Предположим, до сих пор директору предприятия приносили отчеты в виде красивых цветных графиков, и он с легкостью принимал решения, основываясь на них. И в один прекрасный день ему сообщают: акционеры приняли решение, что отныне данные отчетов будут передаваться только азбукой Морзе или в виде записок, написанных по-арабски. Не нравится — оставляйте свой пост. Что сделает директор? Чертыхнется, но как-то приспособится к новой реальности. Станет ли он менее сознательным управленцем? Если он профессионал, то нет.

Правда в том, что качественные ощущения — лишь один из способов презентации данных, а совсем не сущностная характеристика сознания.

Сознание же в собственном смысле слова составлено из «хитрых» алгоритмов, позволяющих вычислительной системе принимать решение в любых неожиданных условиях, при недостаточных данных, с задействованием механизмов обратной связи, предсказания и научения.

Таким образом, мой ответ: современные нейросети и, возможно, другие самообучающиеся когнитивные устройства отделяют от сознательных состояний какие-то количественные параметры, а вовсе не качественные барьеры. И понять, обладает ли искусственное устройство сознанием, можно одним из двух способов: или зная его архитектуру и алгоритмы, или старым добрым тестом Тьюринга.

«Почему искусственный интеллект должен ненавидеть людей, желать их подчинения и захвата власти над миром?»

— Цитата из статьи на сайте hi-news.ru: «Недавно американские исследователи создали роботизированную руку, которая осознает себя и способна быстро адаптироваться к изменениям в окружающей среде». Насколько верно написал автор об «осознании себя»?

— Я посмотрел эту статью и удивился: понимание сознания создателями этой руки почти буквально соответствует моему, только что сформулированному. Это наполняет меня еще большей уверенностью в собственной правоте: ведь мои исключительно кабинетные размышления совпали с пониманием сути дела практиками, которые уже добиваются определенных успехов! Ну как тут не взглянуть с сожалением на традиционную философию сознания?

Интересно, что публикация иллюстрирована кадром с несравненной Алисией Викандер из фильма «Ex Machina». Если помните, там зловещий создатель сознающих себя роботов заманивает молодого героя в свое секретное жилище, чтобы проверить, сможет ли новая модель, созданная в виде красивой девушки, влюбить его в себя. А это милое создание, ненавидя почему-то своего создателя, додумывается до того, чтобы использовать любовь и сочувствие гостя для организации убийства хозяина дома и собственного освобождения. Освободитель, конечно, тоже обречен, ибо зачем ей свидетели.

Я очень люблю эту актрису (это мой внутренний качественный опыт), но к подобным фильмам, включая культовый «Терминатор», отношусь с очень большим скепсисом. Подумайте, почему искусственный интеллект должен ненавидеть людей, страстно желать их уничтожения, подчинения и захвата власти над миром? Очередное смешение понятий.

Почему люди конкурируют, воюют за власть и ресурсы и часто уничтожают друг друга в этой борьбе? Не потому, что очень интеллектуальны, а напротив — потому что в их анамнезе не только собственно когнитивные и социальные, но еще и биологические вычисления.

Природа слепа, она достигает своих целей методом проб и ошибок, обрекая на гибель неудачные результаты и закрепляя параметры удачных. Не имея возможности сознательно контролировать этот процесс, она создает своим многочисленным порождениям условия, в которых те вынуждены конкурировать за возможность пустить свои гены по возможно большему числу каналов наследования — то есть за самок, — поскольку победа сильнейшего увеличивает вероятность наследования наиболее качественных генов. Поэтому олени ранят и иногда убивают друг друга своими великолепными рогами, львы калечат и изгоняют из прайда более слабых соперников, а также убивают чужих львят.

Люди, чьи социальные системы все более усложняются, надстраивая над этой гонкой экономические и политические отношения, в конечном счете стремятся к тому же, хотя это обстоятельство не всегда становится фактом сознания. Олигархи и звезды снова и снова женятся на молодых моделях. Политики, вынужденные вести себя более консервативно в публичной сфере, решают этот вопрос по-другому, но суть остается той же. Экономические и политические войны — это превращенные формы конкуренции за возможность отправить свои гены в путешествие по времени возможно более многочисленными и красивыми путями.

Чтобы искусственный интеллект обладал той же мотивацией, его нужно провести по всем этапам биологической эволюции. О чем, собственно, говорят и упомянутые вами создатели искусственной руки, что опять не может меня не радовать.

А чисто когнитивный ИИ, без биологического бэкграунда, быть может, и не безвреден, аки агнец, но его опасности явно не в стремлении захватывать и доминировать.

«Если эволюционное чудо случится с каким-то другим животным видом, для его экспансии на планете уже не будет места»

— Если брать эволюционную теорию Дарвина, то не очень понятно, как обезьяна начала думать о смысле жизни, получила понятие о морали и нравственности, стала придумывать разные виды искусства. Как произошел такой большой скачок в уровне сознания?

— Учитывая все уже сказанное, ответ может быть крайне простым. Произошло это потому, что над биологическими и когнитивными вычислениями надстроились вычисления социальные. Именно они заставляют нас заниматься такими странными вещами, не имеющими очевидного биологического смысла. Но, раз появившись, верхний этаж вычислительной системы начинает определять происходящее на нижних этажах в форме так называемой «нисходящей причинности».

— Но почему такие эволюционные скачки в сознании животных не происходят в последние тысячелетия?

— Общее соображение. В неизменном мире ньютоновой механики все обусловлено и предопределено. В эволюционирующем стохастическом мире сложных нелинейных систем каждое отдельное событие случайно.

Так случилось, что форма гортани наших непосредственных предков, в отличие от таковой у отделившихся от них шимпанзе и бонобо, позволила освоить произнесение все более членораздельных звуков и использовать их для передачи все более сложных данных в социальных вычислениях. В результате сами социальные вычисления стали неизмеримо более эффективными, чем основанные на примитивных сигнальных системах взаимодействия внутри других животных видов.

Человек — единственное животное, научившееся создавать символические системы, что позволило ему захватить все возможные ниши на этой планете и подчинить ее себе, что не всегда идет ей и другим ее обитателям во благо.

Отсюда искусство, смысл жизни и мораль из вашего предыдущего вопроса. Отсюда же религия, философия, наука, политика, технологии и экономика. Все перечисленное — этапы эволюции уже собственно символических систем, более или менее полезных для достижения человеком его адаптивных целей.

Теперь, даже если подобное эволюционное чудо случится с каким-то другим животным видом, для его экспансии на планете уже не будет места. Или он должен будет продемонстрировать принципиально большую вычислительную эффективность. Как саламандры из знаменитого фантастического романа Карела Чапека.