«Неприятности от машинного интеллекта будут, но до вечного порабощения роботами не дойдет»

«Microsoft думал, что люди будут учить бота чему-то хорошему, но вышло совсем наоборот»

— Алексей, вы прекрасно знаете о том, что эксперты отреагировали на новость об отключении Facebook одной из систем ИИ по-разному: одни уверены, что ничего страшного в этом нет и это закономерно, вторые бьют тревогу и говорят о глобальной угрозе человечеству, а третьи и вовсе уверены, что это выдуманная история. А какова ваша реакция на эту новость, какую оценку вы можете дать произошедшему?

— По моей оценке, эта новость устарела примерно лет на 40. Подобные чат-боты создаются очень давно, достаточно вспомнить знаменитую программу-собеседницу «Элиза», которая была написана Джозефом Вейценбаумом в 1966 году. И такого рода зацикливание, которое случилось в Facebook, тоже случалось с ботами многократно за последние 50 лет.

Происходит такое зацикливание по понятным причинам: дело в том, что эти роботы никаким сознанием не обладают — они просто имитируют похожие тексты ответов. Самые простые роботы имитировали ответы с помощью подстановок в шаблоны нашей обычной речи. Например, если вы говорите этому боту: «Я беспокоюсь про свои экзамены», он берет из вашего текста слово «экзамены» и составляет с ним какую-нибудь другую фразу, например: «Расскажи подробнее про свои экзамены». Вытаскивая слова из предыдущих фраз собеседника, робот имитирует диалог.

«Прошлой весной компания Microsoft выключила такого бота Tay. Пользователи моментально обучили его выдавать нецензурные и неполиткорректные заявления». Фото thenews.by

Сейчас роботы расширяют набор своих шаблонов за счет того, что они могут вытаскивать разные типовые фразы из интернета. Если вы ему скажете: «Как дела?», робот отправится в интернет, найдет все возможные диалоги с этими словами, выберет самый популярный ответ, к примеру: «Нормально, а как у тебя?», и подставит эту шаблонную фразу. Когда двух таких роботов ставят друг против друга, получается следующее: они начинают «кидаться» друг в друга шаблонами и постепенно у них заканчиваются слова. Это все равно, что люди общались бы обрывками газет, которые у них неизбежно закончатся. Именно это и произошло в случае с Facebook. Просто это хороший пиар — люди придумали, что это какой-то новый язык, а на самом деле, такое бывало уже не раз за последние полвека, и даже есть научные доказательства того, что большинство чат-ботов будут всегда зацикливаться, будучи включены в диалог с таким же ботом.

Гораздо интереснее случаи, когда отключали ботов, обучающихся на общении с людьми, — они становились действительно странными, потому что люди учили их странным вещам. Прошлой весной компания Microsoft выключила такого бота Tay. Пользователи моментально обучили его выдавать нецензурные и неполиткорректные заявления. Опять же, никакого разума там не было — просто набор шаблонов. Видимо, Microsoft думал, что люди будут учить его чему-то хорошему, но вышло совсем наоборот.

Так что никакой проблемы суперинтеллекта у чат-ботов нет — скорее, это просто зеркало наших собственных странностей в общении. Так же, как люди иногда зацикливаются, когда им не о чем поговорить, так же, как люди обучаются ругаться, — так же обучаются и роботы. Штампы, вот и все.

— Вы говорите о том, что это пиар, но неужели он нужен Facebook?

— Дело в том, что исследования по искусственному интеллекту идут с переменным успехом и очень часто они сильно «раздуваются», чтобы в них вкладывались средства. Но впоследствии обнаруживается, что ничего особо не работает, как хотелось, а разработчикам ведь нужно показать какой-то результат. Поэтому они не говорят, что робот неисправен и куча денег была потрачена зря — они говорят, что робот придумал новый язык. Вот примерно так.

«Илон Маск тоже занимается искусственным интеллектом. В Tesla тестируется система автопилота и уже были случаи, когда люди из-за этой системы разбивались. Маск хочет держать руку на пульсе грядущего законодательства в этой сфере». Фото leccar.com

«Хакеру остается только, проходя у вас под окнами, просто перебрать заводские настройки»

— Но если все так просто, почему тогда вообще возник спор между Цукербергом и Маском вокруг этой ситуации?

— Мы в данном случае, опять же, говорим о двух медийных персонах. То, что они говорят на публике, и то, что они делают на самом деле — это немного разные вещи. Они отражают тенденции, которые происходят в тех бизнесах, в которых они работают. Facebook действительно использует искусственный интеллект и в каком-то смысле он может вредить людям, потому что эта социальная сеть собирает огромное количество персональных данных, стараясь вычислить наши вкусы и продать их. Что делают такие системы? Ответ очевиден — они продают информацию о нас.

Если вам нужно продать автомобильные детали, то Facebook найдет вам людей, которые ездят на конкретных автомобилях, живущих в Москве или в Казани. Все это собирается и продается рекламодателю. Такой искусственный интеллект уже есть, он работает и он действует на нас очень незаметно, внушая разного рода вещи. По сути, это такой поисковый сервис, а с наличием мобильного телефона он становится еще более знающим, потому что он знает наши маршруты, покупки, определяет место нашего нахождения и знает наши желания и потребности.

Илон Маск тоже занимается искусственным интеллектом. В Tesla тестируется система автопилота и уже были случаи, когда люди из-за этой системы разбивались. Маск хочет держать руку на пульсе грядущего законодательства в этой сфере.

На самом деле, в последнее время во многих странах люди озаботились законодательным регулированием этой сферы: в Штатах в прошлом году вышел правительственный отчет «Будущее искусственного интеллекта», британский Институт стандартов выпустил рекомендации по созданию этичных роботов, в Евросоюзе готовится аналогичный проект. Сейчас люди пытаются ввести ограничения, и наверняка это произойдет в ближайшее время, потому что у нас уже есть примеры того, как на нас влияют подобные системы. Например, есть научные исследования о том, как роботы высокочастотного трейдинга, которые работают на биржах, спровоцировали кризис 2008 года.

А то, что говорят Маск и Цукерберг, надо воспринимать как пену на поверхности большой волны. Сама волна гораздо глубже и интереснее.

«Простой модем может стать угрозой, оружием. Человек просто не поменял пароль и хакерская машинка, которая ходит по интернету и подбирает пароли (она способна перебрать миллион паролей за час), может подключить к себе тысячи таких же взломанных домашних роутеров или веб-камер (сейчас даже камеры безопасности таким образом взламываются) и сделать из них разные ботнеты». Фото newsnn.ru

— А вы сами все-таки на чьей стороне — Маска или Цукерберга?

— Я бы сказал, что, скорее, не поддерживаю их позицию, потому что они оба разрабатывают искусственный интеллект и они оба при этом ничего всерьез не говорят об ограничениях. Я, как человек, работающий в безопасности, прекрасно понимаю, что если у нас сейчас есть проблемы с простой техникой — например, с модемами, которые люди подключают в своих домах… Понимаете, простой модем может стать угрозой, оружием. Человек просто не поменял пароль и хакерская машинка, которая ходит по интернету и подбирает пароли (она способна перебрать миллион паролей за час), может подключить к себе тысячи таких же взломанных домашних роутеров или веб-камер (сейчас даже камеры безопасности таким образом взламываются) и сделать из них разные ботнеты. Казалось бы, ну просто поменяй ты пароль, не оставляй «123456», как было установлено, когда ты купил устройство, но люди этого не делают. Миллионы устройств оказываются захваченными таким образом.

Теперь представьте, что может быть, если люди используют искусственный интеллект в домах или мобильных телефонах? Вам становится очень сложно понять, что происходит с вашим устройством. Допустим, вы разговариваете с ботом, он вам что-то посоветовал или же взял и включил какое-то устройство в вашем доме, и при этом вы не очень понимаете: этот бот настоящий или он сейчас взломан и им управляет другой человек. Добавится совершенно новый уровень опасности, которого раньше не было. С точки зрения безопасности я, конечно, на стороне противоположной Цукербергу и Маску, потому что они стараются продать искусственный интеллект, а разбираться с этим придется нам — людям, которые занимаются безопасностью.

— Алексей, вы затронули тему «умных домов», и мне вспомнился эпизод из сериала «Mr. Robot», в котором хакеры взломали систему «умного дома» и устроили просто невообразимый ад хозяину апартаментов. Это уже возможно в настоящее время?

— Это происходит уже сейчас и это не фантастика совершенно. Многие продающиеся сейчас системы «умных домов» небезопасны. В нашей компании эксперты как раз проводят такие исследования, и особенно небезопасными являются системы, которые основаны на Wi-Fi, Zigbee и других старых протоколах беспроводной связи. К сожалению, люди сами не заботятся о настройках безопасности, а продавцы не объясняют им, как это сделать.

Сама система может быть устроена внутри очень хорошо, она предполагает, например, что вы меняете пароли и шифровальные ключи, чтобы связь вашего мобильника со всеми устройствами была хорошо зашифрована, но, к сожалению, на практике люди этого не делают. Хакеру остается только, проходя мимо под окнами, просто перебрать заводские настройки, которые пользователь не сменил. После этого он получит доступ ко всем этим устройствам точно так же, как и сам владелец. Другое дело, что пока «умные дома» — нишевые продукты, поэтому мы не видим этого в масштабе, но проблема действительно большая.

«Теперь представьте, что может быть, если люди используют искусственный интеллект в домах или мобильных телефонах. Вам становится очень сложно понять, что происходит с вашим устройством». Фото abitant.com

«Это главный миф прошлого века, что искусственный интеллект будет устроен по-человечески»

— Хочу вернуться к двум чат-ботам, с которых мы начали разговор: один из экспертов, высказавшихся на эту тему, предположил, что новый неизвестный людям язык ботов появился из-за того, что им стало «неудобно» общаться на «человеческом» языке, так как язык математических формул гораздо более продвинутый и функциональный. Вы согласны с этим?

— Тут есть своя правда, но она немножко другая. Дело в том, что роботы живут в совершенно другой среде. Люди пытаются находить сравнения с интеллектом ребенка или говорят о том, что искусственный интеллект может пройти тест IQ — нет, это все человеческие тесты и человеческие языки. Искусственный интеллект живет в другом мире.

Можно представить, что искусственный интеллект — это рыба. Рыба живет в воде, а человек, при всех его достижениях, жить в воде без дополнительных приспособлений все-таки не может. Поэтому вполне естественно, что, если человек столкнется с нашей рыбой в ее естественных условиях, то он не сможет поймать ее рукой. Рыба в этой ситуации круче человека.

То же самое касается искусственного интеллекта. Эти программы живут в цифровом мире, они отлично говорят на языке протоколов интернета, на языке быстрых математических вычислений и моментальных посланий через весь мир, чего человек не может сделать. В этом своем мире искусственный интеллект давно обыгрывает человека и по скорости, и по объему данных, и по охвату воздействия. Взять хотя бы уже упомянутые боты высокочастотного трейдинга на биржах или автоматические сканеры уязвимостей, которые моментально взламывают тысячи устройств. Но им не нужно говорить при этом по-человечески, понимаете?

Это главный миф прошлого века, что искусственный интеллект будет устроен по-человечески. А реальная опасность в том, что это вообще «другая рыба» — она не так говорит, не так живет и у нее вообще нет представления о людях. Если вы запустили какого-то бота и он пошел взламывать устройства, то ему при этом совершенно неинтересно с людьми разговаривать или заботиться об их выживании. Это главная вещь, которую хотелось бы донести до людей.

В этом смысле эксперт высказал забавную мысль, но она неприменима к случаю с двумя ботами Facebook. Там была просто программная ошибка — они зациклились (это уже признали эксперты). Однако то, что искусственный интеллект говорит на другом языке, то, что он нечеловеческий — это надо понимать, и с этим может быть много проблем.

«Вы можете потратить кучу денег, как это сделал Google, чтобы научить программу играть в «Го», но эта программа не будет играть в шахматы. Даже если вы введете какое-то новое правило в «Го» — к примеру, скажете, что часть поля должна быть закрыта — то все, система сломается, и ее нужно будет снова переобучать». Фото shellypalmer.com

— А существуют ли на данный момент полноценные системы ИИ или есть только некие более-менее самообучаемые системы?

— Они все решают свои собственные задачи. Интересная история про человеческий интеллект состоит в том, что у человека, на самом деле, несколько разных видов мышления, и мы даже не все эти виды еще понимаем. Например, мы с вами сейчас разговариваем, но если кто-то в этот момент бросит в вас мячик, то вы его автоматически поймаете рукой. Это означает, что у вас внутри есть другой интеллект, который собирает информацию из окружающего мира — он почувствовал этот мячик, услышал или увидел, также вы успели с математической точностью сделать движение рукой, чтобы поймать объект. Все это включается, и одновременно с этим мы можем разговаривать, испытывать эмоции, использовать рациональную логику или нерациональную, но как-то работающую интуицию и жизненный опыт.

К сожалению или к счастью, то, что мы называем искусственным интеллектом, — это просто попытки решать отдельные задачи отдельными способами. Под задачу создается система. Может ли она переключаться на другие задачи? Нет. Вы можете потратить кучу денег, как это сделал Google, чтобы научить программу играть в «Го», но эта программа не будет играть в шахматы. Даже если вы введете какое-то новое правило в «Го» — к примеру, скажете, что часть поля должна быть закрыта — то все, система сломается, и ее нужно будет снова переобучать. У систем искусственного интеллекта практически нет этой истории про возможность переключения с одного вида мышления на другой — они все умеют что-то одно и, как правило, ограничены «цифровым океаном».

— Алексей, на ваш взгляд, чем чревато для человечества усовершенствование и максимальное развитие искусственного интеллекта? Что будет, когда он станет мощнее, сильнее, умнее?

— На сегодняшний день, как мне кажется, наибольшие неприятности могут доставить системы массового обслуживания. Самая простая из них — это поисковая система. Уже сейчас она так или иначе может нами управлять или какие-то люди могут делать это через нее. Определенные данные в поиске можно скрыть или можно дать вам не те данные — это уже происходит, есть даже специальные профессии. Сейчас поисковик не активный, так как вы его спрашиваете, однако следующая ступень — это появление активных систем, которые, собрав данные, уже что-то вам предлагают или даже участвуют в общественной жизни, как, например, ИИ, которые используются для обработки больших данных в некоторых крупных компаниях.

«Уже есть системы, которые по своим статистическим данным начинают делать выводы. Например, система, выдающая кредиты, обнаруживает, что мужчины в три раза реже возвращают займы, нежели женщины. Такая система постепенно может сдвинуться к тому, что она просто прекратит выдавать кредиты мужчинам». Фото ikirov.ru

К примеру, есть компания, которая выдает кредиты, а специальная система анализирует данные людей, которые подают в нее заявки, чтобы не выдать деньги мошенникам. Есть программы, которые пытаются обучаться на лицах преступников или на данных о них, чтобы предсказывать, кто будет следующим преступником — так было в фильме «Особое мнение». Такие вещи уже есть, они уже работают и там нет «законов Азимова», которые бы их ограничивали. Это, кстати, уже прописывается в рекомендациях, про которые я говорил ранее. Уже есть системы, которые по своим статистическим данным начинают делать выводы. Например, система, выдающая кредиты, обнаруживает, что мужчины в три раза реже возвращают займы, нежели женщины. Такая система постепенно может сдвинуться к тому, что она просто прекратит выдавать кредиты мужчинам. Или возьмем систему, анализирующую данные преступников: если она выяснила, что в каком-то районе чернокожих преступников больше, то она может обобщить эти данные и начать указывать на чернокожих людей, как на подозрительных, чаще, чем на остальных. Это может создать серьезные проблемы, потому что эти системы не имеют ограничений.

Столь же неприятная вещь — это развитие хакерских систем, которые могут использоваться для масштабных атак. Опять же, они очень быстро обучаются. У них серьезная конкуренция, настоящая эволюция — совершенствуются инструменты хакеров и инструменты защиты, они двигают друг друга. Сейчас даже школьник, взявший в руки хакерский инструмент, может устроить довольно большую атаку, при этом сам школьник не будет ничего знать про программирование вообще. Ему просто нужно будет скачать приложение и запустить его.

«Управлять миром машины не могут — они могут решить определенную задачу и после этого им будет нечего делать»

— А не могли бы вы хотя бы вкратце описать то, насколько широк функционал ИИ в настоящее время?

— Вообще, есть много направлений искусственного интеллекта и определяют его по-разному. Например, те же чат-боты тоже считаются искусственным интеллектом, хотя они очень простые — по шаблону подставляют какие-нибудь фразы. Но это действительно программы, которые снимают с человека большое количество повторяющейся работы. Допустим, у вас на телефоне сидит секретарь, который из раза в раз вынужден зачитывать прайс-лист клиентам. Конечно, лучше на это место посадить бота, который будет выдергивать из таблицы информацию и рассказывать о ней. На многих местах такие боты будут работать, я думаю.

Что касается систем с самообучением, проблема в том, что многие из них — это «черные ящики». То есть вы обучили нейронную сеть, но вы не знаете, по каким причинам она делает те или иные вещи. Вы не можете гарантировать, что она не ошибется в следующий момент. Я думаю, что подобный искусственный интеллект может использоваться в тех сферах, где возможен достаточно высокий процент ошибки: к примеру, в рекламе, где по набору параметров искусственный интеллект может определить для вас аудиторию — но если он немного промахнется, никто не погибнет. Можно также назвать сферу развлечений: думаю, что многих современных поп-звезд на эстраде уже можно заменить искусственным интеллектом.

«Неприятности от машинного интеллекта будут, но не такие, что нас навечно поработили роботы. Скорее, стоит опасаться быстрых, но глобальных неприятностей: обвал биржи, например, или отключение электричества в большом городе». Фото ctvnews.ca

В то же время есть сферы, где искусственный интеллект будет внедряться с трудом. Взять те же автопилотируемые автомобили — я думаю, что их все-таки ограничат определенными территориями: такая машинка вполне может перемещаться по какому-нибудь заводу и развозить ящики, но выпустить их на дороги большого города означает создать себе массу проблем.

— Если честно, сейчас создается впечатление, что все идет к полноценному внедрению беспилотников в ближайшие годы: обсуждается создание выделенных полос на дорогах, разработка законодательства…

— Их, конечно, будут внедрять, но, мне кажется, должны быть введены сильные юридические ограничения: кто именно отвечает за аварии таких машин, кому их вообще можно использовать? Либо людям придется научиться быть начеку при использовании таких систем. Мне кажется, что гораздо лучше эта система работала бы, как ассистент. Допустим, есть такие программы, которые могут заметить, что водитель засыпает, и дать ему подсказку. Конечно же, система может строить маршруты и совершать еще какие-то действия, но полностью отключать водителя нельзя.

— Алексей, а верите ли вы в «киношные» варианты развития событий («Скайнет», «Матрица»)? И может ли повториться сценарий из фантастических фильмов с захватом мира?

— Я думаю, что во всех этих сценариях есть рациональное зерно. Однако надо понимать, что у человеческой эволюции было много технологических скачков. До появления автомобилей люди считали, что города будут завалены навозом: «Если сейчас столько навоза на улицах Лондона, то через несколько лет, когда лошадей станет еще больше, весь город в нем утонет». Потом вдруг появились автомобили, лошади исчезли и возник другой уровень проблем.

Конечно, неприятности от машинного интеллекта будут, но не такие, что нас навечно поработят роботы. Скорее, стоит опасаться быстрых, но глобальных неприятностей: обвал биржи, например, или отключение электричества в большом городе. Это может произойти как раз с помощью интеллектуальных систем. Большие катастрофы вполне возможны. Но управлять миром машины не могут — они могут решить определенную задачу и после этого им будет нечего делать. А вот люди, владеющие искусственным интеллектом как инструментом, вполне могут создать много неприятностей для других людей.