«Нельзя допустить уничтожения человечества из-за появления «сильного искусственного интеллекта»

«Опасность ИИ и необходимость принятия норм уже несколько лет обсуждаются за рубежом»

— Андрей Владимирович, не могли бы вы рассказать о подготовленном документе?

— Конвенция о робототехнике и искусственном интеллекте — это набор имеющихся на сегодняшний день правил, призванных регламентировать отношения между людьми и роботами. В разное время их разрабатывали разные эксперты: от Айзека Азимова, который вообще является писателем-фантастом, до европейских парламентариев, которые в этом году разработали проект Европейской хартии робототехники.

Когда мы изучали зарубежные правовые системы, мы заметили, что различные ученые, правоведы или даже целые страны на уровне госпрограмм высказывают отдельные мнения о том, как можно регламентировать отношения человека и робота. Однако в какой-то единый свод эту информацию еще никто не сводил — полноценного документа не существует до сих пор. Насколько мне известно, первая попытка его создания была предпринята Южной Кореей — в 2007 году эта страна анонсировала «Этический устав роботов», однако у этого документа очень сложная судьба: его никто толком не видел (у меня он есть буквально на корейском языке), и информации о его публикации и использовании практически нет.

Так что мы попытались взять на себя труд и свести воедино все существующие предложения, а также трансформировать в прообраз неких правовых норм мнения, которые высказывают ученые и эксперты на этот счет. Мы также добавили что-то от себя с учетом наших знаний. Конвенция будет обсуждаться с экспертами не только в России, но и на мировом уровне, а также будет меняться — мы ни в коем случае не предполагаем, что она в первозданном виде должна быть принята ООН. Ее цель в том, чтобы объединить представления большинства людей о том, как нужно взаимодействовать с роботами.

«2017 год в России оправданно можно считать годом робототехники, потому что вопросы регулирования этой сферы сейчас стоят невероятно остро. Практически каждую неделю можно встретить высказывания участников рынка или представителей органов власти по теме регулирования». Фото Олега Тихонова

— В чем необходимость его появления?

— 2017 год в России оправданно можно считать годом робототехники, потому что вопросы регулирования этой сферы сейчас стоят невероятно остро. Практически каждую неделю можно встретить высказывания участников рынка или представителей органов власти по теме регулирования с призывом начать регулирование роботов в той или иной форме. Либо, наоборот, высказываются опасения и просьбы ничего не регулировать. Это легко проследить по публикациям в прессе. Так что, на мой взгляд, наш документ мог бы стать продолжением этих дискуссий, которые происходили в этом году в России и других странах.

Вообще, опасность искусственного интеллекта и необходимость принятия норм относительно робототехники уже несколько лет обсуждаются за рубежом. В России долгое время это не было горячей темой, тогда как в других странах создавались целые университеты, ориентированные на данное направление.

«Мы пока стараемся не приводить Японию в качестве примера»

— Не могли бы вы чуть подробнее рассказать о том, как обстоят дела с регулированием в других станах?

— На данный момент регулирование очень фрагментарное, и полноценного акта, регулирующего все отношения, еще нет ни в одной стране. В ряде стран есть отдельные законы, регламентирующие те или иные киберфизические системы. Что касается акта потенциально международного уровня, то помимо корейского «Этического устава» в Европе прозвучало предложение создать хартию робототехники (мы перевели ее на русский, кстати).

— Просто регулярно появляются новости о том, что в Японии создали «роботов-друзей», «роботов-партнеров» и так далее — то есть, в этой стране роботы уже вплотную взаимодействуют с людьми на бытовом уровне. А как они обходятся без госрегулирования?

— Действительно, в Японии есть госрегулирование, но оно довольно специфическое. Когда они приняли концепцию государственного развития робототехники «New robot revolution», они в ней четко указали перечень законов, которые им нужно поменять для развития роботов (поменять закон о связи, например). Но мы пока стараемся не приводить Японию в пример, по нескольким причинам: специфичность правового регулирования в Японии в целом, совершенно экстраординарный уровень развития робототехники в этой стране и культура использования роботов, а также ее закрытость.

«В большинстве стран, которые активно используют дроны, есть целый пласт соответствующего законодательства. У нас нормы только-только начали появляться. Ситуация с беспилотными автомобилями развивается у нас по той же самой схеме». Фото Сергея Афанасьева

— Андрей Владимирович, а какие вы видите проблемы, способные возникнуть в обществе и правовой системе в связи с активным развитием киберфизических систем?

— Вы знаете, я думаю, что проблемы у нас будут практически в каждой сфере жизнедеятельности, так как киберфизические системы проникают в каждую из них. Замечу, что в России некоторые проблемы еще не очень актуальны или только начинают назревать, а за рубежом они уже довольно остро обсуждаются.

Поясню на примере: развитие дронов в России шло чуть медленнее, чем в других странах, из-за чего замедлилось и регулирование. В большинстве стран, которые активно используют дроны, есть целый пласт соответствующего законодательства. У нас нормы только-только начали появляться. Ситуация с беспилотными автомобилями развивается у нас по той же самой схеме. Также замечу, что сервисные самодвижущиеся роботы в России еще отсутствуют, а в Эстонии уже есть закон о них. Если резюмировать, то каждый робот будет привносить определенные правовые проблемы, которые нам придется решать.

«Представьте себе систему искусственного интеллекта, управляющую самолетом или атомной станцией...»

— Как вы лично относитесь к развитию робототехники и ИИ? Согласны ли вы с тем, что появление новых технологий отупляет нас, лишает работы и в конечном счете делает нас менее счастливыми?

— Я искренне убежден, что технологии сделают мир лучше, просто есть определенный этап, на котором необходимо вмешаться юристам. С одной стороны, нам нельзя допустить, чтобы законы помешали развитию технологий, а с другой стороны, мы не можем допустить уничтожения человечества, что вполне может случиться вследствие разработки «сильного ИИ». По мнению некоторых экспертов, такой искусственный интеллект может быть губительно опасным, и я считаю, что существование даже 0,000001% такой вероятности означает, что юристы непременно должны вмешаться. А тем людям, которые не очень дружат с технологиями, наверное, придется постепенно начинать это делать — жизнь будет очень быстро меняться.

Что касается второй части вопроса, то такая позиция была озвучена еще Айзеком Азимовым: в одном из своих рассказов он показывает, что люди не всегда становятся счастливее и человечество не всегда выигрывает от того, что за него все делают роботы. Но, на мой взгляд, говорить об этой обратной философской стороне сейчас немного странно, потому в данный момент времени роботы очень сильно помогают улучшить человеческую жизнь. Когда на одной чаше весов находится человеческая жизнь, которую может спасти робот (уменьшением числа жертв ДТП, помощью в спасательных операциях и так далее), а на другой чаше весов какие-то абстрактные вопросы счастья или несчастья человечества, то для меня выбор очевиден.

В последствии, когда появятся так называемые разумные роботы, которые будут делать за нас практически все, наверное, нам стоит об этом задуматься, но сейчас я вижу в роботах безусловное благо.

«Я искренне убежден, что технологии сделают мир лучше, просто есть определенный этап, на котором необходимо вмешаться юристам. С одной стороны, нам нельзя допустить, чтобы законы помешали развитию технологий, а с другой стороны, мы не можем допустить уничтожения человечества, что вполне может случиться вследствие разработки «сильного ИИ». Фото Олега Тихонова

— В одном из пунктов вашего документа вы пишете, что нельзя исключить сценарии использования ИИ и роботов, которые могут привести к катастрофическим последствиям для всей человеческой расы. Как вы себе представляете эти сценарии, что, к примеру, может произойти?

— Эта норма как раз связана с опасениями экспертов, которые высказывают мнение, что искусственный интеллект губителен для человечества. Вообще, эти сценарии уже неоднократно описывались в литературе. Один из примеров: ИИ управляет энергетической структурой страны и по каким-то причинам просто выходит из-под контроля, даже не проявляя признаков желания всех уничтожить — просто случается сбой. Из-за этого обрушивается вся энергосистема — представляете, что будет? А если представить, что ИИ будет преследовать какие-то свои цели, то уничтожение целой страны не будет для него невыполнимой задачей.

Представьте себе систему искусственного интеллекта, управляющую самолетом или атомной станцией — если с ней что-то случится, то вы прекрасно понимаете, что произойдет. Есть и глобальный сценарий, когда создается ИИ, существует и выходит из-под контроля и уничтожает человечество. Он описан в работах Ника Бострома, а также в книге «Последнее изобретение человечества» Джеймса Баррата. Концепция очень простая: ИИ с безумной скоростью начинает самосовершенствоваться, работает день и ночь, раз за разом создавая лучшую копию самого себя. По этой экспоненте происходит взрывной рост интеллекта, что приводит к появлению на планете существа в миллионы раз умнее нас. А дальше он выходит из под контроля.

— Когда мы обсуждали Японию, вы затронули тему уровня развития робототехники и ИИ в этой стране. А что вы можете сказать о России мы — сильно отстаем?

— Есть интересный аспект в этой проблеме: дело в том, что разработками ИИ занимаются государства и крупные корпорации, которые не всегда делают это открыто. По этой причине, мало кто может объективно оценить уровень развития этой области в разных странах. В любой стране может существовать корпорация, которая давно ведет секретные разработки и уже добилась серьезного успеха.

Если же судить по открытым данным, то можно с уверенностью сказать, что в России есть разработчики ИИ, при этом часть из них имеет мировую известность, и в этом отношении я бы не сказал, что наша страна находится в числе отстающих. Вместе с тем некоторые эксперты заявляют о том, что наша страна находится в числе лидеров в сфере применения военных роботов и военного ИИ.