Мы живем в новой технологической реальности, будто нас переместили в сцену фантастического фильма.

Долги "выбивал робот"

Недавно в Екатеринбурге долги из клиента "выбивал" робот-коллектор (об этом "РГ" писала на прошлой неделе). Причем, мужчина и не догадывался, что больше месяца разговаривал с искусственной интеллектуальной системой, настолько изобретательно были выстроены диалоги. Робот представился руководителем коллекторского агентства, назвав женское имя, фамилию и отчество, и приятным голосом отвечал на все вопросы, задавал уточняющие, и "настоятельно рекомендовал клиенту погасить долги".

При этом общеизвестно, что роботы сегодня могут разговаривать голосом любого из нас.

Почти по Оруэллу

В Китае между тем уже вовсю внедряется система социальных баллов, а проще говоря тотальной слежки за гражданами с помощью искусственного интеллекта. Все, что делает китаец, фиксируется камерами с распознаванием лиц и десятками баз данных. За хорошее поведение начисляют баллы, за плохое - снимают. Принцип системы: люди с высокими результатами будут жить хорошо, а тем, кто уйдет в минус, не поздоровится. Могут запретить занимать определенные должности, не продать билеты на поезд или на самолет. Некоторые эксперты приходят в ужас, когда начинают анализировать, к каким результатам приведет эта умная "оруэлловская" система в будущем.

Искусственный разум направил в пике

При этом известно, что даже малейшие просчеты в проектировании интеллектуальных систем могут приводить к катастрофическим последствиям уже сегодня.

Так, выяснилось, что из-за ошибочных показаний датчика и системы контроля полета самолеты Boeing-737 MAX могут сами неожиданно уходить в пике. Получив неверные вводные об обтекании крыла потоком воздуха, самолеты автоматически опускают нос вниз. Этот факт честно признали в компании после того, как Boeing-737 MAX-8 индонезийской авиакомпании Lion Air потерпел крушение в октябре 2018 года над морем у западного побережья острова Ява. На борту находились 189 человек, все погибли.

В Аризоне беспилотное авто от Uber сбило женщину, переходившую улицу в неположенном месте. В кресле водителя находился пилот-человек, но он не успел остановить машину. Эта авария стала первым смертельным ДТП с участием автомобиля, имеющего третий уровень автономности. Оказалось, лазерные радары машины распознали пешехода за целых 5,6 секунды до аварии. Но алгоритм решил не снижать скорость и начал экстренное торможение только за 0,2 секунды до столкновения.

Как переиграть роботов?

Все эти факты, впрочем, повод не для развития массовой паранойи, а как раз для того, чтобы человечество, насколько это возможно, действовало на опережение, предугадывало возможные опасности, которые могут возникнуть при внедрении технологий с использованием искусственного интеллекта. Об этом сегодня в голос говорят эксперты. Ведь прогресс останавливать глупо. Причем риски не только и даже не столько технологические, сколько юридические, правовые и этические. Последний аспект особенно важен при разработке систем управления беспилотными автомобилями. Какой алгоритм, скажите, нужно заложить разработчикам в гипотетической ситуации, когда на дороге перед машиной неожиданно появляется старушка, а с другой стороны - маленький мальчик? То есть проблема выбора состоит в том, что кто-то неизбежно должен пострадать.

В реальной жизни исход этой конфигурации на дороге зависит от индивидуальных физиологических особенностей водителя, его реакции, - словом, того, как сработает человеческий мозг в этой экстремальной ситуации. И при любом ужасе, она разрешается "естественным" путем, но вот простят ли искусственному интеллекту смерть кого-то из участников движения? И как вообще интеллектуальной системе решить эту заведомо неразрешимую задачу? Заложить в алгоритм действия частотность поведения водителей в таких ситуациях? Пожертвовать старушкой? И кому на откуп дать решение этой задачи, при которой по сути будут вершиться судьбы людей. Отдельно взятому коллективу разработчиков? И как потом быть с юридическими последствиями этой дорожной дилеммы? Вопросов масса.

Несколько дней назад в рамках Гайдаровского форума состоялась очень злободневная и интересная дискуссия "Этические проблемы применения цифровых технологий: как искать решение?". Ее модератор - академический директор Центра подготовки руководителей цифровой трансформации ВШГУ РАНХиГС Мария Шклярук - представила аналитический доклад, подготовленный на основе работ десятков отечественных экспертов в области новых интеллектуальных систем. В нем как раз содержится вдумчивый подход к осмыслению отношения людей и роботов.

Показательно, что эксперты высказывают различные подходы к принципам установления ответственности за действия ИИ. От полного освобождения кого-либо от ответственности, по аналогии с обстоятельствами непреодолимой силы. Ответственности конкретного субъекта - производителя, разработчика, владельца, пользователя и т.д. И вплоть до личной ответственности роботов при условии наделения их правами и обязанностями, статусом электронной личности.

Впрочем, эта тема остается сегодня остро дискуссионной: и ученые, и разработчики, вероятно, не скоро придут к единому решению. Вот лишь несколько показательных мнений.

Экспертные мнения

Валерий Карпов, вице-президент Российской ассоциации искусственного интеллекта, начальник лаборатории робототехники НИЦ "Курчатовский институт":

- Чаще всего эту ответственность возлагают на "программиста", но он лишь оператор, который закладывает правила поведения, определяемые экспертом, специалистом в некоторой предметной области. В случае этики - неким моральным философом, например. Именно эксперт - моральный философ и несет ответственность за суть поведения системы и то, на чем должна основываться логика принятия решений. Какой "моральный кодекс" будет предоставлен, такой и будет реализован "программистом".

Олег Кузнецов, председатель научного совета Российской ассоциации искусственного интеллекта, профессор ИПУ РАН:

- Третьей стороной, выступающей между философом и разработчиком, является законодатель. Проблема ответственности решается в правовом режиме. Кто-то должен подать иск об ущербе, и иск подается не разработчику. Ведь пользователь не знает, кто разработчик, и не обязан это знать, а предъявляет претензии тому, кто его обслуживает. При этом интеллектуальная система никогда не будет сама ответственна, в случае ошибки всегда будет виноват тот или иной конкретный человек.

Павел Готовцев, координатор российской Рабочей группы по этике искусственного интеллекта, заместитель начальника отдела биотехнологий и биоэнергетики НИЦ "Курчатовский институт":

- Как и в любой ситуации, нельзя четко провести границу и сказать: "Всегда виноват пользователь или всегда виноват разработчик". Здесь этого не получится по многим причинам, как в любой другой технической системе. Например, при аварии самолета происходит разбирательство, кто виноват ― производитель, авиакомпания, пилот. И здесь нужна такая же граница. В принципе, когда возникает какая-то сложная, технически обусловленная ситуация, естественно, собирают технических специалистов, анализируют, проводят в сертифицированных центрах исследования, анализ. Аналогично должно быть и с системами искусственного интеллекта.

Роман Душкин, директор по науке и технологиям Агентства искусственного интеллекта:

- Есть несколько вариантов, кому нести ответственность: разработчику, владельцу, пользователям и самому искусственному интеллекту. Четвертый вариант - радикальный, его я и проповедую. В большинстве стран законодательство устроено так, что, если что-то случилось, человек, который виноват, возмещает ущерб деньгами или попадает в тюрьму. Соответственно, интеллектуальная система тоже может отвечать за свои ошибки деньгами. Возьмем автономный беспилотный автомобиль, у него есть определенные потребности: топливо, электричество, техническое обслуживание, запчасти и потребность в деньгах для всего этого. Он их зарабатывает своей функциональностью, непрерывным передвижением по городу, перевозкой пассажиров из точки А в точку Б, за что пассажиры платят ему, как сейчас платят Яндексу или Uber. Машина тратит меньше, чем зарабатывает, и копит деньги, которыми она будет отвечать, если что-то случится, и с нее будет взыскано возмещение ущерба.

Андрей Незнамов, исполнительный директор ПАО "Сбербанк"; основатель проекта "Робоправо", старший научный сотрудник Института государства и права РАН:

- У термина "искусственный интеллект" нет единого определения; поэтому достаточно сложно говорить о единых правилах применения искусственного интеллекта во всех сферах. Соответственно, вопрос ответственности также нельзя решить однозначно. На сегодняшний день универсальным можно назвать только одно правило: ответственность несет человек.

От первого лица

На прошедшей в ноябре 2019 года в Москве конференции по искусственному интеллекту AI Journey президент РФ Владимир Путин предложил разработать этические нормы взаимодействия человека с искусственным интеллектом:

- Сейчас во всем мире разворачивается дискуссия о социальных аспектах и последствиях использования искусственного интеллекта, это очень важная тема. Предлагаю профессиональному сообществу, компаниям подумать над формированием свода этических правил взаимодействия человека с искусственным интеллектом.

Тем временем

Искусственный разум убивает

Даже малейшие просчеты в проектировании интеллектуальных систем могут приводить к катастрофическим последствиям уже сегодня. Так, выяснилось, что из-за ошибочных показаний датчика и системы контроля полета самолеты Boeing 737 MAX могут сами неожиданно уходить в пике. Получив неверные вводные об обтекании крыла потоком воздуха, самолеты автоматически опускают нос вниз. Этот факт честно признали в компании после того, как Boeing 737 MAX 8 индонезийской авиакомпании Lion Air потерпел крушение в октябре 2018 года над морем у западного побережья острова Ява. На борту находились 189 человек, все погибли.

Елена Мационг

Источники

Чем опасно внедрение технологий с искусственным интеллектом
Российская газета. УРФО (rg.ru), 28/01/2020
Чем опасно внедрение технологий с искусственным интеллектом
Национальная ассоциация нефтегазового сервиса (nangs.org), 28/01/2020

Похожие новости

  • 02/04/2018

    Разработка новосибирских ученых поможет утилизировать ТКО Крыма

    ​Разработку новосибирских ученых используют для создания установки по переработке 127 тыс отходов в год. — Это предложение поступило к нам с прошлогоднего форума «Технопром-2017». В нем принимала участие пермская компания ОАО «ОДК-Авиадвигатель».
    1056
  • 27/08/2018

    Эксперты считают драйверами развития Новосибирской области медицину и электронику

    ​Стратегия развития Новосибирской области до 2030 года, предполагающая обеспечение экономического роста региона, должна быть принята в 2018 году. Региональные эксперты и представители крупных предприятий рассказали ТАСС, какие отрасли должны в нее войти и чем может помочь им государство.
    790
  • 02/07/2019

    Кто спасет ГЛОНАСС?

    ​Счетная палата считает, что из-за ограничений на импорт иностранных комплектующих планы серийного производства космических аппаратов ГЛОНАСС-К могут быть сорваны, руководители отрасли уверены в успехе, а предприниматели и эксперты предлагают свою помощь.
    391
  • 30/10/2017

    Энергия из воздуха, виски и другие удивительные проекты

    Российские ученые разработали способ утилизации углекислого газа и преобразования его в топливо. В случае реализации их идея позволит аккумулировать и использовать энергию, добытую так называемым чистым путем - буквально из воздуха.
    1266
  • 09/09/2019

    Квантовое завтра. Каким быть компьютеру будущего

    ​Основы квантовых вычислений сформулировал в 1981 году Ричард Фейнман в лекции «Моделирование физики на компьютерах». Стоит упомянуть, что идею о возможности использовать для расчетов поведения квантовых систем другие квантовые системы еще за год до того высказывал советский математик Юрий Манин.
    419
  • 03/12/2018

    Лаврентьев, НАТО и технократы: как СССР осваивал Арктику

    Во второй половине ХХ века арктические районы начали играть все большую роль как в экономике, так и в политике СССР. Развивался Норильск как центр горнорудных разработок и цветной металлургии, изучение природных ресурсов на севере Западной Сибири привело к открытию обширной нефтегазовой провинции, которая к 1980 году давала половину добычи нефти и 1/3 природного газа.
    873
  • 06/05/2019

    Семь достижений апреля: какие мировые производства и российские ноу-хау появились в субъектах РФ

    ​Интернет-издание "Капитал страны" представило свой рейтинг главных новостей месяца о достижениях России. Представляем семь наиболее значимых событий, произошедших в субъектах Российской Федерации в апреле 2019 года.
    443
  • 18/01/2019

    Какое место отведено России в большой «лунной гонке»?

    ​В конце 2018 г. глава "Роскосмоса" Дмитрий Рогозин сообщил о новой концепции освоения Луны. По его словам, перед РФ стоит задача более масштабная, чем стояла перед США в 1970-е годы. По силам ли нам это? Легенда о "Барминграде".
    1072
  • 19/09/2019

    Большие данные — большие вызовы

    ​В рамках VII Международного форума технологического развития «Технопром» обсудили возможности использования больших данных для науки, бизнеса и государства. В настоящий момент все они нуждаются в эффективных цифровых инструментах для решения широкого круга задач.
    406
  • 30/10/2019

    Очистку Арктики начнут с Заполярья

    ​В Мурманской области запустят пилотный проект по очистке территории региона от стойких органических загрязнителей (СОЗ), разработанный учеными новосибирского Института органической химии Сибирского отделения РАН.
    340