Мы живем в новой технологической реальности, будто нас переместили в сцену фантастического фильма.

Долги "выбивал робот"

Недавно в Екатеринбурге долги из клиента "выбивал" робот-коллектор (об этом "РГ" писала на прошлой неделе). Причем, мужчина и не догадывался, что больше месяца разговаривал с искусственной интеллектуальной системой, настолько изобретательно были выстроены диалоги. Робот представился руководителем коллекторского агентства, назвав женское имя, фамилию и отчество, и приятным голосом отвечал на все вопросы, задавал уточняющие, и "настоятельно рекомендовал клиенту погасить долги".

При этом общеизвестно, что роботы сегодня могут разговаривать голосом любого из нас.

Почти по Оруэллу

В Китае между тем уже вовсю внедряется система социальных баллов, а проще говоря тотальной слежки за гражданами с помощью искусственного интеллекта. Все, что делает китаец, фиксируется камерами с распознаванием лиц и десятками баз данных. За хорошее поведение начисляют баллы, за плохое - снимают. Принцип системы: люди с высокими результатами будут жить хорошо, а тем, кто уйдет в минус, не поздоровится. Могут запретить занимать определенные должности, не продать билеты на поезд или на самолет. Некоторые эксперты приходят в ужас, когда начинают анализировать, к каким результатам приведет эта умная "оруэлловская" система в будущем.

Искусственный разум направил в пике

При этом известно, что даже малейшие просчеты в проектировании интеллектуальных систем могут приводить к катастрофическим последствиям уже сегодня.

Так, выяснилось, что из-за ошибочных показаний датчика и системы контроля полета самолеты Boeing-737 MAX могут сами неожиданно уходить в пике. Получив неверные вводные об обтекании крыла потоком воздуха, самолеты автоматически опускают нос вниз. Этот факт честно признали в компании после того, как Boeing-737 MAX-8 индонезийской авиакомпании Lion Air потерпел крушение в октябре 2018 года над морем у западного побережья острова Ява. На борту находились 189 человек, все погибли.

В Аризоне беспилотное авто от Uber сбило женщину, переходившую улицу в неположенном месте. В кресле водителя находился пилот-человек, но он не успел остановить машину. Эта авария стала первым смертельным ДТП с участием автомобиля, имеющего третий уровень автономности. Оказалось, лазерные радары машины распознали пешехода за целых 5,6 секунды до аварии. Но алгоритм решил не снижать скорость и начал экстренное торможение только за 0,2 секунды до столкновения.

Как переиграть роботов?

Все эти факты, впрочем, повод не для развития массовой паранойи, а как раз для того, чтобы человечество, насколько это возможно, действовало на опережение, предугадывало возможные опасности, которые могут возникнуть при внедрении технологий с использованием искусственного интеллекта. Об этом сегодня в голос говорят эксперты. Ведь прогресс останавливать глупо. Причем риски не только и даже не столько технологические, сколько юридические, правовые и этические. Последний аспект особенно важен при разработке систем управления беспилотными автомобилями. Какой алгоритм, скажите, нужно заложить разработчикам в гипотетической ситуации, когда на дороге перед машиной неожиданно появляется старушка, а с другой стороны - маленький мальчик? То есть проблема выбора состоит в том, что кто-то неизбежно должен пострадать.

В реальной жизни исход этой конфигурации на дороге зависит от индивидуальных физиологических особенностей водителя, его реакции, - словом, того, как сработает человеческий мозг в этой экстремальной ситуации. И при любом ужасе, она разрешается "естественным" путем, но вот простят ли искусственному интеллекту смерть кого-то из участников движения? И как вообще интеллектуальной системе решить эту заведомо неразрешимую задачу? Заложить в алгоритм действия частотность поведения водителей в таких ситуациях? Пожертвовать старушкой? И кому на откуп дать решение этой задачи, при которой по сути будут вершиться судьбы людей. Отдельно взятому коллективу разработчиков? И как потом быть с юридическими последствиями этой дорожной дилеммы? Вопросов масса.

Несколько дней назад в рамках Гайдаровского форума состоялась очень злободневная и интересная дискуссия "Этические проблемы применения цифровых технологий: как искать решение?". Ее модератор - академический директор Центра подготовки руководителей цифровой трансформации ВШГУ РАНХиГС Мария Шклярук - представила аналитический доклад, подготовленный на основе работ десятков отечественных экспертов в области новых интеллектуальных систем. В нем как раз содержится вдумчивый подход к осмыслению отношения людей и роботов.

Показательно, что эксперты высказывают различные подходы к принципам установления ответственности за действия ИИ. От полного освобождения кого-либо от ответственности, по аналогии с обстоятельствами непреодолимой силы. Ответственности конкретного субъекта - производителя, разработчика, владельца, пользователя и т.д. И вплоть до личной ответственности роботов при условии наделения их правами и обязанностями, статусом электронной личности.

Впрочем, эта тема остается сегодня остро дискуссионной: и ученые, и разработчики, вероятно, не скоро придут к единому решению. Вот лишь несколько показательных мнений.

Экспертные мнения

Валерий Карпов, вице-президент Российской ассоциации искусственного интеллекта, начальник лаборатории робототехники НИЦ "Курчатовский институт":

- Чаще всего эту ответственность возлагают на "программиста", но он лишь оператор, который закладывает правила поведения, определяемые экспертом, специалистом в некоторой предметной области. В случае этики - неким моральным философом, например. Именно эксперт - моральный философ и несет ответственность за суть поведения системы и то, на чем должна основываться логика принятия решений. Какой "моральный кодекс" будет предоставлен, такой и будет реализован "программистом".

Олег Кузнецов, председатель научного совета Российской ассоциации искусственного интеллекта, профессор ИПУ РАН:

- Третьей стороной, выступающей между философом и разработчиком, является законодатель. Проблема ответственности решается в правовом режиме. Кто-то должен подать иск об ущербе, и иск подается не разработчику. Ведь пользователь не знает, кто разработчик, и не обязан это знать, а предъявляет претензии тому, кто его обслуживает. При этом интеллектуальная система никогда не будет сама ответственна, в случае ошибки всегда будет виноват тот или иной конкретный человек.

Павел Готовцев, координатор российской Рабочей группы по этике искусственного интеллекта, заместитель начальника отдела биотехнологий и биоэнергетики НИЦ "Курчатовский институт":

- Как и в любой ситуации, нельзя четко провести границу и сказать: "Всегда виноват пользователь или всегда виноват разработчик". Здесь этого не получится по многим причинам, как в любой другой технической системе. Например, при аварии самолета происходит разбирательство, кто виноват ― производитель, авиакомпания, пилот. И здесь нужна такая же граница. В принципе, когда возникает какая-то сложная, технически обусловленная ситуация, естественно, собирают технических специалистов, анализируют, проводят в сертифицированных центрах исследования, анализ. Аналогично должно быть и с системами искусственного интеллекта.

Роман Душкин, директор по науке и технологиям Агентства искусственного интеллекта:

- Есть несколько вариантов, кому нести ответственность: разработчику, владельцу, пользователям и самому искусственному интеллекту. Четвертый вариант - радикальный, его я и проповедую. В большинстве стран законодательство устроено так, что, если что-то случилось, человек, который виноват, возмещает ущерб деньгами или попадает в тюрьму. Соответственно, интеллектуальная система тоже может отвечать за свои ошибки деньгами. Возьмем автономный беспилотный автомобиль, у него есть определенные потребности: топливо, электричество, техническое обслуживание, запчасти и потребность в деньгах для всего этого. Он их зарабатывает своей функциональностью, непрерывным передвижением по городу, перевозкой пассажиров из точки А в точку Б, за что пассажиры платят ему, как сейчас платят Яндексу или Uber. Машина тратит меньше, чем зарабатывает, и копит деньги, которыми она будет отвечать, если что-то случится, и с нее будет взыскано возмещение ущерба.

Андрей Незнамов, исполнительный директор ПАО "Сбербанк"; основатель проекта "Робоправо", старший научный сотрудник Института государства и права РАН:

- У термина "искусственный интеллект" нет единого определения; поэтому достаточно сложно говорить о единых правилах применения искусственного интеллекта во всех сферах. Соответственно, вопрос ответственности также нельзя решить однозначно. На сегодняшний день универсальным можно назвать только одно правило: ответственность несет человек.

От первого лица

На прошедшей в ноябре 2019 года в Москве конференции по искусственному интеллекту AI Journey президент РФ Владимир Путин предложил разработать этические нормы взаимодействия человека с искусственным интеллектом:

- Сейчас во всем мире разворачивается дискуссия о социальных аспектах и последствиях использования искусственного интеллекта, это очень важная тема. Предлагаю профессиональному сообществу, компаниям подумать над формированием свода этических правил взаимодействия человека с искусственным интеллектом.

Тем временем

Искусственный разум убивает

Даже малейшие просчеты в проектировании интеллектуальных систем могут приводить к катастрофическим последствиям уже сегодня. Так, выяснилось, что из-за ошибочных показаний датчика и системы контроля полета самолеты Boeing 737 MAX могут сами неожиданно уходить в пике. Получив неверные вводные об обтекании крыла потоком воздуха, самолеты автоматически опускают нос вниз. Этот факт честно признали в компании после того, как Boeing 737 MAX 8 индонезийской авиакомпании Lion Air потерпел крушение в октябре 2018 года над морем у западного побережья острова Ява. На борту находились 189 человек, все погибли.

Елена Мационг

Источники

Чем опасно внедрение технологий с искусственным интеллектом
Российская газета. УРФО (rg.ru), 28/01/2020
Чем опасно внедрение технологий с искусственным интеллектом
Национальная ассоциация нефтегазового сервиса (nangs.org), 28/01/2020

Похожие новости

  • 21/09/2020

    Центр суперкомпьютеров поможет Новосибирску с расчетами: о деталях проекта - замдиректора ФИЦ ИВТ СО РАН Андрей Юрченко

    ​В Новосибирске создадут суперкомпьютерный центр первого уровня для вычислений, обработки и размещения данных, имеющих важное научно-техническое и государственное значение. Замдиректора Федерального исследовательского центра Института вычислительных технологий (ФИЦ ИВТ) Андрей Юрченко — о деталях проекта.
    77
  • 25/02/2020

    Ученые — о ближайшем будущем технологий

    ​Ученые из российских вузов Проекта 5–100 рассказали о том, каких прорывов и открытий в сфере своих научных интересов они ждут в ближайшее десятилетие. Мы отобрали прогнозы о развитии технологий, к которым стоит присмотреться бизнесу.
    681
  • 30/07/2020

    Более 40 проектов НОЦ «Кузбасс» успешно прошли регистрацию в Роспатенте

    Разработки участников и индустриальных партнеров научно-образовательного центра «Кузбасс» за первое полугодие 2020 года получили 46 патентов, подтверждающих уникальность изобретений, полезных моделей и программ для ЭВМ.
    791
  • 06/08/2020

    ГПНТБ СО РАН приглашает на вебинар "WIPO Match: эффективное использование ИС в интересах развития"

    ​​Всероссийская организация интеллектуальной собственности (ВОИС) продолжает проводить бесплатные увлекательные вебинары. 6 августа 2020 г. в 11.00 по московскому времени (на русском языке) нам представят новую онлайн-платформу WIPO Match и брошюру вебинара.
    340
  • 09/09/2019

    Квантовое завтра. Каким быть компьютеру будущего

    ​Основы квантовых вычислений сформулировал в 1981 году Ричард Фейнман в лекции «Моделирование физики на компьютерах». Стоит упомянуть, что идею о возможности использовать для расчетов поведения квантовых систем другие квантовые системы еще за год до того высказывал советский математик Юрий Манин.
    867
  • 19/09/2019

    Большие данные — большие вызовы

    ​В рамках VII Международного форума технологического развития «Технопром» обсудили возможности использования больших данных для науки, бизнеса и государства. В настоящий момент все они нуждаются в эффективных цифровых инструментах для решения широкого круга задач.
    731
  • 27/08/2018

    Эксперты считают драйверами развития Новосибирской области медицину и электронику

    ​Стратегия развития Новосибирской области до 2030 года, предполагающая обеспечение экономического роста региона, должна быть принята в 2018 году. Региональные эксперты и представители крупных предприятий рассказали ТАСС, какие отрасли должны в нее войти и чем может помочь им государство.
    1006
  • 02/04/2018

    Разработка новосибирских ученых поможет утилизировать ТКО Крыма

    ​Разработку новосибирских ученых используют для создания установки по переработке 127 тыс отходов в год. — Это предложение поступило к нам с прошлогоднего форума «Технопром-2017». В нем принимала участие пермская компания ОАО «ОДК-Авиадвигатель».
    1313
  • 19/05/2020

    Мнение: Актуальные научные вызовы эпохи коронавируса

    Обрушившаяся на человеческое сообщество пандемия коронавируса и произошедшие в первые три месяца 2020 года глобальные изменения сложившегося образа жизни в ближайшее время станут (и уже стали) центром мировых дискуссий: философских, политических, исторических, экономических и гуманитарных.
    587
  • 30/10/2019

    Очистку Арктики начнут с Заполярья

    ​В Мурманской области запустят пилотный проект по очистке территории региона от стойких органических загрязнителей (СОЗ), разработанный учеными новосибирского Института органической химии Сибирского отделения РАН.
    636