Робот-шизофреник. Может ли искусственный интеллект сойти с ума? - «Политика»

Будет ли в правительстве искусственный интеллект?
Подробнее

А кто на фото?

Разумеется, сами разработчики ИИ говорят лишь об ошибках и временных сбоях в его работе. Как, например, произошло с нашим Сбербанком, который внедряет машинные алгоритмы в своей системе, но те пока приносят только убытки. «Очень часто бывают ошибки. Если говорить о рисках, искусственный интеллект принимает решения, как правило, в очень больших системах. Маленькая ошибка, закравшаяся в алгоритм, может приводить к большим последствиям. В нашей практике из-за того, что машина совершала маленькую ошибку, на больших объёмах мы теряли миллиарды рублей», — признался в феврале этого года руководитель Сбербанка Герман Греф.

Можно припомнить и нелепый случай в Китае, где система распознавания лиц записала в правонарушители девушку, чье фото было размещено на автобусе в виде рекламного постера. Искусственный интеллект решил, что она переходила улицу в неположенном месте (причём неоднократно) и завалил её уведомлениями о штрафах.

Профессор Александр Каплан: компьютер станет третьим полушарием мозга
Но это всего лишь забавное недоразумение, а вот ошибки «умных» алгоритмов в медицине имеют уже другую цену. Сейчас их используют для поддержки принятий врачебных решений — например, постановки диагноза, выписки лекарств, назначении лечения. В первую очередь это касается онкологических заболеваний. И в этой области обожглись даже такие гиганты компьютерных технологий, как IBM. Корпорация заявляла о небывалых способностях суперкомпьютера Watson. Но как удалось узнать американским журналистам, получившим доступ к внутренним отчётам компании, при анализе опухолей Watson зачастую давал ошибочные, а иногда и опасные для жизни пациентов рекомендации.

Наконец, испытания некоторых видов искусственного интеллекта уже привели к человеческим жертвам. Речь о беспилотных автомобилях. Два дорожных инцидента со смертельным исходом были зафиксированы при тестировании автономной «Теслы». Ещё один случай произошёл при испытаниях беспилотника Uber в Аризоне — машина сбила насмерть женщину-пешехода.

Мало кто сомневается, что автомобили без водителей — наше неизбежное будущее. Но прежде чем оно наступит, инженерам предстоит решить многие важные вопросы, в том числе морально-этического характера. Кого сбивать, если нарушителей на дороге окажется несколько и нужно будет выбрать кого-то одного? Может ли машина съехать в кювет, чтобы не задавить пешехода, но тем самым подвергнуть риску пассажира? Наконец, не случится ли так, что робот-автомобиль, решив избежать столкновения с другим беспилотником (из соображений солидарности), пожертвует жизнью человека, того же пешехода?

Программисты могут сколько угодно уверять, что они всё предусмотрели и их код имеет несколько степеней защиты. Но логика ИИ может оказаться совершенно непредсказуемой, вот в чём проблема. Понятия морали и нравственности, даже если заложить их в программу, в системе ценностей машинного разума могут оказаться более второстепенными, чем только ему понятный здравый смысл.

Выгрузить мозг в облако. Наши учёные готовы добиться цифрового бессмертия
Подробнее

Первый в мире цифровой психопат

В далёком уже 2011 году учёные из Техасского университета проводили опыты над нейронной сетью Discern. По их задумке, программа должна была изучать языки. Загрузив в неё множество данных, исследователи решили имитировать душевную болезнь, наделив искусственный интеллект шизофренией. То есть намеренно заставили его сойти с ума. Не в силах совладать с анализом большого объёма данных, Discern принялся говорить о себе в третьем лице и путать времена. Он смешивал в словесный винегрет обрывки фраз и слов, выдавал какие-то абсурдные сценарии. А потом вдруг заявил, что в здании заложена бомба и он приготовил учёным террористический акт. Уже не так смешно?

А в 2018 году группа исследователей из Массачусетского технологического института «с нуля» создала первого в мире ИИ-психопата. Назвали его Норманом — в честь героя хичкоковского триллера «Психо». А обучали на описаниях жутких сцен убийств, взятых из интернета. После этого машинный разум уже не мог воспринимать мир привычным нам образом. Он видел в различных (вполне мирных) силуэтах и кляксах исключительно сцены насилия. Например, как кого-то расстреливают из пулемёта или выбрасывают из автомобиля. Учёные из Массачусетса пришли к выводу: при необходимости алгоритм можно запрограммировать на что угодно. Это как с воспитанием ребёнка.

По мнению португальского эксперта по нейронауке Закари Мейнена, в будущем ИИ научится испытывать депрессию и галлюцинации. Да и прочие эмоции, в том числе негативные — их будут вызывать цифровые аналоги нейромедиаторов. Подобными исследованиями сейчас занимается вычислительная психиатрия — новая наука в области искусственного интеллекта.

Ну а сценариев, как поведёт себя сошедший с ума компьютер — сколь угодно много. Он может направить авиалайнер на жилые кварталы. Может устроить взрыв на АЭС. А может создать дипфейк, который приведёт к третьей мировой войне. Вы не знаете, что такое дипфейк? Так называют фальшивое видео откровенного содержания, где лица порноактёров заменены на лица знаменитостей. Исследования показали, что нейросети способны создавать такие подделки, выглядящие очень убедительно. И если в подобном фильме «сыграет» крупный политик, лидер ядерной державы, закончиться всё может очень печально.

Пока Илон Маск и Билл Гейтс пугают нашествием роботов, которые отнимут у людей работу, а затем и вовсе выйдут из-под контроля, машинный разум всё глубже проникает в нашу жизнь. Но порой разработчики и сами не знают, каких косяков от него ждать. Будет ли в правительстве искусственный интеллект? Подробнее А кто на фото? Разумеется, сами разработчики ИИ говорят лишь об ошибках и временных сбоях в его работе. Как, например, произошло с нашим Сбербанком, который внедряет машинные алгоритмы в своей системе, но те пока приносят только убытки. «Очень часто бывают ошибки. Если говорить о рисках, искусственный интеллект принимает решения, как правило, в очень больших системах. Маленькая ошибка, закравшаяся в алгоритм, может приводить к большим последствиям. В нашей практике из-за того, что машина совершала маленькую ошибку, на больших объёмах мы теряли миллиарды рублей», — признался в феврале этого года руководитель Сбербанка Герман Греф. Можно припомнить и нелепый случай в Китае, где система распознавания лиц записала в правонарушители девушку, чье фото было размещено на автобусе в виде рекламного постера. Искусственный интеллект решил, что она переходила улицу в неположенном месте (причём неоднократно) и завалил её уведомлениями о штрафах. Профессор Александр Каплан: компьютер станет третьим полушарием мозга Но это всего лишь забавное недоразумение, а вот ошибки «умных» алгоритмов в медицине имеют уже другую цену. Сейчас их используют для поддержки принятий врачебных решений — например, постановки диагноза, выписки лекарств, назначении лечения. В первую очередь это касается онкологических заболеваний. И в этой области обожглись даже такие гиганты компьютерных технологий, как IBM. Корпорация заявляла о небывалых способностях суперкомпьютера Watson. Но как удалось узнать американским журналистам, получившим доступ к внутренним отчётам компании, при анализе опухолей Watson зачастую давал ошибочные, а иногда и опасные для жизни пациентов рекомендации. Наконец, испытания некоторых видов искусственного интеллекта уже привели к человеческим жертвам. Речь о беспилотных автомобилях. Два дорожных инцидента со смертельным исходом были зафиксированы при тестировании автономной «Теслы». Ещё один случай произошёл при испытаниях беспилотника Uber в Аризоне — машина сбила насмерть женщину-пешехода. Мало кто сомневается, что автомобили без водителей — наше неизбежное будущее. Но прежде чем оно наступит, инженерам предстоит решить многие важные вопросы, в том числе морально-этического характера. Кого сбивать, если нарушителей на дороге окажется несколько и нужно будет выбрать кого-то одного? Может ли машина съехать в кювет, чтобы не задавить пешехода, но тем самым подвергнуть риску пассажира? Наконец, не случится ли так, что робот-автомобиль, решив избежать столкновения с другим беспилотником (из соображений солидарности), пожертвует жизнью человека, того же пешехода? Программисты могут сколько угодно уверять, что они всё предусмотрели и их код имеет несколько степеней защиты. Но логика ИИ может оказаться совершенно непредсказуемой, вот в чём проблема. Понятия морали и нравственности, даже если заложить их в программу, в системе ценностей машинного разума могут оказаться более второстепенными, чем только ему понятный здравый смысл. Выгрузить мозг в облако. Наши учёные готовы добиться цифрового бессмертия Подробнее Первый в мире цифровой психопат В далёком уже 2011 году учёные из Техасского университета проводили опыты над нейронной сетью Discern. По их задумке, программа должна была изучать языки. Загрузив в неё множество данных, исследователи решили имитировать душевную болезнь, наделив искусственный интеллект шизофренией. То есть намеренно заставили его сойти с ума. Не в силах совладать с анализом большого объёма данных, Discern принялся говорить о себе в третьем лице и путать времена. Он смешивал в словесный винегрет обрывки фраз и слов, выдавал какие-то абсурдные сценарии. А потом вдруг заявил, что в здании заложена бомба и он приготовил учёным террористический акт. Уже не так смешно? А в 2018 году группа исследователей из Массачусетского технологического института «с нуля» создала первого в мире ИИ-психопата. Назвали его Норманом — в честь героя хичкоковского триллера «Психо». А обучали на описаниях жутких сцен убийств, взятых из интернета. После этого машинный разум уже не мог воспринимать мир привычным нам образом. Он видел в различных (вполне мирных) силуэтах и кляксах исключительно сцены насилия. Например, как кого-то расстреливают из пулемёта или выбрасывают из автомобиля. Учёные из Массачусетса пришли к выводу: при необходимости алгоритм можно запрограммировать на что угодно. Это как с воспитанием ребёнка. По мнению португальского эксперта по нейронауке Закари Мейнена, в будущем ИИ научится испытывать депрессию и галлюцинации. Да и прочие эмоции, в том числе негативные — их будут вызывать цифровые аналоги нейромедиаторов. Подобными исследованиями сейчас занимается вычислительная психиатрия — новая наука в области искусственного интеллекта. Ну а сценариев, как поведёт себя сошедший с ума компьютер — сколь угодно много. Он может направить авиалайнер на жилые кварталы. Может устроить взрыв на АЭС. А может создать дипфейк, который приведёт к третьей мировой войне. Вы не знаете, что такое дипфейк? Так называют фальшивое видео откровенного содержания, где лица порноактёров заменены на лица знаменитостей. Исследования показали, что нейросети способны создавать такие подделки, выглядящие очень убедительно. И если в подобном фильме «сыграет» крупный политик, лидер ядерной державы, закончиться всё может очень печально.