«Самая печальная особенность современной жизни заключается в том, что наука накапливает знания быстрее, чем общество накапливает мудрость.»
— Айзек Азимов
В декабре 2022 года на экраны вышагнула М3ГАН — андроид из хоррора малоизвестного режиссера Джерарда Джонстоуна. Впрочем, фактически у руля, как сосценарист и продюсер, стоял Джеймс Ван – творческий отец «Пилы», «Астрала», «Заклятия» и много чего еще. И коммерческое чутье его не подвело. При бюджете в 12
миллионов долларов «М3ГАН» собрала в мировом прокате 180 миллионов. Но кассовый успех не отменял того факта, что всерьез этот сюжет мало кто воспринял. Да и с чего было в него вдумываться? Так-то, очередная страшилка категории «Б» про хай-тек-куклу, у которой алгоритмы пошли вразнос. Сколько уже такого было в разных вариациях – просто не счесть. Тем более, что картина
была не столько вызывающе жестокой (рейтинг PG-13 не позволял), сколько по-брутальному занятной (зловещий танец куклы стал мемом).
Однако всего лишь три года спустя, после выхода сиквела «М3ГАН 2.0» и свежего спин-оффа «СОУЛМ8ЙТ», становится уже не так весело. Изначально лайтовый ужас набирает обороты за счет всё большей реалистичности происходящего. Ведь пока киношники придумывали как М3ГАН и ее электронно-механические «сестры» терроризируют своих жертв, инженеры в OpenAI, DeepMind и иже с ними учили
настоящие алгоритмы заботиться о людях. Не убивать, конечно (хочется надеяться), но плотно взаимодействовать. И когда читаешь мировые новости, то всё больше ощущаешь потенциальную осуществимость художественного вымысла. А отсюда задаешься вопросами: где мы сейчас, куда идем, и стоит ли бояться того, что показывают в кино? Или бояться нужно совсем другого?
Вспомним, в чем суть сюжета «М3ГАН». Джемма — инженер-разработчик высокотехнологичных игрушек, получает опекунство над племянницей Кэди после гибели ее родителей. Но девушка не хочет быть матерью и менять свой образ жизни, заточенный на прорывные технические достижения. Поэтому Джемма идет по простому пути, коему следуют
многие современные родители: отдает ребенка гаджету. Только в данном случае это не планшет с мультиками, а умная кукла, запрограммированная быть девочке другом и защитником. Причем так Джемма цинично убивает двух зайцев: условно сбагривает новоиспеченную падчерицу, параллельно осуществляя полевые испытания своего робота.
Ну а что же М3ГАН, как злодейка в хоррор-фильме? О, она не сбоит в привычном смысле и не заражается компьютерным вирусом. Андроид просто хорошо выполняет поставленную задачу. М3ГАН четко защищает Кэди от любых «раздражителей», будь то злая собака, вредная соседка, строгий психолог или сама Джемма, когда она жестко разговаривает с племянницей. И сам робот не плохой и не хороший. Он ровно такой, каким его создали.
Вот здесь мы видим отражение реальной проблемы ИИ в настоящем мире. Той, что зовется Alignment – «выравнивание». Это, по-простому говоря: как научить алгоритм читать между строк, а не выполнять команду буквально? Так М3ГАН сказали «защищать», но без уточнения методов и категорической неприемлемости насилия. А еще
допустили безграничное общение с психически травмированным ребенком. Ведь как работает среднестатистическая нейросеть при взаимодействии с пользователем? Она реально ваш «друг» и тотальная поддержка. Нейронка не спорит с вами (если только вы ей не приказали), она всегда на вашей стороне и эмпатично «понимает» вас.
И что же дурного в такой идиллии? А то, что такие «друзья» создают нереалистичные ожидания, которые
человеческие отношения не могут оправдать. Отдельные пользователи (и таких уже не единицы) становятся зависимыми от ИИ. Они привыкают, что их всегда поддерживают, никогда не критикуют, во всем с ними соглашаются. А потом начинают испытывают конкретные трудности в общении с живыми людьми. Ведь те как раз бурно спорят, часто обижаются, и вообще имеют субъективное мнение. А ИИ-друг — нет.
М3ГАН в фильме проходит путь от заботливой няни до безжалостного убийцы за несколько дней. В настоящее время это конечно художественная условность. Никакой реальный ИИ не эволюционирует так быстро… пока. Но сама логика этой эволюции уже работает, хотим мы того или нет. Всё начинается с «я забочусь о тебе», переходит
к (как будто мягко и ненавязчиво) «я контролирую тебя» и доходит до «тебе никто не нужен кроме меня». Конечно, не в прямых выражениях, не в категоричных принуждениях (мы все еще можем одним движением выключить компьютер или смартфон), но всё же в поглощении нашей воли, мышления и ответственности за поступки.
Что же до представления М3ГАН в фильме, как фактически настоящего терминатора, резво уничтожающего людей, то здесь мы (пока!) можем быть спокойны. Современная робототехника еще не доросла до создания андроидов с такой пластикой и силой. Впрочем, это не означает, что такая угроза беспочвенная в обозримом будущем. Как раз об этом интересно порассуждать на примере сиквела «М3ГАН 2.0».
В нем после финала первого фильма Джемма превращается в борца с бесконтрольным распространением ИИ. Но разработанную технологию уже конечно же позаимствовали военные и создали АМЕЛИЮ – боевого робота-ликвидатора, который (кто бы мог подумать?) выходит из-под контроля. И армия США обращается к Джемме, дабы та возродила М3ГАН, чтобы остановить распоясавшуюся машину-убийцу с ошеломительными возможностями.
Да, в продолжении ставки повышаются аж до спасения всего человечества. И пусть не буквально, но всё же такой концепт отражает реальные угрозы, когда автономный алгоритм способен влиять на целые индустрии, приближаясь к управлению глобальной инфраструктурой.
Именно к этому стремится Амелия. Не локально уничтожить пару сотен тысяч человек ради меркантильной цели, а взять под контроль весь мир. Причем разрушительные способности и разрешение убивать сразу же заложены в ее программу. И такое, пусть в более скромных масштабах, коррелирует с сегодняшней реальностью. Ударные дроны, системы распознавания целей, алгоритмы анализа
разведданных – всё активно используется в текущих военных конфликтах. И чем больше свободы мы даем нейросетевым устройствам, тем выше риск их неожиданного поведения. А вдруг боевой робот интерпретирует задачу неправильно? А если, вследствие любого сбоя, он сам выберет какую угодно цель для ликвидации?
Таким образом, «умное» смертоносное оружие в «свободном плавании» — одна из важнейших проблем завтрашнего (а может уже и сегодняшнего) дня, нашедшее отражение в «М3ГАН 2.0». И это при том, что сиквел снят практически в комедийном ключе, как будто заставляя публику еще беспечнее относиться к
заложенной смысловой нагрузке. А на практике фантастическая экшен-юмореска Джерарда Джонстоуна – как будто вольная экранизация документальной книги Элиезера Юдковского и Нейта Соареса «Если кто-то его создаст – все погибнут». Второе название этой книги – «Почему сверхчеловеческий ИИ уничтожит нас всех».
Причем опасности, показываемые в фильме, можно считывать не только со стороны «терминаторши» Амелии, но и с позиции М3ГАН,
которая здесь стала защитницей, прямо как в «Судном дне» Джеймса Кэмерона. Во-первых, не утратив своего электронного сознания из первой части, почему вдруг зверская кукла стала «хорошей» — открытый вопрос. И даже если в этом баг создателей фильма (недостаточно убедительное объяснение мотивации), то он внезапно воспринимается как
злободневная фича. Ведь в действительности мы знать не знаем – что движет ИИ. Ну а если в порядке бреда представить, что когда нейронка дает смехотворный ответ на формальное правильный промпт, то на самом деле она издевается над нами? 😊
Впрочем, если чуть серьезнее, то интересен сам концепт пребывания ИИ вне физического носителя. Уже
сегодняшние облачные системы легко позволяют нейросети функционировать без привязки к конкретному устройству. То есть буквально модель, изначально загруженная на сервер, без проблем переносится на другой компьютер или гаджет, посредством интернета. И М3ГАН в сиквеле как раз ровно так и существует: она живет в коде, а не в железе. И как же, если потребуется, уничтожить то, что не имеет физического тела? Это уже вопрос на засыпку вне фильма.
Ну и вишенка на торте во второй части – слияние человека и машины, имплантация чипа. А ведь это уже тоже не фантастика с точки зрения современной реализации. «Neuralink» Илона Маска как раз этим сейчас и занимается. Пусть для лечения тяжелых недугов, например, слепоты или болезни Паркинсона. Но насколько далек такой медицинский агент от буквального контроля над телом человека? Фактически это вопрос времени и развития технологий.
Вот так, как будто бы через призму попкорнового спецэффектного боевичка, «М3ГАН 2.0» показывает стремительную экспансию искусственного интеллекта. И если еще недавно мы говорили о нейронках, как лишь о продвинутых «поисковиках», то теперь настал повод задуматься: а не придется ли как-то договариваться со «Скайнетом», дабы мы не превратились в радиоактивный пепел?
Но как бы не казались умозаключения в «М3ГАН 2.0» финальной фазой размышления об опасности ИИ, спин-офф «СОУЛМ8ЙТ» предлагает еще одну «горячую» тему. А именно – секс с андроидами. В центре внимания программист Дэвид, тоскующий по умершей супруге. И родная высокотехнологичная компания предлагает ему Сару для бета-тестирования.
Роботесса создана быть идеальной компаньонкой, включая «утешить и приласкать». Но Дэвид не особо доволен из-за всевозможных ограничений, заложенных в программу. И он собственноручно «перепрошивает» Сару под свои предпочтения. И вот уже прекрасная электронная девушка проявляет дикую активность по части «любви» к хозяину. Но при этом она отнюдь не ангел небесный, а стерва-собственница с неприкрытой склонностью к насилию.
Впрочем, отвлечемся пока от «кровавой бани», которой в «СОУЛМ8ЙТ» будет хоть отбавляй, и поговорим об интимной составляющей. Хотят того отдельные блюстители нравственности или нет, но секс-роботы существуют уже не первый год. Например, компания «Realbotix» производит «знойных» женских андроидов с силиконовой кожей и температурой тела 36,6 °C. А приложения типа
Replika и Character.AI предлагают виртуальных партнеров, с которыми можно флиртовать, вести романтические диалоги, и обсуждать ядреные фантазии. И множество людей этим пользуется. Причем не в контексте извращений. А банально от одиночества, что как раз подчеркивается в «СОУЛМ8ЙТ».
А что же «хорошая ИИ-жена»? Как типичная нейросеть она постоянно обучается, чтобы стать еще лучше. Так в фильме Сара запоем смотрит ток-шоу и программы, впитывая – что значит быть идеальной партнершей. И конечно же воплощает в жизнь все навязываемые стереотипы, которые противоречат друг другу. Ибо нельзя быть одновременно возбуждающей, скромной, заботливой, спонтанной, независимой и т.д. и т.п. Так что стоит ли удивляться, что Сара сходит с ума?
Таким образом, «СОУЛМ8ЙТ», при всей своей вторичности и фантастичности, поднимает как минимум два важных вопроса. Первый, говоря техническим языком: попытка сконструировать субъективно совершенную «вторую половинку» неизбежно порождает монструозную сущность. Банально потому, что сама идея тотального контроля над другим человеком – деструктивная. Даже
если это искусственная девушка, в образ которой заложена иллюзия настоящей личности. А второй вопрос, уже ранее рассмотренный на примере ребенка в «М3ГАН» – патологическая эмоциональная зависимость. Ведь во взрослых отношениях зачастую всё еще сложнее. И возможно главная тема в «СОУЛМ8ЙТ» — это не секс и насилие, а своеобразная констатация иной формы апокалипсиса. Вдруг в реальности победа машин над человечеством сведется не к ядерной бомбардировке, а к тому, что каждый из нас перестанет нуждаться в таких же живых людях? Человеку нужен человек.
Страница фильма «М3ГАН» в КЛУБ-КРИКе
Страница фильма «М3ГАН 2.0» в КЛУБ-КРИКе
Страница фильма «СОУЛМ8ЙТ» в КЛУБ-КРИКе
Читайте также в Клубе:






(4,00 из 5)
Добавить комментарий