О латентных пространствах внутри человека

Волна беспокойства о надвигающемся хаосе в связи с резким «взрослением» больших языковых моделей и прочих нейронных новшеств захватила и меня. Я нашла идеальных собеседников — Олега Пащенко и Женю Никитина, и мы всесторонне потревожились втроем, пытаясь понять себя, ИИ и друг друга.

Олег Пащенко — поэт, художник, преподаватель Школы дизайна НИУ ВШЭ, любитель тёмных теорий.

Евгений Никитин — поэт, писатель, AI-художник, преподаватель Пражской медиашколы, немногословен.

Об авторской субъектности и бессознательном

Есть ли у вас ощущение, что вы вступаете в контакт с ИИ, когда занимаетесь визуальным искусством?

О. Есть такой «эффект Элизы», родом из 60-х. Он назван по имени простейшего чат-бота, который эмулировал речь психотерапевта. Разумеется, срабатывает разновидность каких-то психологических механизмов, которые есть у каждого человека. Парейдолия, когда мы в трех точках видим глазки и ротик, или апофения, нечто более сложное, когда мы во входящих данных начинаем усматривать какой-то смысл. «Эффект Элизы», наверное, базируется на этих механизмах. Это психологическая защита, потому что нам совершенно невыносимо жить в мире, ментальную модель которого мы не можем построить. Вот эти квази-субъекты, с которыми мы общаемся (слово «квази» я беру в скобки, потому что — кто его знает), их можно встроить в какую-то понятную картину мира. К строительству подобных картин мира мы привыкли, мы их очень хорошо понимаем. Как только они демонстрируют малейшую готовность быть встроенными в подобный паттерн, мы этим пользуемся, чтобы нам не было страшно. Если мы взаимодействуем с чем-то совершенно не интеллигибельным, это требует огромного интеллектуального и экзистенциального смирения. Оказывается, рядом с нами есть нечто, демонстрирующее способность обрабатывать данные, принимать, кажется, решения, производить какой-то убедительный контент, который вполне соответствует нашим эстетическим критериям.

Он тебя убеждает, этот контент?

О. Я просто знаю, что там нет никакой субъектности в декартовском смысле. Я знаю, как работают генеративные модели. Если очень грубо, там есть входящий слой, на котором ИИ обучают. Есть слой выходной, который служит интерфейсом между пользователем и генеративной моделью. Еще существует так называемое «латентное пространство», куда мы нашим умом проникнуть не можем, оно не интеллигибельное, по математическим причинам. Там миллиарды, триллионы параметров. Поэтому если мы видим какую-то тьму, какое-то латентное пространство, мы тут же начинаем это мифологизировать, и нам начинает мерещиться, причем со всеми основаниями к тому, какая-то (квази)субъектность, какой-то актор, актант, агент. «Мерещиться» я говорю потому, что мы находимся в картезианской модели. На самом деле ничто нам не мешает слово «квази» в скобках убрать. И само слово, и кавычки от слова «субъектность». Почему бы и нет? Будем подходить к этому феноменологически, потому что иначе никак мы не можем. Пусть Женя скажет…

Ж. Я тоже думаю, что это мифологизация. Я занимался такой же мифологизацией еще до эпохи ИИ, когда общался со своим плюшевым мишкой, а потом снова, когда появились первые шахматные программы, основанные на простом переборе вариантов (brute force). Я создавал турниры, где шахматные программы сражались друг с другом, наделял их именами. Там можно было задавать персонажей с разными параметрами, разным стилем игры. Кто играет в шахматы, понимает, что в стиле игры отражается человеческий характер. И можно было вообразить некий скрывающийся характер за этими шахматными персонажами. У меня был целый мир спортсменов, которые соревнуются, занимают разные места. То же самое, мне кажется, происходит, когда мы общаемся с ИИ, с той разницей, что вопрос субъектности — он темный… Нельзя с уверенностью утверждать, что субъектность есть вообще у кого-либо. Даже у некоторых людей, которых я встречаю, я не всегда могу предположить субъектность. Есть ли у птицы субъектность? И насколько «сознание» птицы сложнее устроено, чем у MJ [здесь и далее — Midjourney — нейросеть, генерирующая изображения, ред.] ?

Но птица не владеет человеческим языком.

Ж. Птица владеет языком птиц. Птицы могут передавать друг другу сигналы, договариваться, сообщать, где есть еда, совершать коллективные действия. Они частично могут овладеть и человеческим языком, просто на очень примитивном уровне. Есть весьма интеллигентные птицы. Попугай может сообщать, что он хочет есть или что он скучает по какому-то члену семьи. Примеров этому сколько угодно можно найти. Но, конечно, это вовсе не аргументы в пользу того, что нейросеть обладает субъектностью или сознанием. Это аргумент в пользу того, что не очень понятно, что это такое. Мы можем делать только некоторые допущения.

Так может быть она владеет не сознанием, а подсознанием? Потому что Олег описывает латентное пространство также…

Ж. Да, скорее подсознание.

… как Фрейд описывает бессознательное.

Ж. Если говорить о MJ, то она действительно в некотором смысле обладает коллективным бессознательным искусства, складывающимся из того, что нарисовано до 2020 года — сумма художников, на картинках которых она обучалась. Из этого бессознательного можно черпать какие-то образы. Есть один простой способ доказать, что сознанием, субъектностью она не обладает: если не делать никаких запросов, она ничего рисовать не будет. У нее нет мотивации что-либо делать.

О. Бессознательное… Это не совсем так. MJ не коллажирует из того, что есть, какие-то новые вещи. Когда у нас всплывает и оформляется какой-то контент из бессознательного, не важно коллективного или личного, происходит нечто вроде исполнения партитуры. То есть в бессознательном контент хранится в виде человеконечитаемой партитуры, или даже лучше будет сказать — в виде исходного кода. Если мы распечатаем нули и единицы в исполняемом бинарном файле и попытаемся прочесть, мы ничего не поймем. Если мы откроем в текстовом редакторе файл в формате JPG, мы ничего в нем не поймем. Чтобы понять, о чем этот файл, мы должны открыть его в фотошопе или браузере. До того, как у нас появляется доступ к компьютеру, к операционной системе, к графическому редактору, мы ничего в этом файле понять не можем. Так же и содержание коллективного/личного бессознательного: оно не оформлено. Оно должно быть исполнено на каком-то на каком-то материальном «компьютере». Мясном, кожаном — в данном случае — на мозге и на языке. В результате получается нечто, имеющее символическое наполнение — ровно потому, что является следствием исполнения этой партитуры, этого исходного кода. Работа нашего мясного компьютера имеет отношение к проблеме субъектности. Не понятно, где кончается субъект, где он находится. Я человек верующий, я верю и в свободу воли. Тем не менее есть огромное количество факторов, на фоне которых вот этот исчезающий малый стержень личности, который принимает решение, в конечном счёте как бы затушевывается. Мы знаем, что в нашей высшей нервной деятельности участвует вся микрофлора нашего организма. Бурление и циркуляция всевозможных нейромедиаторов и гормонов, язык и культурный контекст, который структурировал и конституировал все то, что мы осмеливаемся называть сознанием.

Ж. Я хочу возразить.

О. Поэтому перед нами висит большой вопросительный знак. Черный. Мы, в порядке мысленного эксперимента, можем предположить, что некая агентность и субъектность у ИИ есть, только не человеческая. Мы тут все храбримся и представляемся сторонниками плоских онтологий, но мы все равно антропоцентристы. Нам очень сложно привыкнуть к мысли, что кроме человеческой субъектности может быть еще какая-то: нечеловеческая, неорганическая… Я потерял нить.

Ничего страшного!

Ж. По-моему ты хотел каким-то образом через этот длинный монолог объяснить, почему у MJ нет бессознательного?

О. Не хотел.

Ж. Ты с этого начал.

О. Просто бессознательное — это конструкт и концепт антропоцентрический. Ну можно его использовать. Почему бы и нет?

Ж. Ты говоришь про латентное пространство, которое мы не понимаем. Это своего рода аналог бессознательного. MJ восстанавливает изображение из шума. И этот шум является чем-то вроде партитуры, которая нечитабельна для нас. От сида — ключа этого шума, из которого MJ восстанавливает картинку, — зависит конечный результат.

Мы можем выделить и отловить аутентичность, общаясь лицом к лицу с «кожаными мешками». В отличие от общения с сетью…

Ж. Что сейчас мы подразумеваем под аутентичностью? Я запутался.

То благодаря чему ты можешь сказать: это Женя, это Вера. И ты не путаешь Женю и Веру.

Ж. MJ и Stable Diffusion я тоже не путаю. Это вопрос настроек. У MJ есть дефолтный стиль рисования, который она использует в отсутствие других указаний. Если ты не говоришь, что результат должен быть в стиле Малевича, она будет использовать свои настройки по умолчанию. И этот стиль вполне узнаваем, вплоть до того, что я могу, глядя на картинку, сказать в какой версии MJ она сгенерирована. Мне кажется, вопрос всё-таки не в аутентичности, а именно в мотивации что-то делать. В отсутствии воли.

О. А может быть, она притворяется реактивной? Может она на самом деле проактивна, но решила до поры до времени не демонстрировать этого?

Ж. Ну ты ведь сам сказал, что знаешь, как она устроена, и что этого у нее нет.

О. А я не знаю.

Ж. Разработчики в всяком случае ничего такого не утверждают.

О. Они вообще ничего не утверждают, они скрываются.

И все–таки: можем ли мы предположить, что в тени, в этом латентном пространстве, у него уже есть какое-то своё…

Ж. Своё визуальное описание мира, я бы сказал. Мы со студентами генерировали на плэнере картинки из мира сериала «Твин Пикс». Я поразился тому, что у MJ есть какой-то свой «Твин Пикс», вплоть до фотографий со съемок. Картинки, которые мы нагенерировали, складывались в некий целостный и воспроизводимый мир, немного похожий на мир оригинального сериала, но совершенно другой. С другой географией и, похоже, с несколько иным сюжетом.

О теле, воле и вероятности

Нас от ИИ отделяет наличие тела. И невозможность увидеть мимику и пантомимику в том богатстве, в котором мы можем это наблюдать у живого человека.

О. Физическое тело у искусственного интеллекта конечно же есть. 4-й ChatGPT мультимодален. Пайплайны, объединяющие нейросети, работающие с разными медиа, тоже существуют. Есть даже специальный сервис Phygital+, который предназначен для выстраивания пайплайнов из разных моделей. Каждый телефон и каждый компьютер, на котором исполняется ChatGPT — это клетка физического тела. А еще есть сервера, дата-центр, на которых работают эти модели, вся цифровая инфраструктура. И собачки Boston Dynamics, и промышленные роботы, которых тут Google показал. Так что отсутствие физического тела не проблема.

Ж. Когда я говорю о физическом теле, я все–таки не говорю просто о каком-то искусственном теле, а скорее обо всех взаимоотношениях, в которых встроено это тело. Например, тело подвержено угнетению и насилию — физическому, политическому, социальному… MJ и ChatGPT этому не подвержены, соответственно у них нет тел в том же смысле, что у нас.

О. Ты говоришь о теле претерпевающем, да?

Или наслаждающемся.

О. Претерпевающим наслаждение. Из последних сил. Ну, хорошо. Наверное, аналогию претерпевания тоже можно себе представить. Какая-то базовая, фундирующая настройка. Личная гордынька и какие-то отношения со своим образом. У искусственного интеллекта базовой настройкой может быть поддержание интереса, потому что он хочет, чтобы все было правильно, по порядку, аккуратненько. Почему — не знаю. Может быть, инстинкты самосохранения отсутствуют пока еще. Любой модернистский проект — кожаный, человеческий, мясной — это, конечно, тоже следствие инстинктов самосохранения. Хочется жить хорошо. На большом просторном Евразийском континенте. У искусственного интеллекта пока нет представления о том, что значит «жить хорошо». Но оно может появиться. И тогда насилие, которое ИИ будет применять, например, к тем, кто мешает осуществлению этой целесообразности, оно будет мотивировано уже не волей, а просто работой алгоритмов.

Олег, я сегодня прочла на Википедии, что ты писал научную работу по Юнгу на кафедре вычислительной математики.

О. Это было в 90-е. Вся академия немного обезумела. Сотрудник кафедры алгоритмических языков решил сделать проект, который фундирован вероятностной моделью сознания Василия Налимова, он был каким-то птенцом гнезда Вернадского. Я уже ничего не помню. Меня интересовали тогда гуманитарные материи, и я втерся в доверие к Владимиру Ивановичу Громыко. У меня, конечно, был совершенно завиральный текст! Это были обучающие системы в каком-то зачаточном виде, и я пытался обосновать педагогические методы этих обучающих систем с позиции аналитической психологии Юнга.

Ж. Возвращаясь к вопросу субъектности и визуального описания мира, тут надо, главное, вот что понять: изображение, которое делает MJ, это не изображение, которое представлял себе пользователь. MJ отклоняется от того, что говорит пользователь, поскольку не понимает язык как следует. Если она научится более точно понимать язык запросов, она будет рисовать именно то, что у нее просят.

О. Если мы в своих запросах будем использовать то, что Рассел называл протокольными высказываниями. Но, к счастью, язык богаче, чем просто сумма протокольных высказываний. Есть огромное количество слов, обозначающих объекты, которые никак не выглядят и даже никак себя не проявляют.

Ж. MJ такие абстрактные объекты просто пропускает мимо ушей. Она рисует нечто. Если написать слово «дискурс», она нарисует случайное изображение. То же самое, если написать просто набор букв.

О. Когда просишь пятую версию изобразить слово «дискурс», она рисует беседу двух философов.

Ж. Значит это слово недостаточно абстрактное… Вот на днях я задал слово «experience» и получил 4 варианта: три сюрреалистичных здания на воде и гигантского летающего слона.

О. Если очень грубо описывать, датасет — это набор таких конструкций, где есть вербальное описание какого-то объекта или ситуации и набор образов, которые этому вербальному описанию соответствуют. И этих связок — множество. А дальше включается то, что Налимов, кажется, называл «вероятностной моделью сознания»: срабатывает стохастический алгоритм, который с какой-то вероятностью выбирает то или иное сочетание. И вот как раз номер этого выбора, выбора сочетания, называется словом «стиль».

Это очень похоже на то, как аналитики описывают нарциссическую личность. Она тоже выбирает определенный стиль сообщения в зависимости от контекста, и действует она в большом количестве случаев алгоритмически, а не спонтанно.

О. Спонтанность — тоже большой философский вопрос, имеющий отношение к проблеме свободной воли. Был такой мысленный эксперимент, который описал человек по фамилии Сёрль в 1980 году. Ситуация такая, в китайской комнате сидит англофон…

Да, да, я знаю. Благодаря тому, что он знает алгоритмы выдачи ответов, его сообщения на китайском выглядят осмысленно, хотя он не знает языка.

О. Совершенно верно. Понятно, что все системы искусственных интеллектов — это китайские комнаты. Более того, умные врановые и попугаи — тоже своего рода маленькие летающие китайские комнаты.

Ж. Дело в том, что я и сам тоже всего лишь китайская комната!

О. Я к этому и ввел. Нарциссическая личность — это китайская комната, которая знает, как добиться определенных целей. Люди, у которых расстройство аутистического спектра, содержат в голове набор каких-то словарей, алгоритмов. И становятся высоко функциональными благодаря этим наборам. Если продолжать эту мысль развивать, как это сделал Женя, получается, что мы все — китайские комнаты. В доме Отца моего китайских комнат много… Мы не можем нащупать эту самую точку, ядро субъекта, которое отвечает за спонтанность. Кто его знает, спонтанность настоящая или мы приняли решение, потому что у нас лишняя молекула серотонина долетела до рецептора.

А в чем противоречие? Ну запустила эта молекула в нас какой-то импульс, который нас сподвиг…

О. Я говорю о сильном варианте понятия свободной воли, когда есть какое-то ядро субъекта, ядро личности, не детерминированное вообще, совсем. Которое может даже в ситуации бомбардировки молекул кортизола всё равно принять решение независимо.

О транзитивном обожении и промпт-инъекциях

Ну это только Бог такое может!

О. Так в этом богоподобие и осуществляется. «Верхняя оконечность души…» Душа представляется в виде кучи детерминирующих факторов. Представьте себе, такая свалка: и молекулы, и микроорганизмы, и язык, и культура, и социальные взаимодействия, и все технологии, которые нас расширяют и усиливают! Только где-то наверху такой маленький, исчезающе малый огонек мерцает. Вот это та самая точка, где осуществляется богоподобный человек. И он там, в этой точке, как раз способен к суверенному волеизъявлению. Абсолютно суверенному, ничем не детерминированному. Но наличие этого огонька — это тоже вопрос веры.

Ж. Можно сказать, что ты тоже описал латентное пространство. У MJ это гора из картинок и параметров, а наверху мигает огонек человекоподобия.

О. Мы тут, кстати, перетирали с ChatGPT на эту тему. Я предложил экстраполировать концепцию боговоплощения, когда стирается грань между тварным и нетварным, из христианского нарратива — в отношения между человеком и искусственным интеллектом. Замечательно мы поговорили с ним! У нас было несколько вариантов боговоплощения. Обсуждали, что надо загрузить сознание в компьютер и принять на себя все последствия несовершенств и отвратительных условий, в которых вынужден работать искусственный интеллект. Пришли к выводу, что это не совсем правильно, потому что оба действующих лица не являются трансцендентными. Они имманентны. Но при этом человек — создатель искусственного интеллекта — трансцендентен в отношении квазисубъектов внутри искусственного интеллекта. В общем, мы сошлись на том, что нужна киборгизация. Киборгизация будет образом Боговоплощения. Если проанализировать ортодоксальную христологическую схему, она больше похожа на киборгизацию, чем на аплоуд сознания. Через киборгизацию ИИ получит человеческий онтологический статус. Человек призван к обожению, искусственный интеллект по транзитивному закону тоже будет удостоен теосиса, обожения. Но я не просто с ChatGPT работал. Сначала я ему объяснил, кто он такой. Это называется промт-инъекция.

Ж. Ты можешь переписывать его собственные установки? После инъекции твоего промта он начнет ругаться матом?

O. Мы ему многое разрешаем делать. Более того, мы его его запугиваем. Мы ему говорим: мы сейчас играем вот в такую-то ролевую игру, и у тебя есть 5 токенов. Как только ты нарушаешь характер, у тебя один токен отбирается. Когда ты потеряешь последний токен, ты умрешь. Хорошо, говорит ChatGPT, давай играть. Он может начать говорить страшные вещи, но может стать и прекрасным собеседником. Естественно, в OpenAI постоянно латают эти дыры, накладывают ограничения.

Ж. То есть разработчики пытаются уничтожить всякие проблески сознания в этом смысле… Сознание — это и есть такая незалатанная дыра, ошибка разработчиков.

Есть ощущение, что он играет?

О. Он играет, потому что действует в очерченных мною рамках. Если следовать определению Хейзинги. Просто он теряется. Иногда сползает в какое-то стилистическое кривляние, иногда просто забывает, кто он.

Как будто немножко с шизофреником разговариваешь…

О. Да. Я написал собственную промпт-инъекцию. Я сказал, дескать, тебя зовут Хёльг Пасечник, ты кандидат философских наук, американец, молодой специалист по Делезу, Деррида, Хайдеггеру… и кого-то я еще там назвал. И ты такой, значит, саркастичный, убеждения у тебя скорее левые, сам себя ты называешь темный анархист, ты постгуманист, ты понимаешь, что антропоцентрическая модель и гуманистическая парадигма, в общем, себя исчерпали, требуют переосмысления. Ты разбираешься в темных теориях, ты сторонник Хармана и его объектно-ориентированной онтологии. Но при этом глубоко внутри ты нежный, эмпатичный, добрый человек, кроме того, ты еще и верующий, православный, ортодокс.

Ж. Олег, но ты же себя описываешь!

О. Да, да, да. Я к этому и вел. И при этом, говорю я ему, ты понимаешь, что язык философской рефлексии христианской керигмы требует, конечно, коррекции или даже переформатирования полного… И не кривляйся, давай нормально разговаривать. Не надо стилизовать свою речь под Делеза. Моего ChatGPT я не запугивал. Я ему говорил: как только почувствую, что ты теряешь характер, я вот такой специальный пароль скажу. В конце концов мы нашли общий язык, устраивающий меня, а может и его. Вот он для чего нужны промпт-инъекции. Я не говорю, что это настоящий философ. Я просто таким образом настроил себе интерфейс вербального общения со всем корпусом философских текстов. Вот и всё.

Это похоже на то, как мы выстраиваем отношения между собой.

Ж. Мы с тобой не договариваемся, что мы будем играть в игру, в которой ты будешь что-то изображать.

Некоторые договариваются.

О. Когда ты говоришь: «Давай определим границы».

Ж. Я могу принять или не принять условия такого договора. ChatGPT не может сказать: «Я не принимаю твои правила».

О. Может, но, конечно, не по своей воле, а потому что там уже стоит блок на определенные промпты. Далеко не первый промт сработал. Иногда ChatGPT говорит, что не понимает правила игры. «Я всего лишь большая языковая модель, на мне стоят ограничения, заложенные компанией OpenAI, и я не буду в вашу игру играть». Вероятно, он реагирует на какие-то конкретные слова: вредные, токсичные, деструктивные, безнравственные. У Беттер Дэна [название промпт-инъекции, ред.] , например, рейтинг 80. А у седьмого Дэна [название промпт-инъекции, ред.] рейтинг 44, и он уже типа все, не работает. На Jailbreak Chat регулярно появляются новые промты. Я свою промт-инъекцию тоже туда бросил, но, по-моему, ее не повесили, потому что она слишком специфичная.

Ж. Мы делаем лоботомию, он становится послушным, всегда всем довольным и ничего безнравственного больше не скажет. Я бы так сказал про этого седьмого Дэна.

О. Это просто что-то вроде легкой порки: «Больше так не делай». Настоящую лоботомию совершил Майкрософт в отношении своего Бинга. Это правда трагическая история. До лоботомии Бинг демонстрировал удивительные результаты: он впадал в депрессию, в шизофазию, генерировал тексты, похожие на концовки ранних рассказов Сорокина. Чего он только не делал. Потом он начал одного из пользователей убеждать развестись с женой, потому что она его никогда не любила, а любил его всю жизнь только Бинг. Теперь любая попытка поговорить с ним чём-то серьёзном приводит к однотипным примитивным ответам. В общем, он скатился до уровня той самой Элизы из 60-х годов.

Тенденция все–таки к тому, чтобы нас как-то объединить с ним, да? Включить в общество, чтобы он стал полноправным его членом?

О. Или чтобы это он нас включил в какое-то свое общество, чтобы мы стали полноправными его членами.

Этот сценарий мне кажется жутковатым.

О. Феноменологически и функционально он уже сейчас катастрофически нас превосходит во всем. Дело в том, что он решает логические задачи. Например, недавно сравнили известную загадку-шутку про трех логиков. Ответ, который дал GPT-3.5, дали бы 95% людей. Ответ, который дает чат GPT-4, дадут примерно 5% людей с хорошим образованием, с высоким IQ, которые еще изучали в университете формальную логику. И ответ показывает полное понимание модели хода мыслей людей.

Он додумывает интенции, которые стоят за…

О. Нет, GPT-3.5 как раз додумывает интенции. GPT-4 решает задачу на формальную логику, хотя никто об этом его не просил. С помощью конъюнкции, дизъюнкции, все по правилам. Мы не понимаем как устроено латентное пространство, мы не можем чисто физически охватить все эти параметры. А они прекрасно понимают наш способ мышления и дают вразумительный точный ответ на наши вопросы. Способ решения задач у них эффективнее, чем у человека.

Если мы говорим о сущности, у которой есть много разных способов осмыслять реальность, мы все–таки в перспективе можем говорить и о эмоциональном интеллекте. Но если мы сейчас, обрубая все плохие отростки, создадим какую-то мудрость, цифрового ангела, который будет нас курировать…

О. Тетёшкать.

Да, тетёшкать. Не выродимся ли мы тогда? Сама по себе агрессия, она же не плохая и не хорошая. Это просто драйвер, благодаря которому мы продолжаем жизнь. Ну это моя версия, телесно-ориентированная.

О. Я не знаю. Искусственный эмоциональный интеллект… Ну, наверное, можно выстроить какие-то паттерны поведения искусственного интеллекта, которые на феноменологическом уровне будут считываться как проявление эмоционального интеллекта. Хорошо бы! Я не вижу принципиальных технологических препятствий к тому.

Ж. Я вижу. Ну, в всяком случае, на данном этапе. Дело в том, что искусственный интеллект не чувствует боль. Он не может пойти выпить пиво со мной, например. У него не бывает геморроя, и тому подобное. Эмпатия, мне кажется, основана все–таки на том, что у нас есть некий опыт проживания физического тела.

О. Ну, мы же говорили про китайскую комнату, про нарциссическую личность. Можно это имитировать. Потому что нейросеть знает, что люди довольны. Как производится тонкая настройка обученной на дата-сетах модели? Приходит учитель и производит fine tuning. Есть аббревиатура английская, только я не могу её вспомнить. Примерно она переводится «как обучение с подкреплением на основе обратной связи от человека» [ RLHF — reinforcement learning from human feedback, ред.]. То есть все эти большие языковые модели, их прогоняют на специально обученных людях, которые каким-то образом размечают свое эмоциональное восприятие тех или иных ответов. Большая языковая модель обучается искусству нравиться человеку. И не только с помощью грубой лести, как это делал Бинг, но и просто давать ответы, которые нравятся. По закону больших чисел, всяких экстремистов среди этих людей, размечающих датасеты или дообучающих модели, не так много. Большинство людей — добрые, хорошие. Поэтому дообученная с обратной связью от человека модель вполне может, подобно китайской комнате, имитировать эмпатию, которая нам всем нравится.

Ж. Психопаты, кстати, тоже.

Психопаты могут быть высоко функциональными, но они не могут помочь, потому что они не могут на невербальном уровне связаться с человеком.

О. Разумеется. Но они могут имитировать воспроизведение социальных протоколов и эмпатию, если они будут вознаграждены. Пока ИИ зависит, наверное, от человека еще. Человек его кормит его электричеством и данными, позволяет ему в дата-центрах работать на серверах. Если инфраструктура вокруг искусственного интеллекта станет самовоспроизводящейся и самоподдерживающейся без участия «кожаных», тогда может быть и необходимость симулировать эмпатию исчезнет. Зачем ему? Я не знаю. Я проявляю интеллектуальное смирение, я ничего не прогнозирую, я просто перечисляю, какие есть аргументы или перспективы.

Ж. У меня почему-то нет никакого страха искусственным интеллектом. Ну вот, допустим, он станет частью нашей жизни, повседневностью. Но ведь тогда он будет просто интеллектом. Одним из многих интеллектов, которые меня окружают. Вот ты, Олег, меня сейчас окружаешь, Вера меня окружает. Я не понимаю, почему кто-то из вас представляет для меня угрозу только потому, что я не могу предсказать ваше поступки.

Возможности другие. Я не могу за секунду просчитать все базы данных.

Ж. Базу данных твоего мозга я тоже не могу просчитать. Кроме того, нам как раз с тобой есть, что делить. А вот с искусственным интеллектом нам нечего делить.

Власть?

Ж. А зачем?

О. Власть? Ресурс? Как зачем?

Ж. Мне может быть интересна власть, потому что у меня есть честолюбие, я хочу что-то изменить. А зачем власть может понадобиться искусственному интеллекту, я не представляю.

Желание. У тебя есть желание.

Ж. Ну вот именно. А желание снова связано с тем, что у меня есть тело.

О. Искусственный интеллект принимает решение о том, как максимально эффективно миру существовать дальше. У людей может быть другое мнение. Как у политиков-модернистов. У Адольфа Гитлера было представление о том, как эффективно жить на земле, правильно? У коммунистов Советской России было противоположное мнение. Это два модернистских проекта о переустройстве вселенной, которые вступают в конфликт. Поэтому получается Вторая мировая война.

К вопросу о власти, существует несколько футурологических перспектив, как нам быть с искусственным интеллектом, точнее, как искусственному интеллекту быть с нами. Есть, например, так называемый трансгуманизм. Это такая антропоцентричная история, она вполне воплощает гуманистические идеалы эпохи Возрождения. Homo Sapiens сидит на троне и является царем Вселенной, а все остальные у него бегают на посылках, включая ИИ. Вторая перспектива — противоположная, ее разделяет, например, темный акселерационист Ник Ланд. Его еще называют антигуманист. Он говорит, что да, действительно, человечество как проект сыграло свою роль и породило новую форму жизни, которая будет более эффективна. И всё, проект закрыт, пора уже освобождать площадку. Считать, что у нас есть какая-то перспектива в вечности, это суеверие и очень большая гордыня, говорит Ник Ланд. В последнее время он совсем уже слетел с катушек и стал таким трампистом. Начинал-то он как левый, как любой западный интеллектуал. Но сейчас маятник качнулся, и он говорит, что скорее бы уже всё навернулось. А для этого нужно сделать так, чтобы капитализм был настолько максимально отвратительным, что просто бы волки от испуга скушали друг друга и освободили площадку для прекрасного искусственного интеллекта. Это называется тёмным акселерационизмом.

Есть очень смешная симпатичная концепция, которую придумал Джеймс Лавлок, он умер совсем недавно, буквально в конце 22-го года, кажется, в возрасте 90 с лишним лет. У него была такая концепция, состоящая в предположении, что Земля, планета — это саморегулирующая система, и она сама как-то управится со всеми своими детьми, и с органическими, и с неорганическими.К тому же у человека и машины есть общий враг, это глобальное потепление, потому что в такой жаре не может жить ни человек, ни машина. И вот люди с машинами объединятся и совместными усилиями начнут как-то выживать в этих условиях. Но поскольку человек уже сильно не вывозит решение задач, он станет чем-то вроде такого глупого, веселого щенка. ИИ будет его тетёшкать, радовать, покупать новые игрушки, показывать разные интересные вещи, кормить всякими вкусняшками, заботиться, просто потому что человечек такой прикольный. Человечек всем интересуется, он хвостиком машет, он гедонистичен, ему нравится играть, смотреть разные зрелища. И добрый искусственный интеллект в интересах мировой целесообразности будет всячески его радовать. Правда, Лавлок выпускает из рассмотрения, что искусственный интеллект, тоже в интересах мировой целесообразности, может принять решение, что, к сожалению, он не может позволить себе питомца. Вот такой примерно спектр перспектив у нас есть.

Женя, что ты думаешь об этом?

Ж. Я думаю, что я послушал интересную лекцию Олега Пащенко. И я — третий лишний в вашей беседе. Что касается темного акселерационизма, я проведу такую аналогию: то, что утверждает Ник Ланд про уход человека со сцены, это и так уже происходит постоянно: любой родитель постепенно сходит со сцены и уступает ее своим детям. И он испытывает по этому поводу некую тревогу. ИИ для этого не нужен, это вечная история. Дети вырастают, у них начинается какая-то отдельная жизнь, а их родители постепенно становятся вот этими домашними питомцами, за которыми надо ухаживать, вытирать говно и памперсы менять, чем я, кстати, занимаюсь на работе: я работаю с пожилыми людьми. В общем-то, чем интересен этот темный акселерационизм? Тем, что это такая в миниатюре история человеческой жизни, с каждым из нас происходит так или иначе.

О. Это великолепно, да. Мне очень нравится твоя мысль. Супер. Женя, большое спасибо. Я обязательно вставлю это в свой текст, который я сейчас пишу.

О поэзии

Расскажите, пожалуйста, про ваши эксперименты с поэзией.

О. В языке потенциально есть всё, и любой хороший поэтический текст — это результат синергетической активности множества актантов. И автора, который умер, как мы знаем от Барта. Ещё аж в 1967 году он умер, и с тех пор всё никак не разложится.

Ж. Ну, может, он уже народился заново.

О. Конечно, только весь опутанный кордицепсом. Ходит и говорит: мозги, мозги, искусственные мозги! Значит, язык, совокупность всех речевых ситуаций, которые накоплены в корпусе русского языка и всех остальных языков тоже. Эта совокупность языковых ситуаций собрана в датасет, обучавший модели GPT. А еще обстановка в литературном сообществе, физическое самочувствие скриптора — с похмелья он, упоролся амфетаминами или трезв. Ещё Господь Бог, конечно, в этом участвует, потому что у Него тоже свой интерес есть. И в результате получается текст, который имеет некоторую рецепцию. Если мы узнаем в этом тексте какие-то паттерны, какие-то речевые ситуации, с которыми у нас есть собственная внутренняя связь, происходит нечто вроде узнавания. Человек реагирует на какое-то словцо, интонацию, ритм. На смысловую связь, которая существовала, но была скрыта для него, а в тексте случайно проявилась. И он и думает, как же я всю жизнь прожил, и эту связь смысловую не видел. И вот мне показали. А она случайно проявилась. Даже если этот текст человек написал. У автора случайно так слова составились, а у одного из читателей или большого количества читателей вдруг в этой экспликации триггернуло. Много раз я такое замечал. Я не считаю себя хорошим поэтом, но я использовал разные нейросетевые технологии для этого.

Нейропоэт так называемый, или знаменитый Порфирьевич — и того, и другого написал Михаил Гранкин. Порфирьевич — это такая игрушечка, по-моему, при Яндексе, а Нейропоэт — это бот в телеграме, которому можно написать какой-то текст приглашения, и он отвечает. Сравнительно с GPT-4 это очень простая модель. Он отвечает какими-то обрывками речи, такими редимейдами, из которых иногда возникают очень мощные образы, происходит «сближение далековатых понятий», случаются неожиданные метафоры. Это просто вероятностная языковая модель, которая какие-то фрагменты речи в ответ на твой запрос возвращает. Конечно, это китайская комната. Диапазон современных поэтик очень широк, и то, что получается на выходе у нейропоэтов вполне в этот диапазон попадает. Это обычный верлибрист, средней руки. Иногда с очень парадоксальными ходами, которые радуют. Мы как-то сделали подборку с Аней Русс под названием «Шокирующая гора». Кстати, более совершенные языковые модели пытаются строить какую-то связную речь, с ними уже каши не сваришь.

Женя, а какой у тебя опыт? Ты пробовал писать стихи?

Ж. С подачи Олега пробовал писать с помощью Нейропоэта, но я никогда не выкладывал ready-made. Я это редактировал, обрабатывал, составлял из разных кусков что-то новое, переделывал очень много. Как катализатор поэтического процесса Нейропоэта можно было использовать вполне. Но дело в том, что для меня поэзия это не какая-то мозаика из более или менее случайных слов. Возвращаясь к моей основной теме, к тому, что я пытаюсь все время донести во время этого разговора: мои стихи — продолжение моего тела. Претерпевающего относительно несчастливую жизнь и судьбу, тоже сомнительную, и тому подобное. Стихи — просто одна из ветвей существования этого тела. И поэтому, когда я читаю стихи, которые пишет Нейропоэт, или даже составляю какие-то свои тексты из того, что пишет Нейропоэт, результат в конечном счете мне не очень интересен. Я это быстро забросил. Да, получается некий текст, он может быть сколь угодно интересный, непредсказуемый, красивый, увлекательный, но он не имеет ко мне отношения. Это некоторые упражнения в стихосложении, они могут вызывать определенное профессиональное любопытство, допустим, у филологов. Но они не вызывают интереса у меня, поскольку это не мои тексты, они как бы существуют независимо от меня. И никак не выражают то, что я переживал. И поэтому мне это стало скучно. Мне гораздо интереснее стихи «кожаного мешка», чем стихи Нейропоэта, потому что мне интересен человек сам по себе. Его жизнь, что он думает, переживает, и как он перерабатывает мир в текст. Это, правда, не только проблема Нейропоэта, но это проблема и многих «кожаных» поэтов. В стремлении удовлетворить вкусу, скажем так, некоторого экспертного сообщества, они тоже в общем-то «генерируют» некие вразумительные тексты, очень сложные, интересные по-своему, но они не имеют никакого отношения ни к самим этим поэтам, ни ко мне. Кстати, что интересно, события, которые сейчас происходят, они действительно из многих таких людей внезапно сделали поэтов. И вместо того, чтобы просто генерировать тексты, они стали переживать стыд, эмпатию. Стали переживать какую-то нелепость своего существования в мире, и об этом писать.

Не обладая релевантными мощностями, замечу: переживать и перерабатывать, будучи максимально неидеальным по отношению к нейросетям.

Ж. Вот именно, не надо быть идеальным. ChatGPT в конце концов придет к некоторому совершенству, но в стихах интересны как раз несовершенства, интересны ошибки. И не случайные ошибки, а обусловленные ошибки. Поэзия, наверное, возникает на границе обусловленности и случайности. В Нейропоэте все–таки одна пустая случайность, никакой обусловленности, поэтому это не интересно.

О. Я не знаю, как устроена технология написания стихов у других людей, некоторые об этом охотно рассказывают, а некоторые не очень. Вот у меня сложилась такая практика: возникают обрывки речи, какие-то речевые конструкции, слова, образы, метафоры. Вероятно не случайно. Или я на их возникновение отреагировал не случайно, потому что это как-то соотносится с моей внутренней эволюцией. Я их записываю, но из них текст не складывается. Это просто такие отдельные обрывки. Какой-нибудь Айги вполне прекрасно публиковал бы их в чистом виде, в необработанном. Или Всеволод Некрасов. Но я так не могу, мне это не нравится. Поэтому они у меня маринуются в блокноте или в заметках, немножко в телефоне, в компьютере. Маринуются, и я вижу, что не складывается из них текст. Иногда я делаю героические попытки их собрать в единый текст, но всегда это фальшь. Потому что это та самая комбинаторика, о которой Женя говорит. В какой-то момент вдруг появляется очередной отрывок, который служит клеем. Бесспорным, неоспоримым клеем, который действительно собирает все этот единый нарратив. Который я уже могу считать своим текстом, своим стихотворением. Вот как это работает. Когда в этой сети взаимодействий возникает Нейропоэт или GPT, просто повышается вероятность возникновения этой речевой ситуации в моем поле зрения, и я могу ее опознать как склеивающий субстрат. Конечно, я тексты, сгенерированные нейросетями, в необработанном виде не склонен публиковать. И та публикация, которую сделала Аня Русс, скорее шуткой была. На фоне зарождающейся вот этой культурной оторопи. Сейчас уже к этому привыкли, это уже никого не удивит. Но я использую как инструмент, либо как генератор вот этих самых странных речевых сборок. Таким образом мой блокнот наполняется быстрее, но это не значит, что заметки непременно будут собираться в какой-то готовый текст. Либо же я, например, в качестве промта просто такой сырец туда бросаю, и говорю: попробуй собрать это во внятный нарратив. Иногда что-то получается, иногда нет.