Алгоритмическое бессознательное
Двадцать лет назад, когда я только начинал заниматься разработкой и вообще пришел в IT, задачи были простыми: как сделать так, чтобы система просто работала, чтобы пользователь мог найти нужную информацию, чтобы интерфейс был понятным (ну, условно, потому что правил не было). Наивные времена. Сейчас мы решаем другую задачу: как удержать внимание пользователя как можно дольше, как заставить его кликать, свайпать, покупать, потреблять.
Где-то между этими двумя точками произошла незаметная революция. Мы перестали создавать инструменты и начали создавать зависимость. И самое забавное — большинство из нас даже не заметили этого перехода.
Фрейд писал о принципе удовольствия, но он не мог представить, что через век этот принцип будет реализован в виде алгоритмов, которые знают о наших желаниях больше, чем мы сами. Каждый лайк, каждая пауза при просмотре видео, каждое движение мыши — все это данные для машинного обучения, которое учится нас программировать.
Пока я это писал, воображение нарисовало картинку: кафе, компания из четырех человек, каждый смотрит в свой телефон. Они физически вместе, но их внимание распределено между четырьмя разными алгоритмическими реальностями. Один листает ТикТок (алгоритм решил, что ему нравятся видео про войну и политические дебаты), другая смотрит Инстаграм (алгоритм кормит ее контентом о фитнесе и путешествиях), третий читает новости (алгоритм подобрал ему коктейль из сенсаций и «шока»), четвертая играет в мобильную игру (алгоритм рассчитал оптимальную кривую сложности, чтобы держать ее в состоянии почти-победы).
Каждый из них уверен, что он свободно выбирает, на что смотреть. Но их выбор — это иллюзия, тщательно сконструированная армией людей с профессиями, которые еще вчера звучали как шутка: аналитики бигдаты, UX-архитекторы и специалисты по поведенческой экономике (неловкая пауза) — то есть люди, которые получают зарплату за то, чтобы выяснить, какой цвет кнопки заставит их купить то, что им не нужно, и в какое время дня они наиболее уязвимы для рекламы нижнего белья. Мы создали идеальную реализацию платоновской пещеры, только теперь тени на стене персонализированы под каждого зрителя.
Ницше говорил о смерти Бога, но он не предвидел рождения алгоритмических богов. И в отличие от старых богов, эти действительно всеведущи в рамках своих доменов.
Я помню времена, когда мы говорили об информационной перегрузке как о проблеме будущего. Забавно, что решили мы ее не фильтрацией, а созданием еще более совершенной системы доставки информационного мусора. Вместо того чтобы научить людей выбирать, мы научили машины выбирать за них, но так, чтобы они, люди, при этом чувствовали себя свободными.
Кови в «Семи навыках» писал о важности различения срочного и важного. Но алгоритмы превращают все в срочное. Каждое уведомление — это маленький пожар, который нужно потушить прямо сейчас. Каждый новый пост — это возможность упустить что-то важное. FOMO перестал быть психологическим феноменом и стал бизнес-моделью. Парадокс в том, что создатели этих систем сами стали их жертвами. Инженеры Facebook не дают своим детям пользоваться Facebook, ну, понятно, 20+ лет уже.
Сёрл в своем мысленном эксперименте с китайской комнатой показал, что система может демонстрировать разумное поведение, не понимая смысла. Современные рекомендательные алгоритмы — это китайские комнаты планетарного масштаба, где смысл заменен на машинную статистику, а интуиция — на корректно обученную регрессию. Они отлично имитируют понимание наших потребностей, но на самом деле просто очень быстро перебирают паттерны в данных.
Проблема не в том, что машины стали слишком умными — это мы стали слишком предсказуемыми. Наши когнитивные биасы, эволюционные программы поведения, эмоциональные триггеры — все это было тщательно изучено и превращено в таблицы с конверсией в выделяемый эндорфин.
Мы живем в эпоху, когда архитектура наших цифровых пространств определяет архитектуру нашего сознания. И эта архитектура спроектирована не для того, чтобы люди стали лучше, умнее или счастливее, а чтобы дольше держать их онлайн.
Фрейд описывал механизмы вытеснения и сублимации как способы психики справляться с неприемлемыми импульсами. Но что происходит, когда эти импульсы не вытесняются, а постоянно стимулируются? Когда вместо сублимации нам предлагают прямое удовлетворение в виде бесконечной ленты контента? Понятно что: девальвация удовольствия, все более сильные стимулы как наркотик и в итоге послушное стадо немотивированных вечно подавленных инфантильных потребителей с плоской культурой и отсутствием внятной стратегии развития.
Каждый раз, когда мы автоматически тянемся к телефону в момент скуки, мы участвуем в эксперименте по изучению оперантного обусловливания в масштабах всего человечества.
Мне, разумеется, все давно понятно, потому что в моей голове мысли как и раньше возникают не как ответ на внешние стимулы, а как результат внутреннего диалога, но не всем так повезло.
— Единственный автор этого блога (прекрасный, кстати, человек!)
В последние годы часто вижу, что «собственное мнение» у людей появляется после многочасового листания ленты и подозрительно совпадает с мнением других думскроллеров, на которых «никак не влияет реклама» и вообще «stop violating me with your different opinion». Точка зрения мягко и понятно навязывается человеку, не оставляя никаких сомнений в ее правильности. «Если все думают одинаково, значит я не ошибаюсь». И перепроверять не надо.
Любая новая технология мгновенно применяется капиталистами, а бедные программисты ненавидят свои детища, но ничего не могут с этим поделать.
Человек имеет ценность только в мире гуманизма, капитализм же видит в нем источник данных и лид. Когда люди действуют одинаково и выглядят одинаково, ценность их в многомиллиардном мире снижается до нуля, их медленно заменяет AI и они исчезают в массе таких же свободных индивидуальностей.
«Член общества» ведет себя так, как «принято в обществе» (потому что супер-эго сильнее, очевидно), совершенно забыв, как (самостоятельно) проводить над собой работу по взращиванию в себе человека с собственным мнением, критическим мышлением и желанием быть чуть выше среднего в своей социальной группе.
AI дешевле и покорнее человека и, разумеется, заменяет его везде, где знаний интернета достаточно для автоматизации. И тем дороже становится все «уникальное», включая знания. Когда вытеснение заменяется бесконечной стимуляцией, а сублимация — прямым дофамином из алгоритмической кормушки, человек перестает быть субъектом и становится интерфейсом. В культуре, где все можно сразу, желание исчезает первым.
Кажется, вся индустрия внимания построена на техническом долге перед будущими поколениями. Мы создали системы, которые эксплуатируют древние механизмы мозга, не предназначенные для цифрового мира. Дофаминовые петли, изначально нужные для выживания («о, ягоды!»), теперь запускаются каждый раз, когда приходит лайк в соцсетях. Эволюция не успевает за технологиями.
Особенно забавно наблюдать за попытками регулирования. Старики, которые путают жесткий диск и браузер, пытаются написать законы для индустрии, где ключевые решения принимаются на основе машинного обучения, работающего со скоростью миллисекунд.
Это как если бы люди XIX века пытались регулировать квантовую физику. Благие намерения, но инструментов для понимания проблемы просто нет. В итоге получаются законы типа «обязать алгоритмы быть справедливыми» — красиво звучит, ок, «договорились».
Кстати, о справедливости, раз уж речь случайно зашла. Алгоритмы, в отличие от людей, не имеют предрассудков — они их приобретают на основе наших данных . В уловном нерегулируемом расистском обществе алгоритм будет расистским с понятным разделением на нормальных и «других». Машинное обучение — это увеличительное стекло для человеческих предрассудков. Ну и понятно, регулирование предрассудков в условном обществе привело к глобальной фильтрации контента (белым показывают преимущественно белых, BLM — неграм, всякие прайды и инклюзивность — своей ЦА). Сейчас AI уже активно эти же правила использует и уже не отвечает на некоторые чувствительные и провокационные вопросы. Справедливость, равенство, «… lives matter!».
Иногда мне кажется, что мы участвуем в самом масштабном психологическом эксперименте в истории человечества. Только в отличие от экспериментов Павлова или Скиннера, контрольная группа — 98% населения планеты.
