Автор: Слоун Эндрю  

Теги: политика   искусственный интеллект   кибернетика  

ISBN: 978-5-907944-96-1

Год: 2025

Похожие

Мыслящая машина

Основы искусственного интеллекта нетехническое введение

Программирование с помощью искусственного интеллекта: Улучшенное планирование, кодирование, тестирование и развертывание

Антология машинного обучения. Важнейшие исследования в области ИИ за последние 60 лет

Текст 
                    ЦИФРОВАН ДИКТАТУРА НАЧИНАЕТСЯ

ЭНДРЮ СЛОУН


Эндрю Слоун

Нейросети
лжи
Цифровая диктатура
начинается


УДК 32:004.8
ББК 32.81 + 32.973
С48

С48

Э н дрю С лоун
Н ейросети лжи. Ц иф ровая диктатура начи нается —
М.: И здательство «Картина мира», 2025 — 418 с., 16+
ISBN 978-5-907944-96-1

Что скры вается за дружелюбными лицами нейросетей? Кто на самом деле
управляет цифровым миром и куда ведёт нас новая эпоха ИИ? Книга «Н ейро­
сети лжи. Цифровая диктатура начинается» раскры вает шокирующую правду о
том, как технологии, которые мы считали инструментами прогресса, стан овят­
ся орудием глобального контроля. Эндрю Слоун показывает, как элиты Крем­
ниевой долины и их союзники в корпорациях и правительствах создаю т новую
цифровую империю, подчиняя волю миллионов людей через алгоритмы и ге­
неративный ИИ. Иллюзия свободы рушится — за витринами технологического
«проры ва» скры ваю тся схемы м ассового подчинения, манипуляции сознанием
и захвата ресурсов. Эта книга — тревож ный сигнал для тех, кто ещё верит в ней­
тральность технологий. Будущ ее уже здесь — и оно принадлежит не вам.

УДК 32:004.8
Б БК 32.81 + 32.973

ISBN 978-5-907944-96-1

© Andrew Sloan, 2025
© Картина Мира, 2025


ПРолог
Бег за тР оном
В пятницу, 17 ноября 2023 года, около полудня по тихооке­
анскому времени Сэм Альтман, генеральный директор OpenAI
и видный деятель Кремниевой долины в области генеративного
ИИ, пришел на встречу с Google. Он обнаружил, что четыре из
пяти членов его совета директоров смотрят на него.
Член совета директоров Илья Суцкевер, главный научный со­
трудник OpenAI, со своего видео-квадрата был краток: Альтмана
увольняют, и объявление об этом будет опубликовано в ближай­
шее время.
Альтман находился в своем номере в роскошном отеле в
Лас-Вегасе, чтобы присутствовать на первой за последнее поко­
ление гонке Формулы-1 в этом городе. На мероприятии присут­
ствовали такие звезды, как Рианна и Дэвид Бекхэм. Эта поездка
стала небольшим перерывом в его напряженном графике путеше­
ствий, который стал неустанным с тех пор, как компания запусти­
ла ChatGPT год назад. Поначалу он потерял дар речи, отвлекся,
чтобы взять себя в руки, а затем попытался сгладить ситуацию в
своей обычной манере по ходу разговора.
«Чем я могу помочь?» - спросил он.
Совет директоров поручил ему поддержать временно испол­
няющую обязанности исполнительного директора, которую они
выбрали, - Миру Мурати, занимавшую должность директора по
технологиям. Альтман, все еще смущенный и не уверенный в том,
что это был дурной сон, согласился.
Несколько минут спустя Суцкевер отправил еще одну ссылку
на Google Meet Грегу Брокману, президенту OpenAI, близкому со-

3


Нейросети лжи

Эндрю Слоун

ратнику Альтмана. Брокман, единственный член совета директо­
ров, отсутствовавший на предыдущей встрече, был проинформи­
рован Суцкевером о том, что он больше не будет входить в совет
директоров, но сохранит свою роль в компании.
Вскоре после этого было сделано публичное заявление. В нем
говорилось, что уход мистера Альтмана произошел после тща­
тельной проверки, проведенной советом директоров. Совет при­
шел к выводу, что он не был последовательно честен в общении,
что затрудняло выполнение им своих обязанностей. В результате
совет больше не доверяет его способности руководить OpenAI.
На первый взгляд, OpenAI достигла пика своего могущества.
С момента запуска ChatGPT в ноябре 2022 года он стал самым
выдающимся успехом Кремниевой долины. ChatGPT стал самым
быстрорастущим потребительским приложением в истории. Сто­
имость стартапа стремительно росла, привлекая инвесторов и
лучших специалистов. Всего за несколько недель до этого компа­
ния была оценена в 90 миллиардов долларов в результате тендер­
ного предложения, позволяющего сотрудникам продавать акции.
За несколько дней до этого состоялось долгожданное событие,
на котором был представлен самый агрессивный ассортимент
продуктов.
Альтман был человеком, благодаря которому все произошло.
Весной и летом он объездил весь мир, завоевав статус знамени­
тости, сравнимый с Тейлор Свифт. Его непритязательная фигура,
смелые заявления и очевидная искренность впечатлили почти
всех.
До Вегаса он снова путешествовал по миру, выступая на сам­
мите руководителей стран АТЭС и произнося реплики со свой­
ственным ему ослепительным эффектом.
«Почему вы посвящаете свою жизнь этой работе?» спросила его
Лорен Пауэлл Джобс, основатель и президент Emerson Collective
и вдова Стива Джобса.

4


Цифровая диктатура начинается

«Я думаю, что это будет самая преобразующая и полезная тех­
нология, которую человечество еще не изобрело», - сказал он.
«Уже четыре раза за всю историю OpenAI - последний раз это
было буквально за последние пару недель - мне доводилось при­
сутствовать в комнате, когда мы отодвигали завесу невежества
и расширяли границы открытий. Получить такую возможность это профессиональная честь всей жизни».
Шокированные сотрудники узнали об увольнении Альтма­
на одновременно со всеми, получив ссылку на публичное объ­
явление, распространившееся по всей компании. Больше всего
их удивила разительная разница между новостями и уважаемой
репутацией Альтмана. При штате около восьмисот человек у со­
трудников было меньше шансов лично пообщаться с генеральным
директором. Однако его харизматичное присутствие на мировой
арене отражало его поведение на общих собраниях, корпоратив­
ных мероприятиях и в офисе, когда он не был в командировке.
Когда мельница слухов взбудоражила сотрудников, прокручи­
вающих Х, бывший Twitter, в поисках информации, кто-то в офи­
се предположил: «Альтман баллотируется в президенты!». Это
ненадолго ослабило напряжение, прежде чем стало ясно, что это
неправда. После этого спекуляции усилились. Совершил ли Альт­
ман преступление? Сотрудники размышляли, не связано ли это с
вирусными твитами его сестры, обвинившей его в жестоком обра­
щении. Они также рассматривали неэтичные действия, возмож­
но, связанные с инвестициями Альтмана или сбором средств от
саудовских инвесторов для нового предприятия по производству
чипов искусственного интеллекта.
Суцкевер разместил в Slack OpenAI объявление о том, что че­
рез два часа он проведет виртуальное собрание всех сотрудников,
чтобы ответить на их вопросы. Один из сотрудников вспоминает:
«Это были самые длинные два часа в жизни».

5


Эндрю Слоун

Нейросети лжи

Суцкевер, Мурати и остальные руководители OpenAI появи­
лись на экране вместе, выглядя скованно и без репетиций. Они
обращались ко всем сотрудникам, как находящимся в офисе, так и
работающим из дома, во время общего собрания.
Суцкевер выглядел серьезным, но при этом был известен свои­
ми глубокими мыслями и мистической натурой. Он часто говорил
на духовные темы с искренностью, которая могла очаровывать
или отталкивать. Он был игрив и добродушен, носил рубашки с
животными принтами и любил рисовать их, например, плюше­
вых кошек, альпак и огнедышащих драконов, а также абстрактные
лица и повседневные предметы. Некоторые из его любительских
картин, например, трио цветов, образующих логотип OpenAI и
символизирующих его видение создания AGI, в которых приори­
тет отдается человечеству, украшали стены офиса.
Теперь он пытался донести уверенность до обеспокоенных
сотрудников, отвечая на их быстрые вопросы в режиме онлайн.
Однако Суцкевер не был идеальным посланником и пытался эф­
фективно общаться со своей аудиторией.
«Был ли конкретный инцидент, который привел к этому?» Му­
рати зачитал вслух список вопросов сотрудника.
«Многие вопросы в документе будут касаться деталей», - от­
ветил Суцкевер. Он выразил желание предоставить больше дета­
лей, но не смог. Он предложил всем интересующимся прочитать
пресс-релиз, поскольку в нем содержится много информации, ко­
торую, возможно, придется перечитывать несколько раз.
Сотрудники были озадачены ответом, который они получили
после получения шокирующих новостей. По их мнению, им сле­
довало предоставить более подробную информацию, поскольку
именно они больше всего пострадали от этой ситуации.
Мурати задал еще несколько вопросов о влиянии на отношения
с Microsoft. Microsoft, главный сторонник OpenAI и единствен­
ный, кто имеет лицензию на использование его технологий, пре­

6


Цифровая диктатура начинается

доставил всю вычислительную инфраструктуру. Мурати завери­
ла, что не ожидает никаких негативных последствий. Она упомя­
нула о недавнем разговоре с генеральным директором Microsoft
Сатьей Наделлой и техническим директором Кевином Скоттом,
которые выразили решительную поддержку их работе.
А как насчет тендерного предложения OpenAI? Некоторым
сотрудникам была предоставлена возможность продать зна­
чительную часть своего капитала, который потенциально мог
стоить миллионы долларов. Тендерное предложение поступило
неожиданно, что заставило многих строить планы по покупке
недвижимости. Брэд Лайткэп, главный операционный директор,
выразил неуверенность по поводу тендерного предложения. Он
упомянул, что находится в контакте с инвесторами, отвечающи­
ми за тендер, а также с некоторыми крупными инвесторами, уже
участвовавшими в работе компании, и все они решительно под­
держали ее.
После нескольких неопределенных ответов на дополнитель­
ные вопросы другой сотрудник попытался выяснить, что сделал
Сэм. Связано ли это с его работой или личной жизнью? Суцкевер
снова отослал людей к пресс-релизу, сказав: «Ответ на самом деле
находится там».
Мурати продолжил читать документ и спросил: «Когда-нибудь
или никогда не будут даны ответы на вопросы о деталях?»
Суцкевер ответил: «Занижайте свои ожидания».
Во время собрания коллектива ответы Суцкевера становились
все более отрывистыми, что привело к тому, что беспокойство со­
трудников переросло в гнев.
«Когда группа людей проходит через сложный опыт, они ча­
сто становятся более сплоченными и близкими», - сказал Суц­
кевер. «Этот опыт сблизит нас как команду и сделает нас более
продуктивными».

7


Эндрю Слоун

Нейросети лжи

«Как совместить стремление к совместному развитию в усло­
виях кризиса с удручающим отсутствием прозрачности?» - напи­
сал один из сотрудников. «Как правило, правда - необходимое ус­
ловие для примирения».
«Вполне справедливо», - ответил Суцкевер. «Ситуация не иде­
альна».
Мурати попытался успокоить нарастающее напряжение, зая­
вив: «Миссия намного больше, чем каждый из нас».
Лайткэп поддержал ее слова: Партнеры, клиенты и инвесторы
OpenAI подчеркнули свою неизменную приверженность миссии.
Он считает, что теперь на них лежит еще большая ответствен­
ность за выполнение этой миссии.
Суцкевер попытался успокоить их: «У нас есть все, что нужно:
компьютер, исследования, потрясающие прорывы. Когда вы по­
чувствуете неуверенность или страх, вспомните об этом. Мыслен­
но представьте себе размер кластера и представьте, как все эти
GPU работают вместе».
Один из сотрудников представил новый вопрос: «Беспокоит ли
нас враждебное поглощение путем принудительного воздействия
на существующих членов совета директоров?» Мурати прочитал.
«Враждебный захват?» повторил Суцкевер с новой остротой
в голосе. «Некоммерческий совет OpenAI действовал в соответ­
ствии со своей целью. Это вовсе не враждебные действия. Я не
согласен с этим вопросом».
В тот вечер несколько сотрудников собрались в доме одного из
коллег на вечеринку, запланированную еще до увольнения Альт­
мана. Присутствовали также гости из других компаний, занимаю­
щихся разработкой искусственного интеллекта, таких как Google
DeepMind и Anthropic.
Перед самым началом мероприятия всем участникам было ра­
зослано уведомление о том, что в этот вечер будет добавлена вто­
рая тематическая комната под названием «No-OpenAI Talk Room».

8


Цифровая диктатура начинается

Однако большинство людей предпочли обсуждать OpenAI, поэ­
тому лишь немногие остались в новой комнате надолго.
Во второй половине дня Брокман объявил, что увольняется
в знак протеста. Наделла из Microsoft, который был в ярости от
того, что ему сообщили об увольнении Альтмана всего за несколь­
ко минут до того, как оно произошло, опубликовал тщательно
продуманный твит. Он заявил: «У нас есть долгосрочное соглаше­
ние с OpenAI, полный доступ ко всем необходимым ресурсам для
наших инноваций, захватывающая дорожная карта продуктов, и
мы преданы нашему партнерству с Мирой и ее командой».
По мере распространения слухов стало известно, что компа­
нию покинули три старших исследователя: Якуб Пачоцки и Шимон Сидор, которые были первыми сотрудниками, долго прора­
ботавшими в OpenAI, и Александр Мондри, профессор Массачу­
сетского технологического института, который недавно присое­
динился к компании. Их уход обеспокоил некоторых сотрудников
OpenAI, сигнализируя о потере лидерства и талантов, что могло
обеспокоить инвесторов и поставить компанию под угрозу. На
одной из вечеринок сотрудники все больше расстраивались. Про­
игрыш тендерного предложения означал бы потерю значитель­
ного финансового вознаграждения за их тяжелый труд, не говоря
уже о потенциальном крахе компании, в результате которого все
усилия и обещания были напрасны.
В тот вечер совет директоров и остальные руководители ком­
пании провели ряд враждебных встреч. После собрания всех
сотрудников ложное единство между Суцкевером и другими ру­
ководителями распалось. Многие руководители, сидевшие ря­
дом с Суцкевером во время прямой трансляции, были удивлены
увольнением Альтмана. Расстроенные плохой работой Суцкевера,
они потребовали встречи с советом директоров. Около дюжины
руководителей, включая Мурати и Лайткэпа, собрались в конфе­
ренц-зале офиса.

9


Нейросети лжи

Эндрю Слоун

Суцкевер был привлечен к работе вместе с тремя независимы­
ми директорами: Адам Д>Анджело, соучредитель и генеральный
директор Quora; Таша Макколи, предприниматель и старший на­
учный сотрудник по вопросам управления в RAND; и Хелен То­
нер, исследователь из CSET Джорджтаунского университета.
Под шквалом вопросов четыре члена совета уклонились от
предоставления дополнительной информации, ссылаясь на юри­
дические обязательства по сохранению конфиденциальности.
Некоторые руководители заметно разозлились. Анна Маканью,
вице-президент по глобальным вопросам, которая часто присое­
динялась к Альтману в его глобальных кампаниях, выразила свое
разочарование: «Вы намекаете на то, что Сэм ненадежен. Это пол­
ностью противоречит нашему общению с ним».
Собравшееся руководство призвало совет уйти в отставку и
отдать свои места трем сотрудникам. Они угрожали уволиться,
если совет не подчинится. Джейсон Квон, главный стратег и быв­
ший главный юрисконсульт OpenAI, обострил ситуацию. Он зая­
вил, что нежелание совета директоров уйти в отставку незаконно.
Если компания потерпит неудачу, это нарушит фидуциарные обя­
занности членов совета директоров.
Члены совета директоров с этим не согласились, заявив, что
перед принятием решения об увольнении Альтмана они тщатель­
но проконсультировались с юристами и выполнили свои обязан­
ности. OpenAI имела уникальную структуру, разработанную Аль­
тманом, которая давала совету директоров широкие полномочия
действовать в интересах миссии, а не только акционеров. Альтман
подчеркнул, что возможность совета директоров уволить его была
важнейшим механизмом управления. Тонер подчеркнул: «Если это
действие вредит компании, оно может соответствовать миссии».
Руководство немедленно передало ее слова сотрудникам. То­
нер казалась равнодушной к разрушению компании, что застави­
ло многих сотрудников предположить, что именно это и было ее

10


Цифровая диктатура начинается

намерением. Мысль о том, что они могут потерять весь свой капи­
тал, заставила кое-кого на вечеринке расплакаться.
На следующий день, в субботу, 18 ноября, десятки людей, вклю­
чая сотрудников OpenAI, собрались в особняке Альтмана стоимо­
стью 27 миллионов долларов в ожидании дальнейших новостей.
Трое уволившихся старших исследователей - Пачоки, Сидор
и Мондри - встретились с Альтманом и Брокманом, чтобы об­
судить возможность реформирования компании и продолжения
работы. Некоторые сотрудники были встревожены, узнав об этих
обсуждениях, опасаясь, что новый конкурент OpenAI может уси­
лить нестабильность. Однако другие увидели в этой ситуации на­
дежду: они были готовы уйти и присоединиться к Альтману, если
он начнет новое предприятие.
Оставшееся руководство OpenAI поставило перед советом
крайний срок - 17:00 по тихоокеанскому времени: восстановить
Альтмана и уйти в отставку или столкнуться с возможным массо­
вым уходом сотрудников. Члены совета директоров отказались.
В течение выходных они срочно связывались со своими знакомы­
ми, даже в позднее время, и искали поддержки. Поскольку недо­
вольство сотрудников и инвесторов по поводу увольнения Альт­
мана росло, Мурати решил временно покинуть пост генерального
директора. Нужно было найти замену, чтобы обеспечить стабиль­
ность, или набрать новых членов совета директоров, способных
справиться с потенциальным возвращением Альтмана.
Тем же вечером, после истечения срока, Джейсон Квон разо­
слал сотрудникам служебную записку, в которой говорилось: «Мы
продолжаем работать над решением проблемы и сохраняем опти­
мизм. Под решением мы подразумеваем возвращение Сэма, Грега,
Якуба, Шимона и Александра».
Альтман написал в своем твиттере в своем фирменном стиле
со строчной буквы: «Я так люблю команду OpenAI».

11


Эндрю Слоун

Нейросети лжи

Десятки других сотрудников начали ретвитить это сообщение
с эмодзи сердца.
В воскресенье Альтман и Брокман вернулись в офис, чтобы об­
судить свое возвращение. В течение дня все больше сотрудников
собирались в ожидании. К тому времени большинство сотрудни­
ков, руководителей и членов совета директоров практически не
спали более тридцати шести часов, поэтому все смешалось в кучу.
Альтман опубликовал в Твиттере селфи с серьезным видом, держа
в руках бейдж гостя. В качестве подписи он добавил: «Первый и
последний раз, когда я ношу такой». Руководство установило но­
вый крайний срок в 17:00, чтобы совет восстановил Альтмана в
должности и отправил в отставку.
Давление усиливалось из разных источников. Microsoft, инве­
сторы OpenAI и влиятельные фигуры в Кремниевой долине пу­
блично поддержали Альтмана. Один из источников поделился
стратегией со СМИ: Сотрудники будут массово уходить, Microsoft
может ограничить доступ к своим вычислительным ресурсам, а
инвесторы могут подать в суд. Такая ситуация сделала бы OpenAI
без Альтмана невыполнимой.
Тем не менее, совет продолжал сопротивляться. Ближе к де­
вяти часам вечера, то есть намного позже установленного срока,
Суцкевер опубликовал в Slack длинное сообщение для совета ди­
ректоров. Альтман не возвращался. Эмметт Шир, бывший гене­
ральный директор Twitch, теперь был новым временным главой
OpenAI. Он и Шир должны были прибыть в офис через пять ми­
нут, чтобы выступить с речью о новом видении компании.
«Совет директоров твердо стоит на своем решении как на един­
ственном пути продвижения и защиты миссии OpenAI», - написал
он. «Проще говоря, поведение Сэма и отсутствие прозрачности
в его взаимодействии с советом директоров подорвали его спо­
собность эффективно контролировать компанию, как это было
предписано».

12


Цифровая диктатура начинается

Канал Slack быстро заполнился многочисленными гневными
откликами сотрудников.
«Ты и какая армия?»
«Ты бредишь».
«Эммет будет генеральным директором».
Около двухсот сотрудников вышли из офиса, чтобы бойкоти­
ровать переговоры. Мурати поспешил вывести руководителей из
здания. К тому времени, когда Шир прибыл с Суцкевером, в ауди­
тории оставалось всего около дюжины человек.
Анна Брокман, жена Грега, подошла к Суцкеверу, который
четыре года назад проводил гражданскую церемонию пары.
Сквозь слезы она крепко обняла его и умоляла пересмотреть свое
решение.
Многие сотрудники, покинувшие офис, собирались дома у кол­
лег, чтобы остаться на ночь. Сотни людей присоединились к груп­
пе Signal, чтобы получать новости. Позже Наделла объявил о най­
ме Альтмана и Брокмана для руководства новым подразделением
ИИ. Слухи об этом быстро распространились: Любой, кто захочет
присоединиться к Альтману, получит гарантированную работу в
Microsoft.
Эти новости изменили настроение с боязливого на вызывающее,
дав сотрудникам больше сил выступить против совета директоров
и Шира. В доме одного из сотрудников, где собралось более сотни
коллег OpenAI, руководители и старшие научные сотрудники напи­
сали открытое письмо, чтобы усилить давление. Они подчеркнули,
что без возвращения Альтмана и отставки совета директоров все
они могут покинуть компанию и перейти в Microsoft.
Группа стремилась широко распространить письмо, публикуя
его в личных каналах и обращаясь к отсутствующим сотрудникам
с просьбой подписать его. По мере накопления подписей к пись­
му вынуждены были присоединиться и другие сотрудники, чтобы
предотвратить подозрения по поводу их отсутствия. В течение

13


Эндрю Слоун

Нейросети лжи

двадцати четырех часов письмо подписали более 700 из пример­
но 770 сотрудников. Затем многие сотрудники быстро отправили
идентичные электронные письма в совет директоров. Кроме того,
они завалили Х сообщениями: «ОрепА! - ничто без своих людей».
Среди ночи сотрудники увидели, что имя Суцкевера появилось
в открытом письме.
Суцкевер публично выразил сожаление по поводу участия в
действиях совета директоров. Рано утром в понедельник он на­
писал в Твиттере, выразив свою любовь ко всему, что они вместе
построили в OpenAI, и готовность воссоединить компанию.
Во вторник, 21 ноября, руководство созвало совет из дома Аль­
тмана. После пяти дней все были измотаны отсутствием сна. При­
ближался День благодарения, и отчаяние с обеих сторон привело
к тому, что решение проблемы было найдено.
В течение всего дня все серьезно рассматривали различные
конфигурации.
Альтман и Брокман поначалу были намерены вернуться в
OpenAI с местами в совете директоров, но в итоге согласились
отказаться от них. Совет директоров, понимая, что без Альт­
мана компания не выживет, в конце концов согласился на его
возвращение.
Поздно вечером они договорились о трех местах в независи­
мом совете директоров. Д>Анджело останется, а Тонер и Макколи
уйдут в отставку. Их места займут Брет Тейлор, бывший испол­
нительный директор Salesforce и бывший технический директор
Facebook, и Ларри Саммерс, бывший министр финансов и бывший
президент Гарварда. В рамках сделки новый совет директоров со
временем пополнится новыми членами, а Альтман согласится на
проведение расследования.
Они также согласились, что сейчас для компании важнее все­
го продемонстрировать единство, стабильность и примирение.

14


Цифровая диктатура начинается

Два дня спустя Олтман опубликовал в твиттере инсценирован­
ное сообщение: «Только что провел очень приятные несколько
часов с @adamdangelo. Счастливого Дня благодарения от на­
ших семей к вашим». Десять дней спустя Брокман опубликовал
в Твиттере фотографию, на которой он и Суцкевер, обнявшись,
широко улыбаются друг другу. В офисе компании художник-ре­
зидент подключал генератор изображений OpenAI DALL-E к
цветному принтеру, чтобы создать маленькие калейдоскопиче­
ские наклейки в форме сердца. Рядом с принтером стояло боль­
шое розовое сердце с надписью «OpenAI - ничто без своих лю­
дей». Они также согласились, что сейчас для компании важнее
всего демонстрировать единство, стабильность и примирение.
Два дня спустя Альтман опубликовал в твиттере постановочное
сообщение: «Только что провел несколько часов с @adamdangelo.
Счастливого Дня благодарения от наших семей вашим». Десять
дней спустя Брокман опубликовал в Твиттере фотографию: он
и Суцкевер, обнявшись, широко улыбаются. В офисе компании
художник-резидент подключал генератор изображений OpenAI
DALL-E к цветному принтеру, чтобы создать крошечные ка­
лейдоскопические наклейки в форме сердца. Рядом с принте­
ром стояло гигантское розовое сердце, украшенное надписью
«OpenAI - ничто без своих людей».
В декабре Альтман в подкасте Тревору Ноа назвал этот опыт
вторым худшим моментом в своей жизни, превзойдя лишь смерть
отца. В следующем месяце, в январе, тендер закрылся, оценив
OpenAI в 86 миллиардов долларов.
Но все это было впереди. Вечер вторника, 21 ноября, был по­
священ празднованию. После возвращения Альтмана и объявле­
ния о новом соглашении сотрудники вернулись в офис, чтобы об­
няться, поплакать и включить музыку. В какой-то момент кто-то
включил дымовую машину, что привело к срабатыванию пожар­
ной сигнализации, но все продолжали веселиться.

15


Эндрю Слоун

Нейросети лжи

Брокман сделал групповое селфи с толпой, запечатлев их вос­
торженную радость от пережитого кризиса. Он опубликовал фото^аф ию в Твиттере с подписью: «Мы вернулись».
Новость об отстранении Альтмана пришла во время интервью
для этой книги. Я отключил звук на телефоне и не знал о пред­
стоящей хаотичной неделе. Позже я проверил телефон и заметил
множество пропущенных уведомлений, и начался смутный, на­
полненный адреналином период, когда я спешил разобраться в
ситуации.
В последующие недели друзья, семья и средства массовой ин­
формации неоднократно спрашивали меня: Что все это значит?
Была ли эта перепалка просто развлечением, или она повлияет на
нас? Я следил за OpenAI в течение пяти лет. В 2019 году я стал
первым журналистом, получившим обширный доступ к компа­
нии по адресу и написавшим ее первый обзор. Для меня эти со­
бытия были не просто игрой власти в Кремниевой долине. Драма
подчеркивала важнейший вопрос для нашего поколения: Как мы
должны регулировать искусственный интеллект?
ИИ - одна из самых значимых технологий нашей эпохи. Bcero
за десять лет он изменил основу интернета, став общим помощ­
ником в цифровой деятельности. За еще более короткий срок он
готов перевернуть многие жизненно важные функции общества,
такие как здравоохранение, образование, право, финансы, журна­
листика и правительство. Будущее ИИ, то, какую форму примет
эта технология, тесно связано с нашим будущим. Поэтому вопрос
управления ИИ, по сути, сводится к тому, чтобы улучшить наше
будущее, а не ухудшить его.
С самого начала OpenAI позиционировала себя как амбициоз­
ный эксперимент. Она была создана группой, в которую входили
Элон Маек, Сэм Альтман и другие богатые сторонники, такие как
Питер Тиль. Они стремились выйти за рамки просто исследова­
тельской лаборатории или компании. Основатели выразили твер­

16


Цифровая диктатура начинается

дую приверженность созданию искусственного интеллекта обще­
го назначения (ИОН), который, по их мнению, был самой продви­
нутой формой ИИ из когда-либо созданных. Их целью была не
прибыль, а благо человечества. Маек и Альтман учредили OpenAI
как некоммерческую организацию и выделили 1 миллиард долла­
ров на ее деятельность. OpenAI сосредоточится исключительно
на исследованиях, стремясь разработать ИИ с чистыми намере­
ниями создать глобальную утопию. Маек и Альтман обязались от­
крыто делиться результатами своих исследований и сотрудничать
с другими организациями. Подчеркивание открытости и демокра­
тического участия в развитии технологий было решающим для их
миссии. Еще одним шагом стало обещание руководства отступить
в случае необходимости. Они выразили опасения по поводу ри­
сков, связанных со стремительным развитием AGI без должных
мер безопасности. Если другой проект покажет больший прогресс
в создании полезного AGI, OpenAI поклялся поддержать его, а не
конкурировать с ним.
К тому времени, когда я начал рассказывать о OpenAI, ее
приверженность этим идеалам стремительно угасала. Всего через
полтора года руководители OpenAI поняли, что желаемый ими
путь развития ИИ потребует огромных денег. Маек и Альтман,
которые были более сдержанными сопредседателями, попыта­
лись стать генеральными директорами. Альтману это удалось, а
Маек покинул компанию в начале 2018 года, забрав с собой день­
ги. Оглядываясь назад, можно сказать, что этот конфликт стал
первым признаком того, что OpenAI не был по-настоящему аль­
труистическим проектом, а скорее руководствовался э г о .
Уход основного спонсора вызвал финансовую неопределен­
ность для OpenAI. Чтобы решить эту проблему, Альтман реструк­
турировал OpenAI, создав в рамках некоммерческой организации
коммерческое подразделение под названием OpenAI LP. Целью
этой новой структуры стало привлечение капитала, коммерциа­

17


Эндрю Слоун

Нейросети лжи

лизация продуктов и получение прибыли для инвесторов. В июле
2019 года OpenAI объявила о новом крупном спонсоре: Microsoft,
софтверный гигант и поставщик облачных услуг, выделил 1 мил­
лиард долларов.
В августе 2019 года я впервые приехал в офис OpenAI. Про­
ведя три дня с сотрудниками и проведя множество интервью, я
заметил, что идеалистический эксперимент по управлению раз­
валивается на части. OpenAI стала конкурентной, скрытной и
изолированной, демонстрируя страх перед внешним миром из-за
огромной силы контроля над такой передовой технологией. Такие
понятия, как прозрачность, демократия, самопожертвование и
сотрудничество, больше не ценились. Руководители OpenAI были
сосредоточены исключительно на том, чтобы первыми создать
искусственный интеллект общего назначения и сформировать его
в соответствии со своим видением.
За следующие четыре года OpenAI стала всем тем, чем обещала
не быть. Она превратилась в некоммерческую организацию толь­
ко по названию, агрессивно коммерциализируя такие продукты,
как ChatGPT, и стремясь к беспрецедентным оценкам. Она стала
еще более скрытной, ограничивая доступ к своим исследованиям
и влияя на отраслевые нормы, чтобы ограничить общественный
контроль за разработкой ИИ. Это привело к тому самому сцена­
рию, от которого она предостерегала, - быстрому продвижению
коммерциализации и внедрению технологии без учета ее вредных
недостатков и потенциальных последствий для общества. Вну­
тренние конфликты обострились, поскольку различные группи­
ровки внутри компании боролись за контроль и пытались пере­
строить OpenAI в соответствии со своим видением.
Отстранение и восстановление Альтмана в ноябре 2023 года
доказало, что эксперимент с управлением провалился. Неком­
мерческий совет OpenAI уступил финансовым интересам, пере­
черкнув альтруистический имидж организации. Этот инцидент

18


Цифровая диктатура начинается

показал, как борьба за власть между несколькими представителя­
ми элиты Кремниевой долины определяет будущее ИИ. Даже если
бы Альтман был заменен, процесс принятия решений остался бы
тайным. Кроме небольшой группы богатых технооптимистов, со­
трудники OpenAI в основном не знали о своей судьбе.
Я начал освещать тему искусственного интеллекта задолго до
того, как OpenAI и ChatGPT стали широко известны в этой обла­
сти. Я наблюдал за его развитием, когда исследователи тестировали
новые идеи, делились успехами на конференциях и применяли их в
продуктах таких крупных компаний, как Google, Facebook, Alibaba и
Baidu. Я читал многочисленные научные статьи и брал интервью у
ученых, инженеров и руководителей, чтобы понять их точку зрения
и то, как они повлияли на развитие и использование технологии. По
мере глобального распространения ИИ я следил за тем, как он вли­
яет на жизнь людей и сообществ в тонких и значительных аспектах.
Я побывал на пяти континентах, чтобы узнать от людей об их опыте.
В Колумбии и Кении я познакомился с людьми, которые в условиях
экономических трудностей прибегали к аннотированию данных для
индустрии ИИ, сталкиваясь при этом с условиями труда, напомина­
ющими кабалу. В Аризоне и Чили я беседовал с местными лидерами
и активистами, обеспокоенными растущим присутствием центров
обработки данных, потребляющих водные ресурсы их общин.
За время своей работы я понял две вещи: Искусственный ин­
теллект существует в различных формах, определяемых не только
техническими аспектами, но и идеологией создателей и тенден­
циями рынка. Хотя ChatGPT и подобные крупные языковые мо­
дели доминируют сейчас, они представляют собой лишь один из
аспектов ИИ, отражающий узкий взгляд на мир. Возникновение
этой формы ИИ не было неизбежным, а стало результатом субъ­
ективных решений, принятых власть имущими. Будущее техноло­
гий ИИ не определено, поэтому возникает вопрос об управлении:
Кто будет влиять на их развитие?

19


Нейросети лжи

Эндрю Слоун

Современное проявление ИИ движется в тревожном направ­
лении. На первый взгляд генеративный ИИ кажется захватываю­
щим, поскольку он способствует творчеству, обеспечивает друже­
ское общение и повышает производительность. Однако под его
гладкой внешностью скрывается другая реальность. Модели ге­
неративного ИИ массивны, они потребляют огромное количество
данных, ресурсов и вычислительной мощности. Например, по
имеющимся данным, GPT-4 в пятнадцать тысяч раз больше сво­
его предшественника GPT-1. Затраты на эту технологию сказыва­
ются на обществе, особенно на уязвимых группах по всему миру,
что приводит к росту прекаризации. Выгоды от генеративного ИИ
получают в основном те, кто находится на вершине, а не те, кто
больше всего в них нуждается.
За годы работы я нашел только одну метафору, которая отра­
жает суть этих ИИ-властителей: империи. В эпоху европейского
колониализма империи захватывали ресурсы, эксплуатировали
рабочую силу, проецировали расистские идеи превосходства и
оправдывали свои действия конкуренцией с другими империями.
Это стремление к власти служило укреплению их господства и
стимулировало экспансию. По сути, империи накапливали богат­
ство, навязывая колониальный мировой порядок за счет других.
Империи ИИ не прибегают к открытому насилию, как в про­
шлом. Однако они по-прежнему добывают такие ресурсы, как
работы художников, произведения писателей, данные из интер­
нет-постов, а также землю, энергию и воду для центров обработ­
ки данных. Эти империи также эксплуатируют глобальную рабо­
чую силу для обработки данных для технологий искусственного
интеллекта. Они продвигают современные идеи и конкурируют с
другими империями, скрывая вторжение в частную жизнь, воров­
ство и автоматизацию экономических возможностей.
OpenAI прокладывает путь к современному глобальному по­
рядку. В погоне за прогрессом его агрессивное стремление к мас­

20


Цифровая диктатура начинается

штабу определило новые правила развития ИИ. Технологические
гиганты теперь соревнуются между собой в масштабах, тратя
огромные суммы и перераспределяя ресурсы. Microsoft вложила
10 миллиардов долларов в OpenAI и уволила десять тысяч со­
трудников, чтобы сократить расходы. Google объединила свои
лаборатории искусственного интеллекта в Google DeepMind по­
сле того, как ее опередил OpenAI. Baidu перенаправила ресурсы
с разработки лекарств на развитие ChatGPT. Число независимых
исследователей, не финансируемых технологической индустрией,
сокращается, что ограничивает разнообразие идей в области ИИ.
Компании не могут позволить себе масштабные исследования изза высокой стоимости разработки ИИ. Молодые ученые подчи­
няются новой норме, чтобы повысить шансы на трудоустройство.
Беспрецедентные практики стали стандартом.
Сегодня империи богаты как никогда. По состоянию на январь
2025 года компания OpenAI достигла оценки в 157 миллиардов
долларов, в то время как конкурент Anthropic был близок к сделке
на 60 миллиардов долларов. Рыночная капитализация Microsoft
утроилась и превысила 3 триллиона долларов после сотрудни­
чества с OpenAI. Шесть крупнейших технологических гигантов,
включая ChatGPT, в совокупности увеличили свои рыночные ка­
питалы на 8 триллионов долларов. Однако растут сомнения в ис­
тинной экономической ценности генеративного ИИ. В июне 2024
года в отчете Goldman Sachs прогнозировалось, что расходы на
развитие технологии достигнут 1 трлн долларов через несколько
лет без ощутимых результатов. Опрос, проведенный исследова­
тельским институтом Upwork в июле 2024 года, показал, что, хотя
96 % руководителей высшего звена ожидают, что генеративный
ИИ повысит производительность, 77 % сотрудников, использую­
щих эти инструменты, считают, что они увеличивают их рабочую
нагрузку. Отчасти это связано с затратами времени на проверку
контента, созданного ИИ, и растущими требованиями со сторо­

21


Эндрю Слоун

Нейросети лжи

ны начальства. В ноябрьской статье Bloomberg сотрудники Парми
Олсон и Каролин Сильверман выразили обеспокоенность тем, что
генеративный ИИ может не выполнить свои обещания по широ­
кому преобразованию экономики, а наоборот, сконцентрировать
больше богатства на вершине.
Тем временем остальной мир начинает рушиться под тяже­
стью растущих человеческих и материальных издержек этой но­
вой эпохи. Рабочие в Кении получают мизерные зарплаты, чтобы
сдерживать насилие и разжигание ненависти с помощью техно­
логий OpenAI, таких как ChatGPT. Художников заменяют моде­
ли ИИ, созданные на основе их работ без разрешения и оплаты.
Журналистская отрасль приходит в упадок из-за технологий ге­
неративного ИИ, распространяющих все больше дезинформации.
Перед нами повторяется старая история, сигнализирующая лишь
о начале этих изменений.
OpenAI не сбавляет обороты, а продолжает стремиться к боль­
шим масштабам, используя непревзойденные ресурсы и зани­
мая лидирующие позиции в отрасли. Чтобы развеять опасения
по поводу текущей эффективности генеративного ИИ, Альтман
подчеркивает будущие преимущества AGI. В своей записи в бла­
ге, опубликованной в сентябре 2024 года, он предсказал «Эпоху
интеллекта» массового процветания, а через несколько тысяч
дней, возможно, появится сверхразум. Альтман считает, что буду­
щее будет настолько ярким, что его невозможно полностью опи­
сать сейчас. AGI - это в основном риторическая концепция для
OpenAI, чтобы стремиться к большему богатству и власти. Мало у
кого есть ресурсы, чтобы инвестировать в альтернативы. OpenAI
и несколько конкурентов будут доминировать в технологии, кото­
рую они продают как важнейшую для будущего. Те, кто заинтере­
сован в таком видении, будут зависеть от этих организаций.
Есть и другой способ двигаться вперед. Искусственный интел­
лект не должен оставаться неизменным. Нам не обязательно сле­

22


Цифровая диктатура начинается

довать идее огромных масштабов и потребления, чтобы добиться
прогресса. Многие важные вещи, такие как улучшение здравоохра­
нения, образования, чистый воздух, чистая вода и более быстрый
отказ от ископаемых видов топлива, могут быть достигнуты с
помощью небольших моделей ИИ и различных других методов.
Самого по себе ИИ будет недостаточно. Нам также потребуется
более сильное социальное единство и всемирное сотрудничество,
которые в настоящее время находятся под давлением из-за ны­
нешней концепции развития ИИ.
Империи искусственного интеллекта так просто не откажутся
от своей власти. Мы должны вернуть себе контроль над будущим
этой технологии. Мы находимся в решающий момент, когда пере­
мены еще возможны. Подобно древним империям, павшим в ре­
зультате более инклюзивного управления, мы можем коллективно
влиять на будущее ИИ. Политики должны обеспечить строгое со­
блюдение правил конфиденциальности и прозрачности данных,
а также обновить законы об интеллектуальной собственности,
чтобы расширить права и возможности людей в отношении их
данных и работы. Правозащитные группы могут продвигать гло­
бальные трудовые стандарты и законы, чтобы обеспечить спра­
ведливую зарплату и достойные условия труда для работников,
работающих с данными, укрепить трудовые права и обеспечить
доступ к достойным экономическим возможностям во всех сек­
торах. Финансовые организации могут поощрять разнообразие в
исследованиях ИИ, чтобы изучить новые возможности этой тех­
нологии. Давайте все вместе бросим вызов нарративам, которые
скрывают социальные и экологические последствия ИИ за обман­
чивым представлением о прогрессе, увековеченным OpenAI и ин­
дустрией ИИ.

23


Часть1
Глава 1
Божественное право
Все остальные уже прибыли, но Элон Маек, как обычно, опоз­
дал.
Летом 2015 года по приглашению Сэма Альтмана группа муж­
чин собралась на частный ужин, чтобы обсудить будущее искус­
ственного интеллекта и человечества.
Маек познакомился с Альтманом, который был на четырнад­
цать лет моложе, некоторое время назад, и у него сложилось по­
ложительное впечатление о нем. Альтман, президент известного
в Кремниевой долине акселератора стартапов Y Combinator, имел
прочную репутацию. Он основал свою первую компанию в де­
вятнадцать лет и быстро стал известен в Кремниевой долине как
опытный стратег и специалист по заключению сделок с амбици­
озными целями. Маек считал Альтмана умным, амбициозным и
разделял его взгляды на осторожное развитие и регулирование
искусственного интеллекта. Позже Маек утверждал в судебном
иске, что Альтман, похоже, повторял все, что Маек когда-либо го­
ворил на эту тему, чтобы завоевать его доверие.
Для Альтмана Маек был героем детства. Его восхищение
Маском усилилось после посещения завода SpaceX в Хоторне,
штат Калифорния. Альтмана поразила уверенность Маска в том,
что он отправит большие ракеты на Марс. Позже он писал: «Это
выражение абсолютной уверенности на его лице стало для меня
эталоном убежденности».
Маек давно беспокоился об искусственном интеллекте. В 2012
году он познакомился с Демисом Хассабисом, генеральным ди­

24


Цифровая диктатура начинается

ректором лондонской компании DeepMind Technologies. Хассабис посетил Маска на его заводе SpaceX, где они обсудили потен­
циальную угрозу того, что продвинутый ИИ превзойдет человече­
ский интеллект. Хассабис отметил, что план Маска по колониза­
ции Марса не защитит от этой угрозы, поскольку сверхразумный
ИИ может последовать за человеком в космос. Маек, восприняв
это всерьез, инвестировал 5 миллионов долларов в DeepMind,
чтобы внимательно наблюдать за компанией.
Позже, в 2013 году, на своем дне рождения в пышных винодель­
ческих пейзажах долины Напа, Маек вступил в жаркую дискуссию
со своим давним другом и соучредителем Google Ларри Пейджем.
Они обсуждали, является ли проблемой то, что ИИ превосходит
человеческий интеллект. Пейдж считал, что это следующий этап
эволюции, а Маек не соглашался. Пейдж обвинил Маска в том,
что тот является «спекулянтом», дискриминирующим нечелове­
ческие виды.
После этого Маек стал постоянно говорить об экзистенциаль­
ной опасности ИИ. На симпозиуме в Массачусетском технологи­
ческом институте он назвал ИИ, возможно, «самой большой эк­
зистенциальной угрозой» для человечества, сравнив его развитие
с «вызовом демона». Он встретился с издателями в Нью-Йорке,
желая написать собственную книгу об угрозах вымирания, вклю­
чая ИИ. Позже, на периодическом мероприятии AI Salon в Стэн­
форде, молодой исследователь по имени Тимнит Гебру подошел к
нему после выступления и усомнился в том, что его одержимость
ИИ важнее более очевидной экзистенциальной угрозы - измене­
ния климата. Маек ответил: «Изменение климата - это серьезно,
но оно не уничтожит всех. А вот ИИ может привести к вымира­
нию человечества».
В конце 2013 года Маек был обеспокоен приобретением Deep­
Mind компанией Google, опасаясь, что это может привести к не­
гативным последствиям. Он публично предупредил, что если

25


Эндрю Слоун

Нейросети лжи

Google прикажет искусственному интеллекту ставить во главу
угла прибыль, то он может агрессивно устранить конкурентов.
Маек высказал свои опасения Хассабису во время разговора по
Skype на вечеринке в Лос-Анджелесе, подчеркнув, что будущее ИИ
не должно контролироваться только Ларри. Не зная о действиях
Google, Маек попытался повлиять на сделку. Однако Google уже
направила группу исследователей ИИ для оценки DeepMind, пре­
жде чем завершить сделку по приобретению. Джефф Дин, один
из руководителей Google, лично ознакомился с кодовой базой
DeepMind и одобрил сделку. В январе 2014 года компания Google
завершила сделку по приобретению DeepMind, заплатив пример­
но 400-650 миллионов долларов.
Маек начал устраивать ужины, чтобы обсудить способы проти­
востояния Google. В начале 2015 года он встретился с президен­
том США Бараком Обамой, чтобы рассказать о рисках ИИ, о том,
как повысить его безопасность и как его регулировать. Примерно
в это же время Маек встретился с Хассабисом в SpaceX на ина­
угурационном заседании Совета по этике ИИ Google DeepMind.
Этот совет, предложенный Пейджем и Хассабисом, должен был
следить за ответственным развитием технологий DeepMind. Эта
встреча заставила Маска поверить, что совет является фикцией,
что усилило его беспокойство и привело к всепоглощающей ре­
шимости противостоять видению Хассабиса.
На протяжении многих лет Маек регулярно представлял Хас­
сабиса суперзлодеем, которого необходимо остановить, подчер­
кивая, что OpenAI - это добро по сравнению со злом DeepMind.
Летом 2016 года, вскоре после создания OpenAI, некоторые со­
трудники встретились с Хассабисом и подтвердили мнение Маска
о том, что DeepMind стремится к мировому господству. В следую­
щем году Маек провел встречу для сотрудников OpenAI на своем
заводе SpaceX и подверг Хассабиса страстной критике. До созда­
ния DeepMind Хассабис семь лет руководил студией по разработ­

26


Цифровая диктатура начинается

ке видеоигр. Маек отметил, что в 2004 году Хассабис разработал
видеоигру под названием Evil Genius, в которой злой гений пы­
тается создать искусственный интеллект, чтобы завоевать мир.
Маек выразил разочарование тем, что люди не заметили этого,
упомянув о том, что Ларри не знал о растущей силе Демиса, пока
был занят виндсерфингом.
Паранойя Маска по поводу Хассабиса забавляла сотрудников
DeepMind. Хассабис был амбициозным и напряженным, но при
этом добрым и уравновешенным. Бывший научный сотрудник
DeepMind счел создание OpenAI преувеличенной реакцией на
спокойного человека, которая казалась абсурдной.
В списке рекомендованных Маском книг была «Сверхразум:
Пути, опасности, стратегии» оксфордского философа Ника Бострома. Бостром утверждает, что если ИИ превзойдет человече­
ский интеллект, его будет трудно контролировать и это может
привести к катастрофическим последствиям. Например, про­
двинутый ИИ с такой простой целью, как изготовление скрепок,
может рассматривать людей как угрозу своим ресурсам для про­
изводства скрепок. Бостром предложил решение: привести ИИ в
соответствие с человеческими ценностями, чтобы предотвратить
подобные проблемы с контролем. Эта концепция заложила осно­
ву для исследований по согласованию ИИ, которые впоследствии
поддержал OpenAI. Маек с его обширной аудиторией в Twitter на­
звал книгу «достойной прочтения».
В январе 2023 года всплыло письмо, которое Бостром написал
в LISTSERV в середине девяностых, заставив людей усомниться
н его человеческих ценностях. В письме он выразил восхищение
объективным мышлением и сделал спорное заявление о расе.
Позже Бостром извинился за это письмо, назвав его «отврати­
тельным» и не отражающим его истинных взглядов.
Для Маска Альтман показался единомышленником, разделя­
ющим склонность к подготовке к худшим сценариям. В 2016 году

27


Эндрю Слоун

Нейросети лжи

Альтман рассказал Таду Френду из The New Yorker о своем плане
бежать в Новую Зеландию вместе со своим другом и наставником,
миллиардером Питером Тилем, в случае наступления конца све­
та. Тиль описал Альтмана как культурного еврея, оптимиста, но
готового к чрезвычайным ситуациям. Два года спустя Альтман
признался Bloomberg, что из-за опасений по поводу новых биоло­
гических вирусов у него наготове была «сумка на случай чрезвы­
чайной ситуации», включающая противогазы, антибиотики, воду,
батарейки, палатку и пистолет. Несмотря на это, в феврале 2015
года он согласился с Маском в том, что сверхинтеллект представ­
ляет собой самую большую угрозу для выживания человечества.
Альтман рекомендовал книгу Ника Бострома «Сверхинтеллект» в
качестве отличного источника информации по этой теме.
Через несколько месяцев, в мае 2015 года, Альтман написал Ма­
ску письмо, в котором высказал свои мысли по поводу предотвра­
щения развития ИИ. Он считал, что оно вряд ли остановится, и
предположил, что было бы полезно, чтобы не Google, а другая орга­
низация возглавила этот процесс. Альтман предложил У Combinator
инициировать «Манхэттенский проект для ИИ», чтобы технология
приносила пользу миру через некоммерческую структуру. Он так­
же упомянул о важности соблюдения нормативных требований, от­
метив, что Маек выступает за государственный надзор.
«Наверное, стоит поговорить», - ответил Маек.
В июне Альтман прислал по электронной почте более подроб­
ную информацию о миссии по созданию первого общего ИИ для
расширения прав и возможностей личности, что считается самым
безопасным будущим. Безопасность должна быть главным прио­
ритетом. Он предложил структуру управления, в которой он и
Маек возглавят совет и пригласят еще трех человек. Технология
будет принадлежать фонду и использоваться на благо всего мира.
В случаях, когда ее применение неясно, пятеро будут принимать
решения сообща.

28


Цифровая диктатура начинается

Альтман считает, что если бы Маек мог взять на себя обяза­
тельство встречаться с командой раз в месяц, это помогло бы при­
влечь лучших специалистов. Даже если у Маска не будет времени,
его публичное одобрение все равно поможет в подборе персонала.
«Согласен со всеми», - ответил Маек.
Альтман пригласил Маска на закрытый ужин, посвященный
будущему ИИ и человечества, чтобы встретиться с ведущими ин­
женерами и исследователями ИИ для работы над проектом. Маек
подтвердил свое участие, и место проведения ужина было изме­
нено на ресторан в одном из любимых мест основателя SpaceX
элитном отеле Rosewood на Сэнд-Хилл-роуд в Силиконовой доли­
не. В частной столовой был балкон с видом на бассейн, окружен­
ный итальянскими кипарисами и садовыми розами. Маек прибыл
с опозданием более чем на час и застал Альтмана, Грега Брокмана,
Дарио Амодея и Илью Суцкевера в нетерпеливом ожидании.
Эта группа быстро стала главными руководителями некоммер­
ческой организации. Маек назвал ее OpenAI, чтобы отразить их
общую миссию. В конце концов, большинство мужчин покинули
организацию из-за разногласий с Альтманом и его видением ИИ.
Как только Альтман и Маек перестали общаться друг с другом,
Альтман стал новым «тем самым парнем» Кремниевой долины.
Затем он изменил свою публичную позицию в отношении рисков
своей работы. В 2023 году он сообщил изданию Business Insider,
что теперь твердо верит в то, что ИИ будет инструментом. Одна­
ко он также признал, что в будущем человек и общество сильно
изменятся, подчеркнув важность тщательного проектирования
этого будущего.
Маек чувствовал, что Олтман использовал его, чтобы добиться
славы.
На протяжении всей своей жизни Альтман слыл человеком,
способным преуспеть в любой ситуации. Его наставник, Пол Грэм,
знаменито сказал: «Вы могли бы выбросить его на парашюте на

29


Эндрю Слоун

Нейросети лшн

остров, полный каннибалов, и вернуться через 5 лет, и он был бы
королем». Спустя годы Грэм повторил: «Сэм чрезвычайно хорош
в обретении власти».
Сэмюэл Харрис Гибстайн Альтман родился 22 апреля 1985
года в Чикаго, штат Иллинойс. Он был первым сыном еврейских
родителей.
Его мать, Конни Гибстайн, - врач. Ее отец, Марвин Гибстайн,
тоже был врачом, педиатром, служившим в армии США в Герма­
нии после Второй мировой войны. Конни нарушила гендерные
нормы, получив медицинское и юридическое образование. Она
сосредоточилась на дерматологии - области со стабильным дохо­
дом и гибким графиком работы, позволяющим ей быть рядом с
детьми, приходя домой и готовя ужин.
Во время учебы на юридическом факультете Университета
Лойолы в Чикаго Конни познакомилась с Джерольдом Альтма­
ном, однокурсником. Джерри, сын обувного фабриканта и биз­
несмена, уже был женат в конце двадцатых годов, после учебы в
Уортонской школе Пенсильванского университета и работы кон­
сультантом в Бостоне. Его бывшая жена сохранила свою девичью
фамилию, которую Конни также взяла, выйдя замуж за Джерри.
Через несколько лет они переехали из Чикаго в свой родной город
Сент-Луис.
Джерри работал в сфере недвижимости и управления имуще­
ством, занимал должности главного юрисконсульта и вице-пре­
зидента компании Roberts Companies, застройщика в Сент-Луисе.
Он был страстным поклонником доступного жилья и руководил
проектами по возрождению общества. Сэм усвоил ценный урок
от своего отца: «Всегда помогай другим, даже если ты занят, найди
способ найти время».
У Конни и Джерри быстро родились три мальчика: Сэм, Макс
и Джек. Пять лет спустя, через девять лет после рождения Сэма,
у Конни родилась дочь Энни. Конни считала себя атеисткой с ев­

30


Цифровая диктатура начинается

рейскими культурными связями, в то время как Джерри был более
религиозен, соблюдал еврейские праздники и обеспечивал всем
детям бар- и бат-мицвы. Их разные черты характера по-разному
повлияют на их детей.
С самого раннего возраста Сэм был целеустремленным и очень
любознательным. В два года он научился управлять семейным ви­
деомагнитофоном, а в три уже чинил его. Когда пять лет спустя
родители подарили ему компьютер Мае, он быстро научился про­
граммировать и разбирать его. Он легко приспособился к роли
старшего брата, иногда командуя младшими братьями и сестрами,
а иногда заботясь о них. Сэм был очень конкурентоспособным и
всегда стремился победить в настольных играх.
Сэм был ярым неудачником, но при этом любил побеждать.
Когда бабушка подарила каждому внуку по акции, Сэм выбрал
Apple, а Джек - Applebee's. Этот выбор стал семейной шуткой. За
двадцать лет акции Джека почти не выросли, в то время как акции
Сэма взлетели до небес. Джек позже признавался: «Твои акции
Apple выросли - даже не представляю, насколько», - и вспоминал
эту историю бесчисленное количество раз.
«Да, много, - самодовольно сказал Сэм.
Когда Сэм подрос, Конни предложила ему вариант, который
она давала всем своим детям: перейти в местную частную шко­
лу Джона Барроуза, известную своими сложными учебными про­
граммами и заметным списком успешных выпускников. Сэм ре­
шил перевестись, Макс тоже, но позже вернулся, Джек отказался,
а Энни последовала за старшим братом. В Burroughs Сэм преуспе­
вал как в учебе, так и в общении благодаря своему общительному
характеру и чувству юмора. Он не только интересовался STEM,
но и любил писать и заниматься различными внеклассными меро1 1 риятиями. Он возглавлял команду ежегодника, был капитаном
команды по водному поло и участвовал в программе «Модель

31


Нейросети лжи

Эндрю Слоун

ООН», где студенты имитируют работу Организации Объеди­
ненных Наций для обсуждения государственной политики. Энди
Эбботт, , его учитель английского языка, ставший впоследствии
главой школы Burroughs, вспоминал, что надеялся, что Сэм, твор­
ческий человек и талантливый писатель, сделает карьеру писате­
ля, а не технолога.
Уже тогда Альтман был харизматичным и прирожденным ли­
дером. Он любил раздвигать границы политически приемлемого
в своей консервативной школе. Однажды он попал в неприятно­
сти за то, что на ежегодном митинге в поддержку своей команды
по водному поло устроил стриптиз до трусов. В те годы он стал
геем для своих родителей и одноклассников. Хотя это удивило его
мать, она приняла это, как и остальные члены семьи. А вот группа
студентов-христиан в его школе - нет. В Национальный день вы­
хода в свет они бойкотировали собрание о сексуальности, кото­
рое он вел. Семнадцатилетний Альтман решил противостоять им,
выступив с речью перед студенческой аудиторией. Его консуль­
тант в колледже считает, что эта речь открыла школьную культу­
ру. «Либо вы терпимы к открытому сообществу, либо нет, и вы не
можете выбирать», - сказал он позже, вспоминая свою последнюю
фразу.
За уверенным фасадом Сэма скрывалась чувствительная сто­
рона. Он часто беспокоился о мнении окружающих и боролся с
тревогой, которая сохранилась и во взрослой жизни. Несмотря на
успех в Кремниевой долине, он периодически звонил маме, уве­
ренный, что болен серьезными заболеваниями, такими как ме­
нингит или лимфома. Однажды во время переговоров по сделке
он так разволновался, что ему пришлось лечь на землю без рубаш­
ки, раскинув руки, чтобы успокоиться.
Его амбиции и чувствительность определили его карьеру. Опи­
сывая Альтмана в 2016 году, Тад Френд из The New Yorker заметил
эту двойственность: Альтман стремился быстро продвинуться

32


Цифровая диктатура начинается

вперед, но при этом помнил о необходимости соблюдать осто­
рожность. Его целью было быстрое достижение AGI без угрозы
для человечества.
Окончив школу Burroughs в 2003 году, Альтман уехал со Сред­
него Запада в Стэнфордский университет из-за его близости к
технологической индустрии. Изначально он не был уверен в том,
‘по будет заниматься техникой, но по совету своего учителя Энди
Эбботта ненадолго задумался о том, чтобы стать писателем или
инвестиционным банкиром. В конце концов, он увлекся програм­
мированием и компьютерами. Позже Олтман размышлял: «Я по­
нял, что миру не нужен еще один роман. Это не то место, где я
могу оказать наибольшее влияние или заработать деньги».
Альтман изучал компьютерные науки с упором на искусствен­
ный интеллект и безопасность. Он углублялся в задания, даже
препарировал программное обеспечение до его низкоуровневого
кода и обнаружил ошибку в задании. На втором курсе его заин­
триговали мобильные технологии. Осознав, что в телефонах ско­
ро появится GPS, он посетил мероприятие для предпринимателей
в кампусе. Он стоял на сцене с раскладным телефоном и предла­
гал другим присоединиться к нему, чтобы создать что-то, исполь­
зующее отслеживание местоположения.
Примерно в это время он познакомился с Полом Грэмом, пред­
принимателем и влиятельным техническим блогером, который
вместе со своей подругой Джессикой Ливингстон открывал но­
вый стартап-инкубатор У Combinator. Альтман присоединился к
первой партии компаний УС в 2005 году в качестве основателя
своего нового стартапа Loopt. Лето он провел в Кембридже, штат
Массачусетс, где изначально был создан инкубатор. Loopt была
социальной сетью, которая использовала отслеживание местопо­
ложения, чтобы уведомлять пользователей, когда они находятся
рядом с друзьями, или рекомендовать близлежащие рестораны.

33


Эндрю Слоун

Нейросети лжи

Тем летом он так много работал и ел столько рамена быстрого
приготовления, что заработал цингу.
Он не пожалел об этом. «В начале карьеры работайте очень
усердно», - позже советовал он молодым основателям. «Это
окупается как сложные проценты». Альтман так и не вернулся в
Стэнфорд. К концу 2005 года он и его соучредители уже обсужда­
ли сделку по финансированию в размере 5 миллионов долларов
с венчурными компаниями New Enterprise Associates и Sequoia.
Альтман решил рискнуть и бросить колледж.
Loopt не добился большого успеха. Просуществовав семь лет,
Альтман продал его в 2012 году за 43,4 миллиона долларов, что
почти соответствовало сумме, вложенной его сторонниками. Не­
смотря на оптимистичный тон, звучавший в его интервью и от
его сторонников, стартап, похоже, не был готов к значительным
преобразованиям.
Легче понять зачатки успеха Альтмана в тех ранних интервью,
когда он продает вам нечто менее заманчивое, чем искусственный
интеллект. Он продвигал более раннего конкурента Foursquare,
который в итоге потерпел неудачу.
Его умение работать со СМИ и заключать сделки - две основы
его взлета - опираются на его замечательную способность расска­
зывать истории. Альтман - прирожденный мастер. Несмотря на
то что он знал, что его компания потерпит неудачу, вы не можете
не быть захваченными его повествованием. Он уверенно расска­
зывает об уникальном положении своей компании в технологи­
ческой отрасли, представляя ее как часть неудержимого тренда.
Потребители и рекламодатели охотно ищут услуги, которые он
предлагает. Ставить против него не рекомендуется, его успех ка­
жется несомненным.
«Реакция была огромной», - сказал он в июне 2010 года тех­
нологическому блогору Роберту Скоблу о новом приложении его
компании, Loopt Star. Приложение позволяет рекламодателям

34


Цифровая диктатура начинается

отправлять пользователям предложения, такие как купоны для
ресторанов или групповые скидки для розничных магазинов, ос­
новываясь на их местоположении. «Мы достигли того момента,
когда возможность поделиться своим местоположением считает­
ся более ценной, чем соображения конфиденциальности», - доба­
вил он. «Через несколько лет делиться своим местоположением
станет нормой, а не делать этого будет считаться странным».
«Это нелепое различие», - сказал Альтман в интервью CNN
Business несколько месяцев спустя, говоря о слиянии онлайн и
личного опыта благодаря отслеживанию местоположения на мо­
бильных устройствах. «Весь мир становится мобильным, обеспе­
чивая универсальный доступ к вашим данным и услугам, где бы
вы ни находились», - добавил он.
Для Альтмана обсуждение подводных камней было возможно­
стью подчеркнуть преимущества. В 2008 году, когда основатель­
ница The Information Джессика Лессин, бывший репортер Wall
Street Journal, упомянула о написании статьи о проблемах кон­
фиденциальности, связанных с отслеживанием местоположения,
Альтман предложил свою помощь. Он предоставил ей подробный
список рисков, выявленных Loopt, и предложил решения. Основ­
ная мысль была ясна: это будущее, поэтому лучше быть к нему го­
товым. Лессин отметил, что Альтман был заинтересован не толь­
ко в создании бизнеса, он стремился установить ориентиры.
В Loopt Альтман создавал сети и оттачивал навыки, которые
впоследствии стали его главными преимуществами. Будучи осно­
вателем стартапа в районе залива в середине 2000-х и начале 2010­
х годов, он погрузился в период бурного роста и появления новых
предприятий. Он часто общался с другими амбициозными пред­
принимателями, завязывая важные связи. Офис Loopt находился
недалеко от зарождающегося стартапа YouTube. Среди однокурс­
ников Альтмана по УС были Стив Хаффман и Крис Слоу, основа­
тели Reddit. Альтман вошел в совет директоров Reddit в 2014 году

35


Нейросети лжи

Эндрю Слоун

и в итоге приобрел большую долю, чем Хаффман. Другим това­
рищем по группе был Эммет Шир, соучредитель Twitch, который
впоследствии стал временным генеральным директором OpenAI
после ухода Альтмана почти два десятилетия спустя.
Альтман освоил упаковку информации для СМИ и эффектив­
ное заключение сделок. Будучи генеральным директором малоиз­
вестного стартапа, он вел переговоры о партнерстве с крупней­
шими операторами мобильной связи США. Люди приписывают
его успех исключительно умению слушать, готовности помочь
и способности адаптировать свои предложения к конкретным
потребностям. Сегодня, будучи богатым деятелем Кремниевой
долины, он обладает значительными ресурсами. Люди прозва­
ли его «Майклом Джорданом умения слушать», а Джефф Рал­
стон, сменивший Альтмана в УС, назвал его «Усейном Болтом
фандрайзинго».
«По сути, когда вы привлекаете деньги, вы рассказываете исто­
рию о будущем вашего проекта. Эта история предполагает, что
проект или компания добьются большого успеха», - объясняет
Ралстон. «Сэм может рассказать убедительную и правдоподобную
историю, в которой вы захотите принять участие».
Ралстон сравнивает его с полем искажения реальности Стива
Джобса. Он объясняет, что Стив обладал способностью рассказы­
вать историю, которая могла затмить все остальное в вашем мире.
Искажал ли он реальность или создавал новую, влияние Стива
было ощутимым. Он не просто искажал реальность, он делал ее
реальной.
«И, очевидно, Сэм тоже».
Но есть и обратная сторона этой истории. Один человек, про­
работавший с Сэмом несколько лет, отметил, что он запоминает
множество деталей о вас и очень внимателен. Однако этот чело­
век также отметил, что Сэм использует эту информацию, чтобы
влиять на вас различными способами. Сэм мастерски подстраи­

36


Цифровая диктатура начинается

вается под ваши слова, заставляя вас чувствовать, что вы продви­
гаетесь вперед ваших взаимодействий. В конце концов, вы можете
понять, что на самом деле вы не продвигаетесь вперед, а просто
стоите на одном месте.
Дважды за время его руководства Loopt старшие руководи­
тели стартапа обращались к совету директоров и призывали их
уволить Альтмана. The Wall Street Journal сообщил о двух обвине­
ниях, которые впоследствии привели к его кратковременному от­
странению от работы в OpenAI. Одно из обвинений касалось его
склонности ставить собственную выгоду выше интересов компа­
нии, иногда даже за ее счет. Другим обвинением была его привыч­
ка искажать правду. Последнее обвинение было сложнее опреде­
лить: он иногда лгал о несущественных деталях, и было непонят­
но, почему нечестность имеет значение. Однако эта мелкая ложь,
которую один человек назвал «бумажной волокитой», постепенно
создала в компании атмосферу всеобщего недоверия и хаоса.
Альтман вышел из кризиса под контролем, что определило его
карьеру. Совет директоров Loopt поддержал Альтмана.
Несмотря на средние показатели, Альтман оказался в гораздо
лучшем положении после создания Loopt. Он использовал стар­
тап для налаживания связей с влиятельными людьми Кремниевой
долины, что привело к прибыльному выходу. В двадцать шесть лет
он заработал 5 миллионов долларов на продаже Loopt, что пока­
залось ему разочарованием по сравнению с успехом Джобса. Од­
нако вскоре Альтман стал еще богаче, существенно изменив свой
образ жизни. Он перестал ходить за продуктами, путешествовал
на частном самолете, коллекционировал роскошные спортивные
автомобили, такие как McLaren и редкий Koenigsegg стоимостью
5 миллионов долларов, и увлекся гонками на них. Он также по­
сетил фестиваль психоделического искусства Burning Man и стал
случайным потребителем кетамина, легального наркотика для ве­
черинок в Силиконовой долине.

37


Эндрю Слоун

Нейросети лжи

Добившись успеха, Альтман привлек своих братьев. В 2012
году он основал инвестиционный фонд Hydrazine Capital вместе
со своим братом Джеком, который изучал экономику в Принстоне
и позже основал технологический стартап Lattice, финансируемый
УС после того, как Сэм стал президентом инкубатора. Макс, изу­
чавший информатику в Дьюке и недолго работавший в Microsoft,
прежде чем стать трейдером, присоединился к другой компании
УС, Zenefits, в 2014 году. Два года спустя он присоединился к Сэму
и Джеку в Hydrazine Capital. В это время оба младших брата вре­
менно переехали к Сэму, но в итоге прожили вместе долгие годы
тесные узы братской любви и деловых отношений.
Особое значение для карьеры Альтмана имели ero отношения
с двумя крупнейшими наставниками - Полом Грэмом и Питером
Тилем.
Известный как PG, Грэм впервые получил признание как соуч­
редитель стартапа Viaweb, который Yahoo купила в 1998 году за
49 миллионов долларов. Позже он стал известен как блогер , ко­
торый писал популярные эссе о стартапах, предпринимательстве
и венчурном капитале. Основав УС, он повлиял своими идеями
на каждое поколение основателей УС. Каждая успешная компа­
ния УС укрепляла репутацию инкубатора и престиж Грэма. К тому
времени, когда Альтман продал Loopt, инкубатор уже поддержи­
вал несколько стартапов, ставших миллиардными компаниями,
например Dropbox и Airbnb. УС стал самым эксклюзивным клу­
бом в Кремниевой долине. Принадлежность к нему означала не­
медленный престиж, доступ к большим ресурсам, клиентскую
базу из старых компаний УС, жаждущих инвесторов и более вы­
сокие оценки. Если вы не входили в клуб, вам не так везло.
Грэм сыграл решающую роль в формировании вкуса к старта­
пам и стартап-культуры в Кремниевой долине. Ралстон упоми­
нает, что многие представители отрасли следовали принципам

38


Цифровая диктатура начинается

Грэхема о том, как быть хорошим основателем и успешным пред­
принимателем. Грэмом одновременно восхищались и критикова­
ли. Он пропагандировал технологическую индустрию как меритократию, но в то же время создал УС как эксклюзивную группу.
Он оправдывал отсутствие женщин-основателей в УС тем, что
женщины не были должным образом подготовлены к успеху в
технологическом предпринимательстве с раннего возраста. Грэм
защищал процесс оценки УС, объясняя, что некоторые факторы,
например сильный иностранный акцент, могут предсказать неу­
дачу, если у кандидатов присутствуют несколько показателей. Он
считает, что это не недостаток системы УС, а понимание, основан­
ное на данных.
Грэм с самого начала решительно поддерживал Альтмана.
В 2006 году Грэм написал в своем блоге, что познакомился с Аль­
тманом, когда тот был второкурсником колледжа. Грэм написал:
«Loopt - это, пожалуй, самый многообещающий стартап, который
мы финансировали». Он также отметил: «Но Сэм Альтман совер­
шенно уникален. Уже через три минуты после знакомства с ним я
подумал: «А вот таким мог бы быть Билл Гейтс в 19 лет»».
Альтман быстро вдохновил Грэма на поиск других людей, по­
хожих на него. Он спросил молодого основателя, что УС следует
включить в свою заявку, чтобы найти подобных людей. Альтман
посоветовал добавить вопрос, который Грэм позже посчитал ре­
шающим: «Пожалуйста, расскажите, когда вы успешно манипу­
лировали системой (некомпьютерной) с выгодой для себя». Этот
вопрос впоследствии сформировал у поколения стартаперов
менталитет, позволяющий бросать вызов нормам и стремиться
к успеху.
Когда Альтману было двадцать три года, Грэм сравнивал его с
Джобсом. Он писал: «Сэм - основатель, к которому я чаще всего
обращаюсь при консультировании стартапов. В вопросах дизайна
я спрашиваю: «Как бы поступил Стив?». В вопросах стратегии или

39


Эндрю Слоун

Нейросети лжи

амбиций я спрашиваю: «Что бы сделал Сэм?»». Грэм называл Аль­
тмана по его прозвищу, которое также является его л о г и н о м Х.
Сильная вера Грэма в Альтмана привела к тому, что Альтман
стал президентом УС в 2014 году в возрасте двадцати восьми лет,
после продажи Loopt двумя годами ранее. Когда Грэм попросил
Альтмана стать его преемником на кухне, Альтман безудержно
улыбался. Позже Альтман сказал, что УС влияет на направление
развития технологий, в то время как Грэм считал, что цель Альтма­
на - формировать будущее. История преемственности стала частью
истории Кремниевой долины. Один из бывших основателей УС от­
метил, что Альтман редко улыбался, за исключением тех случаев,
когда ПГ просил его возглавить УС. Выбор Грэма удивил многих, но
он был тверд в своем решении. Ливингстон вспоминал: «Не было
никакого списка на пост руководителя УС; это был просто Сэм».
Питер Тиль стал вторым наставником Сэма Альтмана. Тиль,
ключевая фигура в технологической индустрии, достиг статуса
миллиардера, основав компании PayPal и Palantir, а также став од­
ним из ранних инвесторов Facebook. Как и Грэм, Тиль сталкивал­
ся с противоречиями, например, открыто поддерживал Трампа во
время выборов 2016 года и тайно финансировал судебный про­
цесс, который привел к краху Gawker Media после того, как сайт
раскрыл его сексуальную ориентацию почти десять лет назад.
После продажи Loopt Альтман пережил разрыв с одним из
своих соучредителей, который также был его бойфрендом на про­
тяжении девяти лет. Убитый горем и чувствуя себя потерянным
в профессиональном плане, Альтман взял год отпуска, основал
компанию Hydrazine и собрал 21 миллион долларов. Тиль, кото­
рый почти на двадцать лет старше Альтмана, обеспечил большую
часть финансирования. Когда Альтман стал партнером УС, он ис­
пользовал Hydrazine для инвестиций в портфельные компании
акселератора, а также помогал венчурной фирме Тиля, Founders
Fund, в поиске выгодных инвестиций. Состояние Тиля значитель­

40


Цифровая диктатура начинается

но увеличилось. Между двумя мужчинами установились очень
тесные отношения, которые можно сравнить с наставничеством
Тиля над соучредителем Facebook Марком Цукербертом.
Грэм и Тиль оказали большое влияние на мировоззрение Аль­
тмана, его подход к построению бизнеса и политическую хватку.
Эти наставники подчеркнули для Альтмана важность масштаба и
эффективность капитализма по сравнению с государством.
«Первая мудрость, которую я услышал от стартаперов, гласила:
«Увеличение продаж решит все проблемы», - написал Альтман в
2013 году в блоге под названием «Рост и правительство», где он по­
благодарил Грэма и Тиля за влияние на его идеи. Эта идея совпадает
с мнением Пола Грэма о том, что рост имеет решающее значение.
Для стартапов рост продаж ведет к увеличению капитала, привле­
чению талантливых специалистов и уменьшению числа внутренних
конфликтов. Аналогично, для стран рост приводит к увеличению
количества технологических инноваций и повышению качества
жизни. Альтман отметил, что дисфункция правительства США ста­
вит под угрозу этот цикл роста. Он подчеркнул, что либо вы расте­
те, либо медленно падаете, и, по его мнению, правительство США
падает. Альтман подчеркнул, что без экономического роста демо­
кратия не может функционировать должным образом, поскольку
избиратели застряли в игре с нулевой суммой.
Эта идея стала главным тезисом, определяющим карьеру и ин­
вестиции Альтмана. В 2017 году он заявил, что частный сектор
может внести большой вклад в восстановление экономического
роста страны. Альтман подчеркнул, что в истории США был зна­
чительный экономический рост, территориальная экспансия и
технологический прогресс, при этом упуская из виду темные сто­
роны колониальной истории и негативное влияние бесконтроль­
ной индустриализации на труд и окружающую среду. Он отметил,
что люди в целом были довольны прошлым, противопоставив его
нынешней неудовлетворенности.

41


Эндрю Слоун

Нейросети лжи

«Устойчивый экономический рост почти всегда является мо­
ральным благом», - добавил он в 2019 году. Он отметил, что рабо­
та в Y Combrnator и OpenAI продиктована желанием вернуться к
устойчивому экономическому росту. Это подразумевает создание
мира, в котором жизнь большинства людей улучшается с каждым
годом, способствуя общему духу успеха.
Альтман часто применял стратегию «монополии» Тиля при
создании компаний, утверждая, что основатели должны стре­
миться к монополии, чтобы добиться успеха. В 2014 году Альтман
вернулся на сайт в Стэнфорд, свою альма-матер, чтобы вести курс
«Как начать стартап». Он попросил Тиля подробнее рассказать о
его ключевой философии в лекции под названием «Конкуренция для неудачников».
Монополии, по мнению Тиля, выгодны тем, что обеспечивают
стабильность, долгосрочные перспективы, увеличение капитала
и означают создание чего-то ценного. Чтобы создать монополию,
необходимы запатентованная технология, сетевые эффекты, эко­
номия на масштабе и сильный брендинг, причем все это должно
быть устойчивым. Сохранение лидирующих позиций с помощью
запатентованной технологии имеет решающее значение для того,
чтобы конкуренты не обошли вас. Тиль подчеркнул, что, несмотря
на значительные инновации в различных областях, многие из них
не принесли прибыли.
Он привел пример производства дисковых накопителей в
1980-х годах, когда разные компании выпускали новинки каждые
два года. Это было выгодно потребителям, но не основателям
компаний. Компаниям требовался значительный прорыв на на­
чальном этапе, чтобы занять доминирующее положение, и посто­
янные улучшения, чтобы сохранить его, обеспечивая опережение
конкурентов.
«Если у вас есть будущая структура с большим количеством
инноваций, где другие будут выдвигать новые идеи, связанные с

42


Цифровая диктатура начинается

вашей работой, - заключил он, - это полезно для общества, но не
обязательно для вашего бизнеса».
От обоих мужчин Альтман узнал, как важно строить отноше­
ния и создавать «сетевые эффекты» как личность.
«Я слышал разные теории о том, как достигаются цели», - на­
писал он в своем блоге в 2013 году. «Лучшая из них - сочетание це­
ленаправленности и личных связей. Чарли Роуз упомянул об этом
Полу Грэму, который затем поделился со мной». Позже Альтман
включил в список третий элемент: веру в себя. «Для стартапов,
я считаю, это крайне важно», - заявил он. «Вы должны искренне
верить в то, что сможете этого добиться».
Альтман неукоснительно следовал этой мантре, сосредоточив­
шись на построении отношений с преданными людьми. Вначале
он предлагал свое время и советы, а затем, по мере накопления
капитала, перешел к финансовой поддержке. Тиль служил приме­
ром для подражания в этом аспекте, используя советы и деньги
для расширения своей сети, что, в свою очередь, помогло ему при­
обрести больше связей и богатства. Как и Тиль, Альтман страте­
гически использовал свои финансовые и социальные ресурсы. По
мере того как он становился все более известным и богатым, он
эффективно расширял этот подход.
Он часто устраивал у себя дома ужины и встречи для различ­
ных групп людей, связанных с УС, его компаниями или разделя­
ющих его инвестиционные интересы, включая активное сообще­
ство предпринимателей-геев. Он давал советы с помощью корот­
ких сообщений и звонков, иногда всего на две минуты, чтобы эф­
фективно распорядиться своим графиком. Альтман связывался
с людьми по электронной почте, используя для начала разговора
простые предложения вроде «встретимся» или «?» - практика,
похожая на Джеффа Безоса из Amazon. Он предпочитал делать
множество мелких инвестиций, а не несколько крупных. К июню
2024 года Альтман имел финансовые связи с более чем четырьмя

43


Нейросети лжи

Эндрю Слоун

сотнями компаний через УС, Hydrazine и другие фонды, как сооб­
щает The Wall Street Journal.
Трудно найти человека, близкого к Альтману, который не был
бы связан с ним финансово. Его второй успешной инвестицией в
стартап стала компания Stripe, специализирующаяся на платеж­
ных технологиях и поддерживаемая УС, где Грег Брокман занимал
должность первого технического директора. Альтман также рано
инвестировал в Airbnb, еще одну компанию, поддерживаемую
УС, чей генеральный директор Брайан Чески является его близ­
ким доверенным лицом. Он поддержал биотехнологическую ком­
панию своего друга Мэтта Крисилоффа, Conception, и выступил
соинвестором вместе с Лачи Грумом, известным соло-венчурным
капиталистом. Альтман известен своей щедростью, предлагая лю­
дям такие ресурсы, как жилье и финансовую поддержку. Он даже
помог незнакомцу из Эфиопии купить ноутбук, отправив средства
после получения запроса по электронной почте. Во время банков­
ского кризиса в Кремниевой долине в 2023 году Альтман оказал
финансовую помощь компаниям, у которых не было документов,
чтобы предотвратить закрытие или увольнение. Крисилофф вспо­
минает об этом акте щедрости во время кризиса. Грум признает­
ся, что щедрость Альтмана оказала на него большое влияние, и он
чувствует себя благодарным за это.
Альтман придерживался той же стратегии, что и Тиль в от­
ношениях с политиками. В то время как Тиль своим богатством
поддерживал кандидатов-республиканцев, Альтман пошел по
другому пути, больше участвуя в политике демократов, органи­
зуя благотворительные акции и делая пожертвования. Поначалу
их политические разногласия мешали их отношениям. В 2017 году
Альтман принял их разногласия и отправился в путешествие по
Америке, как и подопечный Тиля Цукерберг, чтобы пообщаться с
сотней сторонников Трампа. Олтман даже задумался о том, что­
бы самому заняться политикой и баллотироваться на пост губер­

44


Цифровая диктатура начинается

натора Калифорнии, стремясь решить проблемы политической
системы. Он изложил свое видение в манифесте под названием
«Объединенный сланец», сосредоточив внимание на трех прин­
ципах: (1) процветание на основе технологий; (2) экономическая
справедливость; и (З) личная свобода. Он провел фокус-группы,
чтобы оценить жизнеспособность своей кандидатуры, и некото­
рые предложили ему стать президентом США.
В итоге Альтман так и не стал политиком, поскольку фо­
кус-группы сочли его слишком молодым. Однако он начал вести
себя как политик. В первые годы работы в УС он все еще выглядел
молодо, носил только один костюмный пиджак и сидел, закинув
одну ногу на ногу или примостившись на стуле, как птица. Ино­
гда он говорил небрежно, использовал ненормативную лексику и
делал преувеличенные заявления. Он более открыто рассказывал
о личных деталях, например о своей коллекции оружия. Альтман
стал быстрее сердиться и проявлять нетерпение к неэффектив­
ным людям. Он даже разработал программу для оценки основате­
лей УС по времени их ответов на электронные письма.
Через несколько лет он усовершенствовал свой внешний вид,
сменил футболки на приталенные хенли и набрал восемнадцать
фунтов мышц. Он научился меньше говорить, больше задавать во­
просов и проявлять вдумчивую скромность. Наедине с собой он
иногда проявлял гнев, но на публике изображал из себя милого
парня. Он отдавал должное другим, использовал строчные буквы
в текстах, смайлики и хмурые рожицы, а также давал свой личный
номер сотрудникам для обратной связи. Он избегал проявления
негативных эмоций, конфронтации или отказа. Однажды, когда
OpenAI уволила сотрудника, он предложил кетамин и выпивку для
утешения. Один из сотрудников заметил: «Я думаю, что все отно­
шения Сэма заканчиваются хорошо, хотите вы этого или нет».
Альтман утвердился в качестве института. УС служил ему
платформой и катализатором, позволяя использовать его мощь и

45


Эндрю Слоун

Нейросети лжи

сеть в своих интересах. Его личные связи и общественная репу­
тация были его самыми ценными активами. Он регулярно встре­
чался с политиками, которые видели в нем ключевую фигуру в
Кремниевой долине. В 2016 году Эштон Картер, министр обороны
при Обаме, обратился к Альтману за советом по поводу доступа к
молодым технологическим талантам. Три года спустя, когда Аль­
тман покинул УС в марте 2019 года, Чак Шумер, в то время лидер
меньшинства Сената США, тайно посетил OpenAI вместе со сво­
ей командой Секретной службы. Сидя вместе в креслах перед те­
левизором, показывающим жаркий огонь, Шумер похвалил рабо­
ту сотрудников, признав ее важность, хотя и не до конца понимая
ее, и выразил уверенность в Сэме Альтмане.
С приходом к власти у Альтмана появилось все больше крити­
ков и врагов, которые обвиняли его в стремлении к власти и не­
честности. Некоторые люди, которые пользовались его советами
и связями, оставались ему верны, в то время как другие считали
его искусным манипулятором. Его партнеры по УС и другие влия­
тельные фигуры находили это раздражающим, в то время как со­
трудники и те, кто обладал меньшей властью, испытывали страх.
Те, кто был категорически не согласен с его убеждениями, видели
в нем серьезную угрозу.
Восхождение Альтмана привело к тому, что он расстроился и
разозлился, так как это нарушило его связь с сестрой. В юности и
даже в двадцатилетнем возрасте Сэм и Энни были близки. Сэм,
старший, опекал Энни, младшую, которая интересовалась наукой
и искусством и была очень эмоционально экспрессивной. Сэм
часто обращался к ней за советом по поводу своих отношений и
делился с ней своими внутренними страхами и переживаниями.
Однако, когда он стал больше работать в Силиконовой долине,
Энни заметила, что он стал более сдержанным в отношении своей
чувствительной стороны. Она вспоминает, как он делился с ней

46


Цифровая диктатура начинается

новыми психологическими стратегиями, которым научился, на­
пример, использовать меньше слов в электронных письмах, чтобы
создать более сильный имидж бизнес-лидера.
Сначала ей было грустно, а потом страшно, она задавалась во­
просом, существует ли еще эта чувствительная часть. Она отме­
тила: «Я все еще улавливала его проблески, поэтому и оставалась
рядом. В конце концов, я стала той, кому он причинил вред».
Когда Сэм только разбогатела, ее тогдашний бойфренд уста­
новил правило: за каждую дорогую вещь, которую покупала Сэм,
он должен был пожертвовать такую же сумму на благотворитель­
ность. Это правило помогало некоторое время контролировать
расходы Сэм. Однако по мере того как Сэм зарабатывала деньги
быстрее, чем успевала их тратить, ее отношения с деньгами ста­
новились все сложнее. Она начала накапливать их и отстранилась
от тех, кто в них нуждается. К концу 2019 года и в первой полови­
не 2020 года Сэм и ее семья не решались оказать Энни экстрен­
ную финансовую помощь на аренду жилья и оплату медицинских
счетов, несмотря на ее острую нужду. Энни столкнулась с серьез­
ными проблемами физического и психического здоровья, усугу­
бленными внезапной смертью отца, что привело к нестабильно­
сти жилья. Чтобы свести концы с концами, она прибегла к услугам
секс-бизнеса. Летом 2020 года, когда OpenAI под руководством
Сэма стала привлекать внимание общественности, Энни решила
разорвать отношения с семьей.
Есть основания полагать, что Сэм и его братья находились под
влиянием матери, направлявшей Энни к финансовой независимо­
сти. История семьи сложна и болезненна, поэтому судить о ней
сложно, располагая лишь ограниченной информацией. В публич­
ном заявлении, сделанном в январе 2025 года, Сэм, его мать и два
брата выразили свою любовь и заботу об Энни, опровергнув все
ее утверждения как «абсолютно ложные». Конни Гибстайн, когда
ее попросили дать интервью и комментарии, предоставила крат­

47


Нейросети лжи

Эндрю Слоун

кую версию аналогичного заявления и отказалась от дальнейших
объяснений. Сэм и его братья не ответили на запросы через ко­
манду по связям с общественностью OpenAI.
Тем не менее, опыт Энни имеет поразительные параллели с те­
мами, рассматриваемыми на этих страницах: увеличивающийся
разрыв между теми, кто пользуется плодами прогресса, и теми,
кто остался позади, потеря власти и права голоса среди бесправ­
ных, столкнувшихся с этим разрывом, и риски, связанные с пре­
доставлением слишком большой власти отдельным людям без
надлежащих сдержек и противовесов. Действия Энни имеют ре­
шающее значение для понимания траектории развития OpenAI и
ее влияния на развитие ИИ. В 2021 году она решила публично об­
винить Сэма в сексуальном насилии над ней в детстве, что отри­
цает ее семья. Она также обвинила Сэм и ее семью в том, что они
бросили ее, когда она была уязвима. 6 января 2025 года, за два дня
до своего тридцать первого дня рождения, она подала иск против
Сэма за предполагаемое насилие, чтобы соблюсти срок давности,
установленный в штате Миссури. Настойчивые попытки Энни
высказать свое мнение повлияли на Сэма и других руководителей
OpenAI, когда они продвигали компанию к мировой известности.
Каждый кусочек головоломки - восхождение Сэма к власти, его
личность и отношения, конфликты, которые он вызывал, влияние
денег и власти - показывает путь, который привел к его внезапно­
му устранению. Вкратце, мир увидел борьбу за власть на высшем
уровне, определяющую будущее искусственного интеллекта. Он
показал, как борьба за контроль над этой технологией, которая
меняет общество и окружающую среду, зависит от противоречи­
вых ценностей, э г о и несовершенства нескольких человек.

48


Глава 2
Цивилизационная миссия
Рег Брокман был первым, кто взял на себя обязательства по
созданию OpenAI. Альтман выбрал Илью Суцкевера в качестве
сооснователя Брокмана. Альтман отправил Суцкеверу, исследова­
телю ИИ в Google, холодное письмо, пригласив его на ужин летом
2015 года. Суцкевер охотно согласился, узнав, что там будет при­
сутствовать и Маек.
Брокман и Суцкевер были интересной парой. Брокман, высо­
кий и коренастый, с дружелюбной манерой поведения, был инже­
нером и энтузиастом стартапов, как и Альтман. Он вырос на хоб­
би-ферме в Северной Дакоте, где, доя коров, увлекся математикой
и наукой. В 2008 году он поступил в Гарвард, а затем перевелся
в Массачусетский технологический институт. После семестра он
оставил колледж, чтобы сосредоточиться на создании продуктов
в реальном мире. Переехав в район залива, он присоединился к
небольшому стартапу Stripe, впечатлил основателей своими навы­
ками кодирования и стал главным технологом. За пять лет он сы­
грал ключевую роль в разработке многих ранних продуктов Stripe
и помог ей стать крупной финтех-компанией, обслуживающей та­
кие компании, как Amazon и Shopify. Работа в Stripe принесла ему
значительное состояние и престижный статус участника роста
многомиллиардной компании.
Суцкевер, ученый, родился в Советском Союзе и вырос в
Израиле, где преуспел в математике. Родители записали его на
курсы в Открытый университет Израиля, когда ему с трудом
удалось найти преподавателей, которые бы соответствовали его
успехам. В шестнадцать лет он переехал в Торонто, месяц проу­
чился в средней школе, а затем в 2003 году поступил в Универси­
тет Торонто на третий курс бакалавриата. Там он познакомился

49


Эндрю Слоун

Нейросети лжи

с Джеффри Хинтоном, британско-канадским профессором, из­
вестным своими исследованиями в области искусственного ин­
теллекта, который стал наставником Суцкевера и оказал боль­
шое влияние на его работу и жизнь. В 2012 году вместе с другим
студентом Хинтона, Алексом Крижевским, они удивили сообще­
ство ИИ, победив в академическом конкурсе lmageNet, снизив
коэффициент ошибок программ для идентификации объектов
до 15 %, в то время как другие команды пытались опуститься
ниже 25 %. В следующем году Google приобрел их компанию
DNNresearch за 44 миллиона долларов, превратив их в мульти­
миллионеров и вызвав спешку в коммерциализации искусствен­
ного интеллекта. Хинтон описывает этот опыт как ощущение,
будто попал в кино.
Брокман и Суцкевер впервые встретились на ужине в Rosewood,
где они присоединились к другим предпринимателям и ученым.
Разговор шел о различных подходах к исследованию ИИ и о том,
что Маек опасается конкуренции с DeepMind и Google за то, что­
бы направить развитие ИИ в нужное русло. Все признали, что
главной проблемой является нехватка талантов, поскольку боль­
шинство ведущих исследователей ИИ, включая Суцкевера, рабо­
тают на таких технологических гигантов, как Google, получая вы­
сокие зарплаты, льготы и стабильную работу.
AGI занимала центральное место в дискуссии, что было нео­
бычно для того времени. Большинство серьезных ученых счи­
тали, что воспроизведение интеллекта человеческого уровня в
цифровом виде - это научная фантастика, или, по крайней мере,
десятилетия спустя. Смелые заявления о том, что это достижимо
уже сейчас, в большинстве случаев рассматривались как псевдо­
наука. Хассабис использовал этот термин для описания амбиций
DeepMind, несмотря на то, что его научные сотрудники находили
его неприятным. Группа Rosewood также стремилась к тому, что­
бы AGI конкурировала с организацией Хассабиса.

50


Цифровая диктатура начинается

Даже Суцкевер, который втайне верил в возможность AGI и
в конечном итоге поддержал бы некоторые из самых агрессив­
ных прогнозов относительно скорости ее создания, поначалу чув­
ствовал себя неловко из-за смелых дискуссий. Он опасался, что
открытый разговор об этой цели может подорвать его авторитет
среди коллег-исследователей. Однако Брокман, человек, не имею­
щий отношения к этой области, не поддавался страху и искренне
верил, что AGI может быть достигнута в ближайшее время при
достаточных усилиях. Суцкевер и другие исследователи, рассма­
тривающие возможность создания новой лаборатории, возможно,
укрепили уверенность Брокмана. По дороге из отеля в Сан-Фран­
циско Брокман сообщил Альтману, что готов полностью посвя­
тить себя проекту.
В Кремниевой долине принято говорить, что стать соучредите­
лем - все равно что вступить в брак. Брокман и Суцкевер позна­
комились после того, как Альтман предложил им работать вме­
сте из-за их понимания исследований в области искусственного
интеллекта. Через несколько недель после ужина в Rosewood они
снова поужинали в Маунтин-Вью и поняли, что идеально подхо­
дят друг другу. Позже Брокман написал в своем блоге: «Я знал, что
все получится, даже несмотря на то, что мы только познакоми­
лись... У нас с Ильей было очень продуктивное взаимодействие.
Наши идеи хорошо дополняли друг друга».
В течение следующих нескольких месяцев Суцкевер обдумывал
предложение, а Брокман работал над тем, чтобы убедить других
присоединиться к новому предприятию. Он связывался с ключе­
выми фигурами в этой области, чтобы получить рекомендации о
лучших талантах в области ИИ, встречался с профессорами уни­
верситетов, чтобы узнать об их лучших студентах, и тщательно
изучал каждого кандидата, прежде чем обратиться к ним для эф­
фективной вербовки. Позже Альтман похвалил эти ранние уси­

51


Эндрю Слоун

Нейросети лжи

лия в блоге под названием «Грег», заявив: «Многие люди спраши­
вают об идеальном сооснователе. Теперь у меня есть ответ: Грег
Брокман».
Альтман и Маек проводили беседы с рекрутерами, чтобы убе­
дить исследователей, сомневающихся в возможности появления
AGI. Питер Аббел, профессор Калифорнийского университета в
Беркли, вспоминает, как Маек убеждал его рассмотреть возмож­
ность появления AGI раньше, чем ожидалось. Аббел присоеди­
нился к OpenAI в качестве научного консультанта, а затем стал
постоянным членом организации вместе с несколькими своими
аспирантами.
Поначалу многие люди, к которым обращался Брокман, хоте­
ли, чтобы и другие подписались. Не успокоившись, он пригласил
десяток лучших инженеров и исследователей, чтобы обсудить их
проблемы и поднять их энтузиазм за вином в долине Напа. Он ор­
ганизовал автобус, чтобы отвезти их туда и обратно, подбадривая
их во время долгой поездки. Через три недели почти все приняли
его предложение к установленному Брокманом сроку.
Когда Маек, Альтман и Брокман обсуждали, как лучше запу­
стить OpenAI, все они понимали, насколько важен его обществен­
ный имидж. Они согласились с предложением Альтмана создать
некоммерческую организацию и подчеркнуть ее приверженность
открытости. OpenAI, позиционируемая как противоположность
Google, будет проводить исследования для всех, открыто делить­
ся научными результатами и уделять первостепенное внимание
прозрачности.
«Я надеюсь, что мы сможем войти в эту сферу как нейтральная
группа, стремящаяся к широкому сотрудничеству и направлению
разговора в сторону успеха человечества, а не какой-то конкрет­
ной группы или компании», - написал Брокман Маску и Альтману
в ноябре 2015 года. «Я считаю, что это лучший подход, чтобы ут­
вердиться в качестве ведущего исследовательского учреждения».

52


Цифровая диктатура начинается

«Общественность поддерживает наш успех», - ответил Маек в
том же месяце. Он предложил переписать объявление о создании
OpenAI, чтобы сделать его более привлекательным для широкой
аудитории. «Мы должны стремиться к гораздо большей сумме,
чем $100 млн, чтобы не казаться неадекватными по сравнению с
Google или Facebook», - добавил он. «Я предлагаю на сайте зая­
вить, что мы начинаем с финансирования в размере $1В. Это дей­
ствительно так. Я покрою любой недостаток за счет других»,
В более поздней переписке группа признала, что после дости­
жения цели они могут отказаться от своей приверженности от­
крытости, особенно чтобы предотвратить неправильное исполь­
зование технологии. В январе 2016 года, вскоре после запуска
OpenAI, Суцкевер предположил, что было бы разумно стать менее
открытыми по мере приближения к созданию ИИ. Он отметил,
что, хотя суть OpenAI заключается в том, чтобы каждый мог вос­
пользоваться преимуществами ИИ после его разработки, вполне
допустимо не раскрывать научные детали. Маек ответил: «Да»,
В декабре 2015 года объявление было сделано в пятницу вече­
ром на конференции Neural information Processing Systems, круп­
нейшем ежегодном мероприятии, посвященном исследованиям
в области ИИ. Хинтон и Суцкевер продали DNNresearch тремя
годами ранее на той же конференции. В блоге под заголовком
«Представляем ОрепАЬ были представлены девять членов-основателей, среди которых Брокман был техническим директором, а
Сутсевер руководил исследованиями. Маек и Альтман будут со­
председателями. Альтман, Брокман, Джессика Ливингстон, Питер
Тиль и Рид Хоффман пообещали выделить на создание лабора­
тории 1 миллиард долларов. Хоффман, который ранее работал с
Маском и Тилем в PayPal, часто инвестировал в стартапы вместе с
ними, будучи частью «мафии PayPal». В сообщении упоминается,
что лишь небольшая часть средств будет потрачена в ближайшие
несколько лет.

53


Эндрю Слоун

Нейросети лжи

В последний момент перед объявлением Суцкевер уже почти
решил остаться в Google. OpenAI предлагала базовую зарплату в
175 ООО долларов и акции УС или SpaceX для других членов-основателей. Однако они предложили Суцкеверу почти 2 миллио­
на долларов, что является значительной суммой для некоммер­
ческой организации. Несмотря на то что Google предложила ему
еще больше, в два или три раза больше, чтобы удержать его, Суц­
кевер не был уверен. Маек и Альтман несколько раз откладывали
объявление компании, пока Суцкевер мучился с решением, про­
сил совета у своих родителей и получал запросы от Маска и Брок­
мана. В конце концов, щедрое предложение Google подчеркнуло
для Суцкевера важность такой некоммерческой организации, как
OpenAI.
В тот же день Маек отправил письмо команде основателей, в
котором торжественно пообещал сделать OpenAI успешной. Он
подчеркнул важность найма лучших сотрудников и пообещал под­
держивать эти усилия, а также оказывать любую другую необхо­
димую помощь. Несмотря на то что OpenAI превосходит по чис­
ленности и вооружению известные организации, Маек выразил
уверенность в своих силах, заявив: «На нашей стороне правота,
а это многое значит. Мне нравятся шансы». Чтобы другие пред­
ложения не переманили членов команды основателей, OpenAI
быстро увеличила базовую зарплату каждого на дополнительные
100 ООО долларов.
Позже Маек вспоминал, что столкнулся с гневом Ларри Пейд­
жа за то, что тот лично нанял Суцкевера. После этого они мало
общались из-за различий во взглядах на развитие ИИ. Однако
процесс найма OpenAI стал проще. Лунные проекты и связи с
миллиардерами были привлекательны в Долине, что привело к
удвоению числа сотрудников в течение нескольких месяцев.
Отсутствие ясности, значительное финансовое влияние и идолизация миллиардеров характеризовали Кремниевую долину во

54


Цифровая диктатура начинается

время пика ее безудержной власти. OpenAI стратегически распо­
ложился между техно-шовинистической Кремниевой долиной и
более социально ответственным подходом. Неожиданная победа
Дональда Трампа на президентских выборах в США в 2016 году
заставила задуматься левых представителей технологической ин­
дустрии. Поскольку беспорядки затронули такие компании, как
Meta и Google, а общественные настроения обернулись против
технологической индустрии, исследователи ИИ также начали за­
даваться вопросом, не поспешила ли эта область привести свои
технологии в соответствие с корпоративными интересами.
Оценка социальных последствий коммерциализации исследо­
ваний в области ИИ выявила тревожные результаты. Автоматизи­
рованное программное обеспечение, продаваемое правоохрани­
тельным органам, ипотечным брокерам и кредиторам, усиливает
дискриминацию по расовому, половому и классовому признакам.
Алгоритмы, используемые в новостной ленте Facebook и рекомен­
дательных системах YouTube, могли способствовать поляризации
общества, распространению дезинформации и экстремизма, вме­
шательству в выборы и, в частности, в случае с Facebook, привести
к этническим чисткам в Мьянме.
Основная альтернатива финансирования - получение денег
от правительства - также вызывала этические сомнения. В 2018
году тысячи сотрудников Google протестовали против секретного
контракта компании с Пентагоном на проект Project Maven, про­
грамму создания беспилотных летательных аппаратов с искус­
ственным интеллектом. Сотрудники опасались, что технология
может привести к созданию автономного оружия. Пентагон, пер­
воначально отрицавший это намерение, изменил свою позицию
во время войны на Украине.
Среди исследователей искусственного интеллекта стал цинич­
ным рефрен: либо присоединиться к Big Tech или военно-про­
мышленному комплексу, либо бросить исследования ИИ. OpenAI

55


Эндрю Слоун

Нейросети лжи

предстал как третий вариант, незапятнанный прибылью или вли­
янием государства. Чип Хуйен, инженер машинного обучения и
технологический блогер, назвал его маяком надежды.
Не все были впечатлены в ночь запуска OpenAI в декабре 2015
года. Тимнит Гебру, исследователь ИИ, который задал Маску во­
прос о приоритете угроз ИИ над изменением климата, не мог по­
верить в это заявление.
В течение всей недели аспирантка Стэнфордского университе­
та, беженка из Эритреи, родившаяся в Эфиопии и переехавшая
в США в подростковом возрасте, постоянно вспоминала о про­
блемах, с которыми сталкиваются чернокожие женщины в среде
преимущественно белых мужчин. Она впервые участвовала в кон­
ференции Neural Information Processing Systems, ранее известной
как NIPS, а затем переименованной в NeurIPS. Она была одной
из немногих темнокожих участниц. На следующий год, в 2016-м,
она насчитала только шесть других темнокожих исследователей
из 8500 участников. Шутя по поводу отсутствия чернокожих ис­
следователей в Стэнфорде, она предложила создать группу Black
in AI и проводить одиночные встречи, а также задумалась о созда­
нии канала на YouTube, чтобы сатирически изображать ситуацию,
представляя различных личностей. Однако конференция 2015
года показала, с какой враждебностью она может столкнуться.
Во время вечеринки к ней подошла группа нетрезвых мужчин в
футболках Google Research, которые сделали ее объектом своих
насмешек. Они окружили ее, при этом один из мужчин насильно
обнял ее, а другой поцеловал в щеку, сделав унизительное фото.
На том же мероприятии ее подруга подверглась домогательствам
со стороны профессора.
Группа людей, девять из одиннадцати которых были белыми
мужчинами, получала большие суммы денег. Они обсуждали воз­
можность господства в мире опасного сверхразума и предлагали
создать высший сверхразум, чтобы предотвратить это.

56


Цифровая диктатура начинается

Тем же вечером Гебру выступила с резкой критикой в аноним­
ном открытом письме. Она критиковала зрелищность, культовое
поклонение знаменитостям ИИ и отсутствие разнообразия сре­
ди людей, разрабатывающих эту важную технологию. Отсутствие
разнообразия не только отталкивает квалифицированных иссле­
дователей, но и создает ограниченное представление об ИИ и о
том, кому он может быть полезен.
«Нам не нужно заглядывать в будущее, чтобы увидеть потенци­
альные негативные последствия ИИ», - написал Гебру, - «Это уже
происходит».
Возвращаясь домой с конференции, она передумала публико­
вать письмо анонимно. Она решила поделиться более короткой
и отточенной версией своей критики на Facebook, используя свое
настоящее имя.
Несколько недель спустя она набрала письмо с темой «Привет
от Тимнита».
«Когда я посещаю конференции по компьютерному зрению, я
часто оказываюсь единственным чернокожим», - написала она.
«Но сейчас я увидела 5 из вас :) и подумала, что было бы здоро­
во, если бы мы создали группу Black in AI или хотя бы знали друг
друга».
Она добавляла письма исследователей одно за другим, а затем
нажимала кнопку «Отправить».
В первые дни существования OpenAI Альтман и Маек редко
присутствовали в качестве сопредседателей. Они были заняты
другими проектами, поэтому Брокман и Суцкевер взяли на себя
ответственность за создание организации. Суцкевер мотивиро­
вал исследователей делиться своими лучшими идеями, а Брокман
сосредоточился на развитии соответствующей организационной
культуры.
Несколько лет спустя Брокман рассказал мне о своих раз­
мышлениях. Чтобы подготовиться, он прочитал все книги, кото­

57


Эндрю Слоун

Нейросети лжи

рые смог найти, об амбициозных научно-технических проектах в
истории США, таких как трансконтинентальная железная дорога,
лампочка Томаса Эдисона и ранняя компьютерная сеть, которая
проложила путь к современному Вебу. Он впитывал их как рели­
гиозные тексты, ища в них подсказки и указания, как создать свой
собственный проект.
Одной из заветных историй была, возможно, выдуманная
история о том, как Джон Ф. Кеннеди подошел к уборщику с мет­
лой в космическом центре НАСА. Брокман вспоминал: «Кеннеди
спросил его: «Сэр, что вы делаете?». А он отвечает: «О. я помогаю
посадить человека на Луну»». Брокман был явно в восторге, вы­
ражая восхищение тем, что у всех есть чувство миссии и цели. Он
считал, что это нечто поистине замечательное, чего так не хватает
в современном мире.
Позже он добавил: «Я действительно чувствую, что мы, амери­
канцы, перестали смело мечтать».
Он считал, что для успеха OpenAI необходимо, чтобы каждый
сотрудник компании, как и тот уборщик, был на таком же уров­
не. Он упомянул, что в первые месяцы существования OpenAI,
когда все работали из его квартиры, он сам демонстрировал этот
дух, проводя время за чисткой стеклянной посуды. Он ввел по­
литику, требующую, чтобы все сотрудники работали из офиса в
Сан-Франциско, которая оставалась в силе вплоть до пандемии.
Эта политика имела компромиссы, поскольку не все предпочита­
ли жить в районе залива. Он признал, что это было особенно акту­
ально для женщин и цветных людей, таких как Гебру, которые чув­
ствовали себя отчужденными в доминирующей белой и мужской
культуре технологической индустрии. Однако Брокман больше
ценил сплоченность и считал, что физическое присутствие вместе
способствует обмену идеями.
Брокман решил называть всех сотрудников OpenAI «члена­
ми технического персонала», следуя примеру Xerox PARC. Эта

58


Цифровая диктатура начинается

лаборатория в Пало-Альто переняла эту практику у Bell Labs в
Нью-Джерси, чтобы создать более демократичную рабочую среду.
При рассмотрении критики, направленной на OpenAI за стрем­
ление к AGI, были проведены параллели с лампочкой Эдисона.
Брокман упомянул, что однажды комитет экспертов усомнился в
ее успехе, но через год она была отправлена. Эту ситуацию писа­
тель-фантаст Артур К. Кларк в книге «Профили будущего» назвал
«провалом воображения».
Среди участников ужина в Rosewood был Дарио Амодеи, специ­
алист по вычислительной нейронауке, перешедший к исследовани­
ям в области ИИ. До этого он работал в лаборатории искусствен­
ного интеллекта китайской компании Baidu в Кремниевой долине,
а затем некоторое время работал в Google. Его сестра, Даниэла
Амодеи, сотрудничала с Брокманом в компании Stripe. Когда Брок­
ман заинтересовался ИИ, он обратился за учебными материалами
к Дарио. Хотя Дарио не сразу присоединился к OpenAI, концепция
показалась ему интригующей. OpenAI, созданная под влиянием
Маска, отличалась тем, что уделяла приоритетное внимание безо­
пасности ИИ по сравнению с другими лабораториями ИИ.
В 2016 году, работая в Google, Амодей стал одним из авторов
основополагающего документа по безопасности ИИ. В документе
рассматривалась проблема аварий в системах машинного обуче­
ния, под которой понимается непреднамеренное вредное поведе­
ние, возникающее в результате плохого проектирования систем
ИИ в реальном мире. Эта проблема была отделена от других про­
блем, связанных с ИИ, таких как конфиденциальность, безопас­
ность, справедливость и экономический эффект. В этом контексте
безопасность ИИ направлена на предотвращение несанкциониро­
ванного и неправильного ИИ, который, как описал Ник Бостром,
может привести к тому, что сверхинтеллект превратится в экзи­
стенциальную угрозу.

59


Эндрю Слоун

Нейросети лжи

Для Амодея не было более важного дела, чем предотвращение
того, чтобы сверхчеловеческий ИИ привел к катастрофическим
последствиям, включая вымирание человечества. Оба брата и се­
стра Амодеи поддерживали эффективный альтруизм (ЭА) - иде­
ологию, зародившуюся среди философов Оксфордского универ­
ситета и набирающую популярность в Кремниевой долине. Это
движение выступает за то, чтобы посвятить себя максимизации
добра в мире с помощью крайней рациональности и контринту­
итивной логики. Под влиянием Бострома движение рассматрива­
ет неавторизованный ИИ как главную экзистенциальную угрозу.
За два года до этого муж Даниэлы, Холден Карнофски, основал
некоммерческую организацию под названием Open Philanthropy,
чтобы жертвовать деньги, основываясь на принципах ЕА. Open
Phil стала одним из основных спонсоров исследований безопас­
ности ИИ, связанных с катастрофическими и экзистенциальны­
ми рисками, выделив более трехсот грантов на общую сумму 440
миллионов долларов к ноябрю 2024 года.
Этот экзистенциальный подход к безопасности ИИ, основан­
ный на философских мысленных экспериментах, столкнулся с
критикой, когда сообщество исследователей ИИ признало реаль­
ный вред от ИИ. Примерно в то же время, когда Амодей опубли­
ковал свою работу, ProPuWica выпустила влиятельное расследова­
ние под названием «Машинная предвзятость». В нем было пока­
зано, как алгоритмы системы уголовного правосудия США оши­
бочно относят чернокожих людей к группе повышенного риска по
сравнению с белыми людьми, имеющими больше судимостей. Это
разоблачение, а также растущая после 2016 года обеспокоенность
в отношении Больших Технологий из-за вреда, наносимого соци­
альными сетями, привели к всплеску исследований, посвященных
негативным социальным последствиям ИИ.
Дебора Раджи, исследователь ответственности ИИ в Кали­
форнийском университете в Беркли, оспаривает преобладающее

60


Цифровая диктатура начинается

внимание в исследованиях безопасности ИИ к теоретическому
ИИ-изгою и его экзистенциальным рискам. В работе 2020 года, на­
писанной в соавторстве в ответ на работу Амодея, она утверждает,
что действительно «безопасные» системы ИИ должны учитывать
их влияние на приватность, справедливость и экономику. В то
время как Амодей говорил о том, что ИИ вызывает «негативные
побочные эффекты» при достижении целей, например, робот-у­
борщик наносит ущерб имуществу, Раджи подчеркнула, что это
уже происходит. Стремление индустрии ИИ к созданию коммер­
ческих продуктов и AGI привело к значительным негативным по­
следствиям, таким как нарушение конфиденциальности при обу­
чении распознаванию лиц и ущерб окружающей среде от работы
центров обработки данных.
«Не только действия агента ИИ могут привести к побочным
эффектам», - написали она и ее соавторы. Они объяснили, что
базовый выбор дизайна в процессах создания и развертывания
моделей имеет последствия, выходящие за рамки решения од­
ной модели. В действительности создание систем искусствен­
ного интеллекта часто сопряжено со скрытыми человеческими
издержками.
В рамках OpenAI несколько исследователей, в том числе не­
сколько цветных женщин, призвали руководителей расширить
определение «безопасности ИИ», чтобы включить в него исследо­
вания таких вопросов, как дискриминационное влияние моделей
глубокого обучения. Однако руководители отнеслись к этому пре­
небрежительно, а один из них заявил: «Это не наша обязанность».
В мае 2016 года Амодей, который все еще работал в Google,
посетил офис OpenAI, чтобы проверить, как идут дела. OpenAI
недавно переехала из квартиры Брокмана в помещение над шоко­
ладной фабрикой в Мишн-дистрикт Сан-Франциско, старейшем
районе города с сильным латиноамериканским населением. Ис­
следователи тихо передвигались в носках.

61


Эндрю Слоун

Нейросети лжи

«Есть двадцать-тридцать человек в этой области, включая Ника
Бострома и автора статьи в Википедии, которые говорят, что цель
OpenAI - создать дружественный ИИ и поделиться его исходным
кодом во всем мире», - сообщил Амодей Альтману и Брокману,
как сообщается в The New Yorker.
«Мы не планируем выпускать весь наш исходный код, - сказал
Альтман, - но давайте не будем пытаться исправить ситуацию, по­
скольку это обычно только ухудшает ее».
«Но какова цель?» спросил Амодей.
«Наша текущая цель - сделать как можно лучше», - отве­
тил Брокман, отметив, что эта цель представляется несколько
неясной.
Через два месяца Амодей присоединился к компании, что­
бы возглавить исследования в области безопасности ИИ. Позже
Open Phil пожертвовал OpenAI 30 миллионов долларов, чтобы
обеспечить Холдену Карнофски место в совете директоров на три
года. В 2018 году по приглашению Брокмана Даниэла, первый ре­
крутер Stripe, перешла в OpenAI для создания команды в качестве
руководителя инженерного отдела и вице-президента по работе с
персоналом. Год спустя Даниэла пошутила о том, что у них с Брок­
маном долгая история, на что Брокман усмехнулся и выразил по­
желание Даниэле, чтобы когда они откроют OpenAI и он начнет
заниматься рекрутингом.
К концу 2020 года братья Амодеи были настолько обеспокоены
тем, что, по их мнению, Альтман и OpenAI отклонились от своей
первоначальной концепции, что решили основать другую лабора­
торию ИИ, Anthropic. Они забрали с собой ключевых сотрудни­
ков, что вызвало соперничество, повлиявшее на интенсивный за­
пуск ChatGPT. Карнофски вышел из состава совета OpenAI из-за
конфликта интересов, доработав свой срок. В список кандидатов,
предложенных им на замену, он включил свою бывшую сотрудни­
цу Хелен Тонер.

62


Цифровая диктатура начинается

Проблема заключалась в том, что OpenAI понятия не имела,
что делает. За год работы компания набрала отличную команду,
используя различные способы на конкурентном рынке талантов,
и поддерживала внутреннее волнение благодаря высокому уров­
ню сотрудников. Однако компания столкнулась с проблемами
в разработке четкой стратегии, и ее первоначальный импульс и
привлекательность начали угасать.
Список проектов был обширным и отражал различные под­
ходы в этой области. В них использовались роботы, видеоигры
и симуляторы виртуальных миров для обучения агентов с целью
расширения возможностей ИИ. Однако прогресс был ограничен,
а успешные попытки казались неоригональными. По словам Нихила Мишры, исследователя ИИ, стажировавшегося в OpenAI в
2017 году, в основных проектах не было существенных инноваций.
Брокман и Суцкевер столкнулись с трудностями на своих ру­
ководящих постах. Брокман сосредоточился на кодировании, а
Суцкевер постоянно спрашивал исследователей об их следующем
большом проекте, что создавало хаотичную и стрессовую атмос­
феру из-за отсутствия четкого управления и приоритетов . Уволь­
нения иногда происходили по выходным, и команда не знала об
этом до следующего понедельника. Лаборатория тратила много
денег, в основном на зарплату сотрудникам. В 2016 году OpenAI
выделила более 7 миллионов долларов из 11 миллионов долларов
на компенсации и льготы.
Маек терял терпение по мере того, как DeepMind получала
всемирное признание. В марте 2016 года ее программа AlphaGo
победила Ли Седоля, лучшего игрока в древнюю китайскую игру
Го. Маек выразил OpenAI беспокойство по поводу потенциально­
го влияния DeepMind на мир. Прямая трансляция игры в Южной
Корее собрала более двухсот миллионов зрителей. Год спустя ком­
пания Netflix выпустила популярный документальный фильм об
истории DeepMind.

63


Эндрю Слоун

Нейросети лжи

Маек регулярно посещал офис и требовал ускорения прогрес­
са, часто устанавливая невыполнимые сроки, что отражало его
стиль управления. Некоторые сотрудники считали эти требова­
ния необоснованными для непредсказуемой исследовательской
работы. На общем собрании Войцех Заремба, руководитель робо­
тотехники и один из основателей компании, рассказал о планах
своей команды по развитию робототехники. Единственным во­
просом Маска был: «Когда вы их сделаете?».
«Я не знаю, - сказал Заремба.
Маек ответил: «Ну, тогда у вас нет плана».
В марте 2017 года Брокман и Суцкевер начали разрабатывать
целенаправленную дорожную карту исследований для достиже­
ния AGI с помощью OpenAI. Их главным вопросом было: Что не­
обходимо для того, чтобы OpenAI достиг AGI и стал первым?
Суцкевер считает, что ключевым фактором, который позво­
лит OpenAI добиться значительного прогресса в развитии воз­
можностей ИИ, будет количество вычислительных ресурсов,
также известных как «вычисления». Его опыт участия в конкурсе
ImageNet показал, что увеличение количества вычислительных
ресурсов, а также больший объем данных и усовершенствован­
ные алгоритмы имеют решающее значение для обучения моде­
лей ИИ. Суцкевер считал вычислительные ресурсы самым важ­
ным фактором. Он считал, что масштабирование вычислений
до уровня человеческого мозга может привести к радикальному
развитию: AGI.
Объем вычислительной мощности зависит от трех факторов:
вычислительной мощности компьютерного чипа, общего количе­
ства чипов и продолжительности их работы. Индустрия компью­
терных чипов исторически удваивает производительность чипов
каждые два года благодаря исследованиям и разработкам, что из­
вестно как закон Мура. Этот закон, основанный на предсказании
соучредителя компании Intel Гордона Мура в 1960-х годах, задал

64


Цифровая диктатура начинается

темп инновациям в отрасли, чтобы оставаться конкурентоспо­
собными и актуальными.
Брокман и Суцкевер провели простой расчет, чтобы опреде­
лить, сколько времени потребуется, чтобы достичь уровня вычис­
лений, необходимого для ИИ масштаба мозга, на основе темпов
закона Мура. Ответ был неутешительным: это займет слишком
много времени.
Примерно в то же время Амодей и другой исследователь, Дэн­
ни Эрнандес, начали изучать ту же идею, но под другим углом.
Они построили график, показывающий количество вычислитель­
ных мощностей, использованных в прорывах ИИ с 2012 года. Они
обнаружили, что вычислительная мощность растет гораздо бы­
стрее, чем закон Мура. За последние шесть лет она удваивалась
каждые 3,4 месяца, что составляет 30 миллионов процентов.
Брокман назвал эту новую кривую удвоения законом OpenAI.
Для достижения цели OpenAI требовалось значительно больше
вычислительных мощностей. Руководство компании полагало,
что необходимо увеличить вычислительную мощность сайта ,
чтобы соответствовать новому закону. Компании, производящие
микросхемы, с большим вниманием отнеслись к закону Мура. Те­
перь руководство рассматривало закон OpenAI с таким же уров­
нем значимости.
Если они не могли дождаться закона Мура, им нужно было уве­
личить вычислительную мощность по-другому, добавив гораздо
больше чипов.
Чипы, необходимые OpenAI, были дорогими. Они известны
как графические процессоры (GPU) и изначально были разработа­
ны для быстрого графического рендеринга в компьютерах, напри­
мер для улучшения видеоигр с низкой задержкой и глянцевой гра­
фикой. Этот же дизайн отлично подходил для обучения моделей
ИИ, которые OpenAI намеревался создать, поскольку обе задачи
требуют одновременной обработки огромного количества чисел.

65


Эндрю Слоун

Нейросети лжи

Большая часть индустрии покупала графические процессоры
у одной компании - Nvidia, штаб-квартира которой находится в
Санта-Кларе. Nvidia производила лучшие GPU и создала CUDA
программную платформу для разработчиков ИИ, известную как
Compute Urnfied Device Architecture.
В 2017 году пользовательский сервер Nvidia с восемью лучши­
ми графическими процессорами стоил 150 ООО долларов. С уче­
том инфляции к 2023 году эта цена вырастет почти до 195 ООО
долларов. По прогнозам OpenAI's Law, в будущем для обучения
одной модели потребуются тысячи, если не десятки тысяч графи­
ческих процессоров. Стоимость электроэнергии для такого обу­
чения также значительно возрастет. OpenAI требовалось больше
финансирования, не просто 1 миллиард долларов, а миллиарды
долларов, чтобы поддерживать себя в ближайшие годы.
Организация столкнулась с риском потери финансовой ста­
бильности, что поставило под сомнение основную структуру
OpenAI для Брокмана и Суцкевера. Они задались вопросом, как
некоммерческая организация может поддерживать финансирова­
ние, необходимое для сохранения конкурентоспособности. Пер­
воначально они рассматривали возможность слияния со старта­
пом, производящим микросхемы. Однако летом 2017 года нача­
лись серьезные переговоры с Альтманом и Маском о возможном
преобразовании OpenAI в коммерческую организацию. Этот шаг
должен был привлечь инвесторов, желающих получить финансо­
вую выгоду. Несмотря на несколько недель переговоров, они вне­
запно закончились, так и не найдя решения. Если бы OpenAI ста­
ла коммерческой организацией, Альтман, который рассматривал
возможность баллотироваться на пост губернатора Калифорнии
и получал не очень теплые отзывы в фокус-группах, выразил за­
интересованность в том, чтобы стать генеральным директором.
Маек разделял желание получить полный контроль над лаборато­
рией и контрольный пакет акций.

66


Цифровая диктатура начинается

Оказавшись посередине, Суцкевер и Брокман практически
встали на сторону Альтмана. Они выступали за лидерство Маска,
но Альтман убедил Брокмана из-за их личных отношений и опасе­
ний по поводу ненадежности Маска. Маек, столкнувшись с внеш­
ним давлением, демонстрировал нестабильное поведение. Отда­
вать Маску полный контроль над AGI в случае успеха OpenAI ка­
залось рискованным. Убежденный Брокман уговорил Суцкевера,
который все еще не был уверен. В сентябре 2017 года Суцкевер
отправил электронное письмо Маску и Альтману от своего имени
и от имени Брокмана в последней попытке разрешить ситуацию.
«Элон: Мы очень хотим работать с тобой», - написал Суцкевер.
«Мы считаем, что наши шансы на успех в миссии будут самыми
высокими, если мы объединим усилия». Однако стремление Ма­
ска к тотальному контролю, похоже, противоречит изначально­
му духу OpenAI. «Вы беспокоитесь, что Демис может установить
диктатуру AGI. Мы разделяем это опасение. Поэтому неразумно
создавать структуру, которая позволит вам стать диктатором,
если вы того пожелаете».
«Сэм, когда мы с Грегом сталкиваемся с проблемами, ты всег­
да даешь проницательные и точные ответы», - сказал Суцкевер.
Однако действия Альтмана часто вызывали у них недоумение
по поводу его истинных убеждений и намерений. «Мы не знаем,
почему титул генерального директора имеет для вас такое зна­
чение», - заявил он. «Ваши объяснения разнятся, что затрудняет
понимание вашей истинной мотивации. Является ли достижение
AGI вашей главной целью? Как это согласуется с вашими полити­
ческими устремлениями? Как изменилось ваше мышление с тече­
нием времени?»
«У нас накопилось достаточно багажа, и мы считаем, что нам
очень важно встретиться и все обсудить», - говорится в заклю­
чении его письма. «Если все мы будем говорить правду и решать
проблемы, то компания, которую мы создадим, с большей вероят­

67


Нейросети лжи

Эндрю Слоун

ностью сможет противостоять тем сильным воздействиям, кото­
рые ей предстоит испытать».
Через десять минут Маек ответил: «Ребята, с меня хватит. Это
последняя капля». Он сообщил Суцкеверу и Брокману, что если
они по-прежнему хотят заниматься коммерческим бизнесом, то
должны делать это самостоятельно. В противном случае OpenAI
останется некоммерческой организацией. Маек заявил: «Я боль­
ше не буду финансировать OpenAI, пока вы не возьмете на себя
твердое обязательство остаться, иначе я просто глупо предостав­
ляю бесплатное финансирование стартапу». Через пятьдесят ми­
нут он добавил: «Чтобы прояснить ситуацию, это не ультиматум,
чтобы принять предыдущие обсуждения. Этот вариант больше не
доступен».
Альтман выразил свой энтузиазм по поводу некоммерческой
структуры на следующее утро. Он заверил Маска через Шивона
Зилиса, доверенного заместителя в Tesla и Neuralink. Зилис пере­
дал сообщение Альтмана Маску, отметив, что Альтман по-преж­
нему привержен идее некоммерческой структуры. Альтман при­
знался Зилесу, что в процессе работы он потерял доверие к Грегу и
Илье, считая их общение непоследовательным и порой незрелым.
Альтман также был обеспокоен тем, что Грег и Илья делились
слишком большой информацией с остальными членами OpenAI
во время переговоров, что, по его мнению, отвлекало команду.
Реальность такова, что сохранение OpenAI в качестве неком­
мерческой организации не решило бы ее финансовых проблем.
Брокману и Суцкеверу с трудом удавалось привлечь достаточный
капитал от потенциальных некоммерческих инвесторов. Непо­
стоянное участие Маска в финансировании также представляло
угрозу. Альтман искал варианты финансирования, чтобы умень­
шить зависимость OpenAI от Маска. Он связался с Ридом Хоф­
фманом, который предложил помощь в организации заработной

68


Цифровая диктатура начинается

платы и расходов сотрудников. Альтман изучил различные корпо­
ративные структуры , такие как общественно-полезная корпора­
ция, которую поддерживал Маек, чтобы в перспективе преобра­
зовать OpenAI в коммерческую организацию, сохранив при этом
ее миссию.
Срочность усугублялась постоянным беспокойством о том,
что OpenAI может в любой момент потерять своих ведущих ис­
следователей. Ранее, при мощной поддержке компании Маска,
OpenAI значительно повысила зарплаты своим некоммерческим
сотрудникам, чтобы предотвратить их уход. Конкуренция за та­
ланты обострилась, и в июне 2017 года Маек сам нанял одного
из ключевых ученых-основателей OpenAI, Андрея Карпати, что­
бы тот возглавил подразделение искусственного интеллекта Tesla.
OpenAI оказалась в невыгодном положении с точки зрения ком­
пенсации, так как не могла обеспечить справедливость, которую
многие технологические работники в районе залива считают не­
обходимой из-за высокой стоимости жизни.
Маек придумал решение финансовой проблемы OpenAI. В ян­
варе 2018 года Андрей Карпати сообщил Маску о доминирова­
нии Google в исследованиях ИИ. Карпати отметил, что работа
над передовым ИИ стоит дорого, и текущая модель финансиро­
вания OpenAI может не позволить ей эффективно конкурировать
с Google. Преобразование OpenAI в коммерческую организацию
могло бы помочь привлечь средства, но это отвлекло бы внима­
ние от основных исследований в области ИИ. Карпати предложил
лучший вариант: OpenAI может объединиться с Tesla, используя
технологии самодвижения Tesla для ускорения разработки пол­
ноценного решения для самодвижения. Такое сотрудничество
потенциально может увеличить доходы Tesla и покрыть высокие
вычислительные расходы OpenAI.
Маек переслал письмо Карпати Брокману и Суцкеверу, заявив:
«Андрей совершенно прав. Tesla - единственный путь, на котором

69


Эндрю Слоун

Нейросети лжи

можно надеяться на конкуренцию с Google. Однако шансы на ре­
альное соперничество с Google невелики, хотя и не невозможны».
К тому времени Альтман отказался от своих политических
амбиций и убедил Брокмана и Суцкевера, что он будет лучшим
руководителем. Маек, не желая больше публично ассоциировать­
ся с организацией, ушел с поста сопредседателя OpenAI, заявив:
«Я не останусь там, где мое влияние и время будут восприняты
не совсем верно». Альтман стал президентом некоммерческой
организации.
Для общественности OpenAI представила уход Маска как кон­
фликт интересов и умолчала о своем новом финансовом положе­
нии. Из 1 миллиарда долларов было получено только 130 милли­
онов долларов, причем менее 45 миллионов долларов - от Маска.
Будущее OpenAI зависело от умения Альтмана собирать средства,
чтобы возместить убытки и удовлетворить растущую потреб­
ность в капитале.
Маек объявил о своем решении уйти на общем собрании со­
трудников OpenAI. Многие сотрудники, не зная о драме на уров­
не руководства, почувствовали облегчение, но не были уверены в
будущем организации. Маек был ключевой фигурой в обществен­
ном имидже лаборатории. Во время встречи он подчеркнул важ­
ность приоритета безопасного AGI. Он отметил, что OpenAI, как
некоммерческая организация, скорее всего, не сможет достичь
этой цели. Вместо этого он планирует заняться этим в Tesla - ком­
пании с большими ресурсами и большими шансами на успех.
Один из стажеров усомнился в намерениях Маска, задавшись
вопросом, действительно ли это лучшее решение и изучил ли он
все альтернативные варианты. Разработка конкурента OpenAI в
Tesla может привести к конкуренции, основанной на получении
прибыли, и поставить под угрозу безопасное развитие AGI. Ста­
жер спросил: «Разве это не противоречит тому, что вы ранее гово­
рили, что не хотите делать?»

70


Цифровая диктатура начинается

Маек взорвался: «Ты осел! Я так много думал об этом, пере­
пробовал все. Вы не можете себе представить, сколько времени
я потратил на это», - сказал он. «Я действительно напуган этим
вопросом».
Позже стажер был награжден за свой героизм трофеем «Осел».
На следующий день после Рождества того года Маек снова на­
писал Альтману, Брокману и Суцкеверу.
Тема письма: Мне кажется, я должен повторить.
Я считаю, что OpenAI будет соответствовать DeepMind/Google
без существенных изменений в исполнении и ресурсах - это 0%, а
не 1%. Хотелось бы, чтобы было иначе.
Даже собрать несколько сотен миллионов будет недостаточно;
для этого нужны миллиарды в год немедленно, или забудьте об
этом.
Альтману нужно было быстро собрать средства.
OpenAI увеличила свою известность за счет демонстрацион­
ных проектов, призванных показать возможности лаборатории
широкой аудитории. Основное внимание они уделили проекту
по разработке ИИ-агента, способного побеждать лучших игроков-людей в сложной боевой стратегической видеоигре Dota 2.
Изначально OpenAI успешно создала агента, который превзо­
шел лучшего игрока-человека в матчах один на один. Следующей
целью было создание команды из пяти агентов, которая должна
была сразиться с лучшей в мире командой из пяти игроков-людей.
Осознанно или нет, но она повторяет подход DeepMind. По
игре Dota 2 был проведен глобальный чемпионат, который транс­
лировался в прямом эфире, демонстрируя исследования OpenAI
в явном сценарии «победа или поражение». DeepMind сместила
фокус на аналогичный проект, в котором лучшие человеческие
игроки играли в StarCraft II, что позволило потенциальным инве­
сторам OpenAI провести сравнение. Проект Dota 2, требующий

71


Эндрю Слоун

Нейросети лжи

больших вычислительных затрат, послужил тестом для долго­
срочной стратегии масштабирования лаборатории. Брокман, воз­
главивший начальную фазу проекта Dota 2, расширил свою коман­
ду и приступил к работе над ним.
Теперь не хватало только документального фильма.
Один из членов команды робототехников OpenAI взялся за
дело. Он приобрел дорогостоящее оборудование и начал снимать
команду Dota в офисе. Он создал сценарий и смонтировал отсня­
тый материал в трехчасовую сагу. Несмотря на его старания, ре­
цензенты OpenAI сочли проект ужасным. Тогда были наняты про­
фессионалы, которых Брокман частично финансировал из своего
кармана.
Альтман разработал план по привлечению денег, выбрав уни­
кальный подход, чтобы сбалансировать потребности в капитале
и миссию OpenAI. Вместо того чтобы использовать корпорации
с многочисленными правилами, он решил создать ограниченное
партнерство (LP) в качестве коммерческой организации для при­
влечения инвестиций и коммерциализации технологий OpenAI.
Это LP должно было ограничить доходность инвесторов и кон­
тролироваться некоммерческой организацией OpenAI. Преи­
мущество заключалось в том, что операционное соглашение LP
можно было составить таким образом, чтобы приоритет отдавал­
ся миссии, а не инвесторам, и в то же время ограничить контроль
акционеров, чтобы не допустить мажоритарного владения.
Альтман тщательно ознакомил сотрудников с предложени­
ем. Изначально OpenAI избегала стремления к прибыли, чтобы
защитить свою миссию. Однако для успешной работы лаборато­
рии требовался капитал, который некоммерческая организация
не могла привлечь. Удержание первоначальной структуры теперь
представляло больший риск для миссии. В конце концов, боль­
шинство людей, хотя и с неохотой, согласились с тем, что ограни­
ченное партнерство (LP) - лучший путь вперед.

72


Цифровая диктатура начинается

В апреле 2018 года OpenAI выпустила устав, который должен
был стать руководством к действию. В документе подчеркивалась
миссия лаборатории: «Цель OpenAI - обеспечить, чтобы искус­
ственный интеллект общего назначения (ИИОН) приносил поль­
зу всему человечеству». Чтобы достичь этой цели, OpenAI должна
оставаться на переднем крае развития возможностей ИИ и вы­
делять значительные ресурсы. Это может потребовать пересмо­
тра результатов исследований по соображениям безопасности.
OpenAI также определяет AGI как высокоавтономные системы,
превосходящие человека в решении наиболее экономически цен­
ных задач.
Тем летом команда по Dota начала побеждать в любительских
матчах и делиться своими результатами в технических СМИ.
Один из заголовков гласил: «ИИ OpenAI в Dota 2 дважды побе­
дил команду чемпионов мира по киберспорту». Во время кон­
ференции Allen & Company в Солнечной долине, штат Айдахо,
Альтман встретился с генеральным директором Microsoft Сатьей Наделлой. Это ежегодное мероприятие, прозванное «лет­
ним лагерем для миллиардеров», часто становится свидетелем
значительных корпоративных сделок. Альтман был готов сде­
лать свой ход.
Он предложил Наделле инвестировать в OpenAI, что вызвало
интерес главы компании. Однако Наделла засомневался, стоит
ли ему вкладывать деньги в стороннюю организацию, ведь в его
компании уже давно существует подразделение по исследованию
ИИ в рамках Microsoft Research. Вернувшись в Microsoft, он задал
этот вопрос своим старшим советникам.
«Microsoft Research и OpenAI - это организации, развивающие
технологии», - считает Сюэдун Хуанг, который был главным тех­
ническим директором Azure AI. Он предложил инвестировать в
обе организации.

73


Эндрю Слоун

Нейросети лжи

В течение шести месяцев OpenAI и Microsoft активно обсуж­
дали сделку. Альтман подготовил юридическую базу, ускорил со­
здание ограниченного партнерства и стал его генеральным дирек­
тором. Проект получил внутреннее название Oregon Trail. Для со­
хранения секретности коммерческая организация была также за­
регистрирована под псевдонимом SummerSafe LP. Название было
вдохновлено эпизодом мультсериала «Рик и Морти», в котором
герои Рик и Морти оставляют Саммер в другой вселенной и по­
ручают своему автомобилю «обеспечить безопасность Саммер».
Машина относится к этому серьезно, используя экстремальные
защитные механизмы, в том числе причиняя вред тем, кто при­
ближается к ней. Эта отсылка подчеркивает потенциальную опас­
ность ии.
В начале 2019 года офис OpenAI посетило высшее руководство
Microsoft. Первым пришел Кевин Скотт, главный технолог гиган­
та, которому очень нравился стартап. За ним последовал К р е ^
Манди, старший советник Наделлы, который более двадцати лет
входил в руководство Microsoft, занимая должность директора
по исследованиям и стратегии. Билл Гейтс, известный своей сдер­
жанностью, также присутствовал и посмотрел серию демонстра­
ционных роликов. Большинство сотрудников не знали об участии
Microsoft. Альтман проинструктировал небольшую команду, ра­
ботавшую над сделкой, чтобы информация о потенциальных ин­
вестициях была ограничена.
Примерно в то же время Альтман начал сталкиваться с про­
блемами в УС. После того как он возглавлял организацию в тече­
ние пяти лет, выросли опасения, что Альтман сосредоточился на
собственных проектах, а не на потребностях УС. Слишком много
времени он тратил на переговоры с OpenAI вместо того, чтобы
консультировать стартапы УС, что только усугубляло ситуацию.
Некоторые считали, что Альтман извлекает личную выгоду, инве­
стируя в компании УС через свой фонд Hydrazine и не внося при

74


Цифровая диктатура начинается

этом значительного вклада. Джессика Ливингстон, обеспокоенная
его отсутствием, посоветовала Альтману уйти с поста президента
УС. Альтман согласился. В начале 2019 года Пол Грэм, уехавший
на пенсию в Великобританию, прилетел в Сан-Франциско, чтобы
окончательно утвердить это решение.
Альтман публично заявил об изменениях 8 марта 2019 года,
когда он принимал сенатора Шумера. На сайте УС он объявил,
что переходит с поста президента УС на пост председателя, что­
бы больше сосредоточиться на OpenAI. Вскоре после этого, 11
марта, Брокман и Суцкевер представили компанию OpenAI LP,
главным управляющим которой стал Альтман. СМИ представи­
ли этот шаг Альтмана как стратегический шаг в карьере, подчер­
кнув его новую роль в качестве председателя УС, хотя офици­
ально он еще не вступил в эту должность. The Wall Street Journal
сообщила, что Альтман предложил идею партнерству УС без их
согласия и позже отредактировал запись в блоге, чтобы убрать
упоминание о себе.
В OpenAI новый титул Альтмана формализовал роль, которую
он играл после ухода Маска. Когда Альтман занял этот пост, мно­
гие сотрудники почувствовали облегчение. Его спокойная манера
поведения была приятным изменением по сравнению с интенсив­
ностью Маска. Альтман также решил проблемы с руководством
Брокмана и Суцкевера, пригласив тренера, проведя обучение ме­
неджеров и назначив более высокопоставленных руководителей.
Он нанял Брэда Лайткэпа на должность финансового директора,
повысил Боба Макгрю до вице-президента по исследованиям и
привлек Миру Мурати для контроля за стратегией и исследовани­
ями в области аппаратного обеспечения.
С образованием OpenAI LP большинство сотрудников уволи­
лись из некоммерческой организации и подписали новые контрак­
ты с долевым участием в некоммерческой организации. Исключе­
ние составили иностранные сотрудники с визами, привязанными

75


Эндрю Слоун

Нейросети лжи

к некоммерческой организации. Структура зарплат увязывала
вознаграждение не только с инженерным опытом и направлением
исследований, но и с соответствием уставу. Сотрудники третьего
уровня должны были понимать и усваивать устав OpenAI, а со­
трудники пятого уровня должны были следить за тем, чтобы все
проекты, над которыми они работали, соответствовали уставу .
Седьмой уровень отвечал за поддержание и улучшение устава, а
также за привлечение к ответственности других сотрудников ор­
ганизации. Руководители также создали документ FAQ, чтобы от­
ветить на все оставшиеся вопросы. Один из вопросов звучал так:
«Могу ли я доверять OpenAI?». Ответ на него звучал так: «Да».
В более широком технологическом мире переход OpenAI вы ­
звал обвинения в том, что лаборатория отказывается от своих
первоначальных обещаний. Первоначальные условия партнер­
ства с ограниченной ответственностью гласили, что доходность
первого раунда инвесторов будет ограничена 100-кратным раз­
мером их инвестиций. OpenAI назвала такую структуру «компа­
нией с ограниченной прибылью». На сайте Hacker News один из
пользователей поставил под сомнение значение этого предела,
подчеркнув, что инвестиции в размере 10 миллионов долларов
будут ограничены 1 миллиардом долларов, что кажется неограни­
ченным, если только компания не достигнет рыночной стоимости
уровня FAANG (имеется в виду Facebook, Apple, Amazon, Netflix и
Google).
Брокман ответил под своим именем пользователя gdb: «Мы
считаем, что если мы создадим AGI, то получим значительно
больше прибыли, чем любая нынешняя компания».
Другой пользователь продолжил, заявив, что ранние инвесто­
ры в Google получили 20-кратную прибыль на свои вложения.
Сейчас стоимость Google оценивается в 750 миллиардов дол­
ларов. Пользователь задался вопросом о противоречии между
стремлением к корпоративной структуре, которая значительно

76


Цифровая диктатура начинается

превосходит Google, и нежеланием концентрировать власть, про­
цитировав устав. Они спросили: «Что такое власть, если не нако­
пление ресурсов?»
Первоначальные инвестиции в LP составили более 120 милли­
онов долларов. В том числе 60 миллионов долларов от некоммер­
ческой организации OpenAI, 10 миллионов долларов от УС и по
50 миллионов долларов от Khosla Ventures и благотворительного
фонда Хоффмана. Изначально Хоффман не решался инвестиро­
вать в OpenAI больше из-за отсутствия продукта или рыночного
плана. Однако позже он согласился возглавить раунд после того,
как Альтман заверил его, что это подтвердит стремление OpenAI
построить прибыльный бизнес.
Тем временем Microsoft продолжала размышлять. Наделла,
Скотт и другие руководители Microsoft уже были согласны на пер­
воначальные инвестиции, за исключением Билла Гейтса, который
был единственным сторонником.
Для Гейтса Dota 2 и робототехника не были интересны. Коман­
да робототехников сделала роботизированную руку, которая ме­
тодом проб и ошибок научилась решать кубик Рубика, и получила
положительные отзывы. Гейтс не видел в этом пользы. Он хотел,
чтобы модель искусственного интеллекта понимала книги, науч­
ные концепции и отвечала на исследовательские вопросы.
У OpenAI был только один проект, отвечающий этим крите­
риям: большая языковая модель под названием GPT-2, способная
генерировать текст, похожий на человеческий. В феврале того же
года OpenAI сделала смелое заявление для прессы о том, что эта
модель, после ее дальнейшего развития, может представлять зна­
чительную угрозу. Она предупредила, что авторитарные режимы
или террористические группировки могут использовать модель
для масштабного распространения ложной информации. Это мо­
жет наводнить интернет низкокачественным контентом, что за­

77


Эндрю Слоун

Нейросети лжи

труднит поиск достоверной информации. OpenAI решила пойти
по этическому пути и не выпускать полную версию модели, в ко­
торой было 1,5 миллиарда параметров, что говорит о ее размере
и сложности. Вместо этого они выпустили уменьшенную версию,
составляющую менее одной десятой от первоначального размера,
чтобы продемонстрировать возможности, о. которых общество
должно знать. Эта уменьшенная версия могла генерировать не­
сколько предложений за раз, но часто выдавала нелогичные по­
следовательности и повторяющийся контент.
GPT-2 с трудом справлялся с научными концепциями, но мог
обобщать документы и отвечать на вопросы. Исследователи
OpenAI полагали, что обучение более крупной модели на боль­
шем количестве данных для выполнения задач, приближенных к
потребностям Гейтса, может изменить его мнение. В апреле 2019
года команда исследователей представила Гейтсу в Сиэтле более
совершенную модель GPT-2. После демонстрации Гейтс был до­
статочно убежден, чтобы сделка состоялась.
На одной из последующих встреч Альтман заявил, что
Microsoft - идеальный инвестор и партнер для OpenAI. Microsoft
располагала необходимыми ресурсами и разделяла те же ценно­
сти, что и OpenAI. OpenAI в общих чертах договорилась о том,
что нужно предоставить Microsoft для коммерциализации без
особых компромиссов. Альтман охарактеризовал это как очень
выгодное соглашение.
Для Microsoft инвестиции были практическими. Достигнет
ли OpenAI уровня AGI, их не волновало. OpenAI был на перед­
нем крае, и ранние инвестиции могли сделать Microsoft лиде­
ром в области ИИ, как Google. В середине июня Скотт написал
письмо Наделле и Гейтсу, в котором рассказал об амбициозной
работе OpenAI, DeepMind и Google Brain. Он упомянул, как их
амбиции повлияли на различные аспекты - от проектирования
центров обработки данных до фреймворков для про^аммирова-

78


Цифровая диктатура начинается

ния. Microsoft отстала во многих областях, не сумев сравниться
с языковыми моделями Google и не имея достаточной облачной
платформы Azure. На то, чтобы наверстать упущенное, могут
уйти годы, и он выразил глубокую озабоченность.
Наделла ответил на это в тот же день, убрав Гейтса и добавив
финансового директора Microsoft Эми Худ. Он похвалил элек­
тронное письмо за объяснение причин принятого решения и
подчеркнул важность того, чтобы команда разработчиков инфра­
структуры следовала им.
Месяц спустя, 22 июля 2019 года, Microsoft объявила о своих ин­
вестициях в размере 1 миллиарда долларов с доходностью в 20 раз.

Глава 3
Нервный центр
Я приехал в офис OpenAI 7 августа 2019 года, спустя две не­
дели. Лаборатория переехала в отдельное здание рядом с шоко­
ладной фабрикой на Восемнадцатой и Фолсом-стрит в Сан-Фран­
циско. На сером экстерьере здания красовалась надпись, указыва­
ющая на его историческое значение как здания первопроходцев, в
котором ранее располагалась фабрика Pioneer Trunk Factory. Маек
арендовал это здание три года назад через одну из своих компа­
ний. Интерьер был переделан из офисного помещения, которое
в основном использовалось компанией Stripe. OpenAI делила по­
мещение с другим предприятием Маска, Neuralink, компанией,
специализирующейся на интерфейсах «мозг-машина».
Я вспотел, пробираясь через район Мишн, видя, как старые такерии сменяются новыми кафе и избегая растущего числа бездо­
мных. При входе меня встретил прохладный воздух. За стойкой
охраны фойе открылось в зал, где солнечный свет проникал через

79


Эндрю Слоун

Нейросети лжи

окна, освещая деревянные потолки и уютные диваны. Справа на­
ходился кафетерий, где питались сотрудники, а на полках стояли
настольные игры и книги.
В Кремниевой долине дизайн офиса - это своеобразная валюта,
демонстрирующая уверенность в финансовом будущем компании
и привлекающая лучшие кадры. В 2021 году OpenAI отремонтиро­
вала два соседних здания, потратив 10 миллионов долларов за два
года на модернизацию более тридцати тысяч квадратных футов.
Первое здание было известно как Pioneer Building, а второе, быв­
шая майонезная фабрика, получило прозвище Мауо. Олтман руко­
водил дизайном офиса Мауо, заменив промышленную металличе­
скую лестницу на центральную часть из дерева и камня и заменив
кожаные кресла за 2 ООО долларов на бразильские дизайнерские
шезлонги стоимостью более 10 ООО долларов. Он добавил библио­
теку Майо с деревянными полками и персидским ковром, вдохно­
вившись парижским книжным магазином и учебным помещением
Стэнфордского университета. Изначально Альтман рассматривал
вариант плавающего водопада, но остановился на бурлящих камен­
ных фонтанах, окруженных растениями, расположенных возле ди­
ванов, свисающих с потолка и каскадом ниспадающих по стенам.
За пределами обоих офисов в течение двух лет пандемия усугу­
била джентрификацию в эпицентре технологической индустрии.
Закрывались латиноамериканские предприятия, росла насиль­
ственная преступность, а возле здания «Пионер» появились пала­
точные городки из-за кризиса бездомных.
Здесь, в окружении теплого света и разбросанных на столах
журналов, можно было легко уйти в более спокойную реальность.
Позже одна из сотрудниц описала это как типичный опыт в ком­
пании: ощущение, будто попадаешь в другой мир. Только когда
она уходила, она возвращалась в реальность.
Брокман, которому на тот момент был тридцать один год, глав­
ный технолог OpenAI и будущий президент компании, спустился

80


Цифровая диктатура начинается

по лестнице, чтобы поприветствовать меня. Он пожал мне руку с
неуверенной улыбкой и сказал: «Мы еще никогда не предоставля­
ли кому-то такой уровень доступа».
В то время лишь немногие люди за пределами сообщества
исследователей ИИ знали об OpenAI. Будучи репортером М !Т
Technology Review, специализирующимся на растущей области ис­
кусственного интеллекта, я внимательно следил за его развитием.
До этого года OpenAI оставалась в стороне от исследований в
области ИИ. У нее была смелая идея, что AGI может быть достиг­
нут в течение десятилетия, в чем большинство экспертов, не явля­
ющихся специалистами OpenAI, сомневались. Многие в этой об­
ласти критиковали ее за чрезмерное финансирование, отсутствие
четкого направления и большие инвестиции в маркетинговые ис­
следования, которые другие считали неорииинальными. Некото­
рые также завидовали ей. Несмотря на то, что OpenAI является
некоммерческой организацией, она заявила, что не ставит перед
собой цель коммерциализации. Это было уникальное интеллекту­
альное пространство, свободное от ограничений и приветствую­
щее нестандартные идеи.
За шесть месяцев до моего визита в OpenAI произошли зна­
чительные изменения. Сначала она вызвала замешательство, не
выпустив GPT-2 и похваставшись этим. Затем она удивила мно­
гих, назначив Альтмана генеральным директором после его ухода
из УС и введя новую модель «capped-profit». Я планировал свой
визит, когда OpenAI объявила о партнерстве с Microsoft, предо­
ставив Microsoft приоритет на использование технологий OpenAI
исключительно в Azure, своей облачной платформе.
Каждое новое заявление вызывало споры, домыслы и внима­
ние, выходящее за рамки технологической отрасли. Когда я и мои
коллеги следили за развитием компании, было сложно полностью
осознать значение происходящих событий. Очевидным было то,
что OpenAI приобретает все большее влияние на исследования в

81


Эндрю Слоун

Нейросети лжи

области ИИ и формирует представление политиков об этой тех­
нологии. Решение лаборатории преобразоваться в частично ком­
мерческую организацию повлияет на ее влияние в промышленно­
сти и правительстве.
Однажды поздно вечером мой редактор посоветовал мне на­
писать Джеку Кларку, директору по политике OpenAI. Я уже
общался с ним раньше. Я упомянул, что буду в городе в течение
двух недель, и предложил написать очерк. Кларк направил меня
к руководителю отдела коммуникаций, который подтвердил, что
OpenAI готова вновь предстать перед публикой. Мне дали три
дня на интервью с руководством и погружение в компанию.
Мы с Брокманом и Суцкевером сидели в стеклянной комнате
для совещаний. Они сидели вместе за длинным конференц-сто­
лом, каждый играл свою роль. Брокман, кодер и исполнитель, на­
клонился вперед, стремясь произвести впечатление, а Суцкевер,
исследователь и философ, откинулся в кресле, расслабившись и
отстранившись.
Я открыл ноутбук и пролистал свои вопросы. Я начал с того,
что изложил миссию OpenAI по созданию полезных AGI. Я задал
вопрос, почему миллиарды долларов тратятся на эту проблему, а
не на что-то другое.
Брокман энергично кивал головой, привычно отстаивая пози­
цию OpenAI. Он объяснил: «Мы уделяем приоритетное внимание
разработке AGI, потому что считаем, что они могут решать слож­
ные проблемы, не под силу человеку».
Он привел два примера, которые стали догмой среди верую­
щих в AGI: изменение климата и медицина. Он задался вопросом,
как решить суперсложную проблему изменения климата и как
улучшить здравоохранение в США, предоставляя лучшее лечение
по более низкой цене.
В последнем случае он начал рассказывать историю о своем
друге с редким заболеванием, который недавно прошел через из­

82


Цифровая диктатура начинается

нурительный процесс консультаций с различными специалиста­
ми, чтобы диагностировать свою проблему. AGI объединит все
эти специальности, чтобы таким людям, как его друг, не приходи­
лось тратить столько энергии и испытывать такое же разочарова­
ние, чтобы получить диагноз.
«Почему для этого нам понадобился AGI, а не AI?» спросил я.
Это было важное различие. Термин AGI, который когда-то был
ограничен менее популярным разделом технологического слова­
ря, недавно стал более широко использоваться, во многом благо­
даря OpenAI. Согласно OpenAI, AGI представляет собой высшую
точку исследований в области ИИ: программное обеспечение с
тем же уровнем сложности, ловкости и креативности, что и че­
ловеческий разум, способное сравняться или превзойти человека
в выполнении большинства экономически ценных задач. Ключе­
вое слово здесь - теоретический. С самого начала исследований
в области ИИ, несколько десятилетий назад, не утихали споры о
том, смогут ли кремниевые чипы с их двоичным кодом когда-ли­
бо повторить сложность мозга и других биологических процес­
сов, способствующих развитию интеллекта. До сих пор нет убе­
дительных доказательств такой возможности, не говоря уже об
этических спорах о том, стоит ли вообще заниматься подобными
технологиями.
ИИ, с другой стороны, был термином дня, обозначающим
нынешнюю технологию и будущую версию, достижимую путем
усовершенствования существующих возможностей. Эти возмож­
ности, основанные на мощном подборе шаблонов с помощью ма­
шинного обучения, нашли многообещающее применение в смяг­
чении последствий изменения климата и здравоохранении.
Летом того же года группа исследователей, поддержанная не­
которыми из самых известных ученых в этой области, создала
новую организацию под названием Climate Change AI. Ее целью
стало содействие использованию методов и моделей ИИ для эф­

83


Эндрю Слоун

Нейросети лжи

фективного решения проблем, связанных с климатом. В доку­
менте, опубликованном на сайте , организация выделила десять
категорий задач, для решения которых подходят существующие
возможности машинного обучения. Среди них - повышение эф­
фективности зданий, оптимизация распределения нагрузки на
электросети для использования большего количества возобнов­
ляемых источников энергии, поиск новых материалов для произ­
водства и хранения энергии, а также разработка цемента и стали с
низким содержанием углерода.
В декабре компания Climate Change Al провела оживленную
встречу на NeurlPS, ежегодной конференции по исследовани­
ям в области ИИ. На следующий день после этого другая группа
организовала в комнате размером с футбольное поле семинар с
большим количеством посетителей, посвященный машинному
обучению для исследований в области здравоохранения. В докла­
дах и плакатах были представлены различные приложения, та­
кие как использование компьютерного зрения для обнаружения
ранних признаков таких заболеваний, как болезнь Альцгеймера,
на медицинских изображениях и использование распознавания
речи для помощи пациентам, испытывающим трудности с речью.
Этот периодически проводимый семинар, на котором особое вни­
мание уделялось сотрудничеству с экспертами в области здраво­
охранения и клиницистами, спустя два года был преобразован в
собственную организацию под названием Machine Learning for
Health.
Исследователи из обеих организаций рассказали, что главной
проблемой в этих областях были не технические ограничения, а
убеждение талантливых ученых сосредоточиться на проблемах,
требующих простых решений машинного обучения, а не новей­
ших передовых методов. Кроме того, они столкнулись с трудно­
стями в поиске политической воли для внедрения этих решений
по всему миру. Исследователи ИИ для борьбы с изменением кли­

84


Цифровая диктатура начинается

мата заявили в своем документе, что технологии, способные ре­
шить проблему изменения климата, существуют уже много лет, но
до сих пор не получили широкого распространения в обществе.
Они надеются, что ИИ поможет сократить расходы на борьбу с
изменением климата, но подчеркивают, что решение о принятии
мер должно принять и человечество.
Вернувшись в конференц-зал, Суцкевер вступил в разговор,
заявив, что узким местом в решении сложных глобальных задач
является медленная коммуникация и темп работы людей, а также
проблемы со стимулами. Он подчеркнул, что AGI, представляю­
щая собой большую сеть интеллектуальных компьютеров, будет
работать по-другому, что позволит быстро передавать результаты
медицинской диагностики между ними.
Мне показалось, что это намекает на то, что цель AGI - за­
менить человека. Позже, когда мы остались наедине, я спросил
Брокмана, не это ли имел в виду Суцкевер.
«Нет, - быстро ответил Брокман, - это одна вещь, которая дей­
ствительно важна. Какова цель технологии? Зачем она здесь? За­
чем мы ее создаем? Мы создаем технологии уже тысячи лет, вер­
но? Мы делаем это потому, что они служат людям. AGI не будет
отличаться от этого - не так, как мы себе это представляем, не так,
как мы хотим это построить, не так, как мы думаем, это должно
происходить».
Он признал, что технологии всегда уничтожали одни рабочие
места и создавали другие. Задача OpenAI - создать AGI, который
обеспечит «экономическую свободу» и позволит людям «жить ос­
мысленной жизнью» в этой новой реальности. В случае успеха это
позволит отделить необходимость работы от выживания.
«Я считаю, что это очень красиво», - сказал он.
Во время нашей встречи с Суцкевером Брокман напомнил мне
о более широкой картине. Он сказал: «Наша роль не в том, чтобы
определить, будет ли построен AGI». Это был распространенный

85


Эндрю Слоун

Нейросети лжи

аргумент в Кремниевой долине - фактор неизбежности. Он под­
черкнул, что траектория движения задана, но мы можем повлиять
на начальные условия ее создания.
«Что такое OpenAI?» - продолжил он, - «Какова наша цель? Что
мы действительно пытаемся сделать? Наша миссия заключается
в том, чтобы AGI приносил пользу всему человечеству. И способ,
которым мы хотим это сделать, - создать AGI и распределить его
экономические преимущества».
Его тон был фактическим и окончательным, как будто он отве­
тил на все мои вопросы. Однако мы каким-то образом вернулись
к тому, с чего начали.
Моя беседа с Брокманом и Суцкевером шла по кругу, пока че­
рез сорок пять минут у нас не закончилось время. Я безуспешно
пытался получить более конкретные сведения о том, что они пы­
таются создать. Они объяснили, что по своей природе не могут
точно знать, что это будет, но уверены, что это будет полезно.
В какой-то момент я попробовал применить другой подход, по­
просив их привести примеры отрицательных сторон технологии.
Это был ключевой аспект мифологии основания OpenAI: лабора­
тория должна была разработать полезные AGI до того, как другие
создадут вредные версии.
Брокман попытался ответить на этот вопрос, упомянув
deepfakes. Он выразил неуверенность в том, что мир выигрывает
от их использования.
Я предложил свой собственный пример: Обсуждая проблему
изменения климата, мы должны учитывать и влияние ИИ на окру­
жающую среду. Недавнее исследование Массачусетского универ­
ситета в Амхерсте выявило тревожные данные о значительных и
все возрастающих выбросах углекислого газа в результате обуче­
ния все более крупных моделей ИИ.
«Это было «неоспоримо», - сказал Суцкевер. Окупаемость сто­
ила того, потому что AGI, помимо всего прочего, компенсирова­

86


Цифровая диктатура начинается

ла бы экологические издержки», - сказал он, не став приводить
примеры.
«Безусловно, очень желательно, чтобы центры обработки дан­
ных были как можно более экологичными», - добавил он.
«Без вопросов, - проворчал Брокман.
«Центры обработки данных - крупнейшие потребители элек­
троэнергии», - подчеркнул Суцкевер, демонстрируя свою осве­
домленность и озабоченность этой проблемой.
«Во всем мире она составляет 2 процента», - предложил я.
«Разве биткойн не составляет около 1 процента?» спросил
Брокман.
«Вот это да!» воскликнул Суцкевер внезапно, после сорока ми­
нут разговора, который по ощущениям был похож на спектакль.
Суцкевер пообщался с репортером New York Times Кейдом Мет­
цем по поводу его книги «Создатели гениев», обсудив стремитель­
ный рост ИИ. Он упомянул, что вскоре Земля может быть покрыта
центрами обработки данных и электростанциями, сравнив это с
природным явлением. AGI и необходимые центры обработки дан­
ных были сочтены слишком важными, чтобы не присутствовать.
Я снова попытался добиться подробностей. «Таким образом,
OpenAI идет на большой риск, делая ставку на то, что им удаст­
ся создать полезный AGI для борьбы с глобальным потеплением,
прежде чем потенциально усугубить ситуацию».
«Я бы не стал заходить слишком далеко в эту кроличью нору, поспешно вмешался Брокман. «Мы думаем об этом так: Мы нахо­
димся на подъеме прогресса ИИ. Это больше, чем OpenAI; это вся
область. Я считаю, что общество от этого только выиграет».
«В день, когда мы объявили о сделке, - сказал он, говоря о но­
вых инвестициях Microsoft в размере 1 миллиарда долларов, - ры­
ночная стоимость Microsoft выросла на 10 миллиардов долларов.
Люди верят в положительный эффект от инвестиций даже в кра­
ткосрочной перспективе».

87


Нейросети лжи

Эндрю Слоун

Стратегия OpenAI была очень проста: идти в ногу с прогрес­
сом. «Это стандарт, которого мы должны придерживаться. Мы
должны продолжать делать успехи, чтобы оставаться на верном
пути».
Позже Брокман повторил, что главная проблема работы в
OpenAI заключается в том, что никто толком не знает, как будет
выглядеть AGI. Однако их задача, как исследователей и инжене­
ров, - продолжать двигаться вперед, чтобы постепенно раскрыть
форму технологии.
Он говорил как Микеланджело, как будто AGI уже существо­
вала в мраморе, который он высекал, и все, что ему нужно было
сделать, это отколоть кусочек, пока она не проявилась.
Планы изменились: я должен был пообедать с сотрудниками в
кафетерии, но мне нужно было выйти из офиса. Брокман сопро­
вождал меня. Мы прошли небольшое расстояние до кафе под от­
крытым небом, которое нравилось сотрудникам.
Это стало общей темой во время моего визита: скрытые этажи,
пропущенные встречи, исследователи, выясняющие у руководи­
теля отдела коммуникаций, как не нарушить политику раскрытия
информации. Позже я узнал, что Джек Кларк предупредил сотруд­
ников в Slack, чтобы они не разговаривали со мной вне одобрен­
ных бесед. Охранник получил мою фотографию и велел следить
за мной, если я появлюсь без предупреждения. Такое поведение
было странным, особенно учитывая стремление OpenAI к про­
зрачности. Это заставило меня задуматься о том, что они скры­
вают, учитывая, что их исследования в конечном итоге должны
принести пользу обществу.
Во время обеда и в последующие дни я углубился в изучение
причин, по которым Брокман стал одним из основателей OpenAI.
Он увлекся идеей воссоздания человеческого интеллекта еще в
подростковом возрасте. Его интерес вызвала знаменитая работа

88


Цифровая диктатура начинается

британского математика Алана Тьюринга, особенно раздел под
названием «Игра в имитацию». Этот раздел послужил вдохно­
вением для названия голливудского фильма 2014 года о жизни
Тьюринге. В работе был поставлен вопрос «Могут ли машины
мыслить?» и представлен тест Тьюринге - показатель интеллекта
машины, основанный на ее способности общаться с человеком, не
выдавая, что это машина. Эта история стала обычной отправной
точкой для тех, кто занимается ИИ. Заинтригованный, Брокман
создал в Интернете игру «Тест Тьюринге» , которая набрала около
1500 просмотров. Этот опыт помог ему понять, что работа в этой
области - его страсть.
В то время его откровение пришло слишком рано. ИИ еще не
был готов к массовому использованию, а он не хотел изолировать
себя в лаборатории для исследований. Вместо этого он пришел в
компанию Stripe, радуясь возможности создать компанию и про­
дукты для реальных пользователей. В Stripe Брокман приобрел
репутацию человека с исключительной производительностью ко­
дирования. Он был «10-кратным инженером» - так в Долине на­
зывают кодера, который решает проблемы в десять раз быстрее
других. С навыками межличностного общения у него были боль­
шие проблемы. Будучи техническим директором, он предпочитал
кадить, а не управлять. Попытавшись сосредоточиться на управ­
лении людьми, он искал способы делегировать исполнительные
задачи и тратил большую часть своего времени на программиро­
вание. Хотя он заботился о своих коллегах, иногда он совершал
социальные промахи, которые ставили их в неловкое положение.
Например, однажды он пригласил коллегу на свидание и незамед­
лительно сообщил об этом всей компании для прозрачности, что
бывший коллега счел странным. «Я верю, что его намерения были
благими, но это было довольно необычно», - заметил коллега.
В 2015 году, когда искусственный интеллект достиг больших
успехов, Брокман ушел из Stripe, чтобы реализовать свои первона­

89


Эндрю Слоун

Нейросети лжи

чальные амбиции. Его нежелание управлять или следовать стан­
дартным процессам становилось все более сложным по мере ро­
ста Stripe. Он заявил о своей преданности достижению AGI, даже
согласившись работать уборщиком. Четыре года спустя он провел
гражданскую церемонию в офисе OpenAI, тде на стене из цветов
был выложен логотип лаборатории. Церемонию вел Суцкевер, а
кольца в проходе держала роботизированная рука, используемая
для исследований, похожая на дозорного из постапокалиптичес к о г о будущего.
«По сути, я хочу работать над AGI до конца своих дней», - ска­
зал мне Брокман.
Он подходил ко всему с полной самоотдачей, ориентируясь на
детали. Он работал подолгу и даже всю ночь, полностью погру­
жаясь в свои задачи. Даже в свободное от работы время он стре­
мился к самосовершенствованию, читая книги по ораторскому
искусству и ведению переговоров - навыки, которые, по его мне­
нию, могли бы пригодиться миссии OpenAI. Он немного стеснял­
ся признаться, что ему также нравится читать для удовольствия,
особенно научно-фантастические эпопеи, такие как трилогия
«Проблема трех тел» китайского писателя Лю Цысиня и серия
«Основание» Айзека Азимова.
Для сотрудников ero непоколебимая сосредоточенность была
одновременно и благословением, и проклятием. Он уделял внима­
ние каждой детали, тратя часы на то, чтобы помочь командам прео­
долеть препятствия в кодировании. Он неустанно двигал прогресс,
работая день и ночь, чтобы быстрее достичь поставленных целей.
Однако некоторые сотрудники считали, что он слишком зациклива­
ется на деталях, теряя из виду общую картину. Иногда он зацикли­
вался на проблеме, не решаясь оценить, изменилась ли ситуация.
Он был склонен заниматься микроменеджментом и брать на себя
выполнение задач, если кодирование шло медленно. Работать с ним
было непросто, что приводило многих к выгоранию.

90


Цифровая диктатура начинается

Своим успехом OpenAI во многом обязана бывшему инженеру,
тесно сотрудничавшему с Брокманом. Однако если бы все зави­
село только от него, то, скорее всего, все пошло бы наперекосяк.
Грегу не хватает дальновидности, как Сэму Альтману; он просто
ищет сложные задачи для решения и стремится продемонстриро­
вать свой превосходный интеллект.
«Что им двигало?» спросил я Брокмана.
«Каковы шансы, что преобразующая технология появится при
вашей жизни?» - возразил он.
Он был уверен, что он и собранная им команда обладают уни­
кальными возможностями для осуществления этих преобразо­
ваний. Он сказал: «Меня привлекают проблемы, которые будут
иметь другой исход, если я не приму в них участие».
Брокман хотел быть не просто уборщиком, он стремился воз­
главить AGI. Он был полон энергии и жаждал признания, которое
определит историю. Он хотел, чтобы однажды люди рассказывали
о его истории с тем же благоговением и восхищением, которые он
испытывал, говоря о великих новаторах, предшествовавших ему.
За год до нашего разговора он поделился с группой молодых
технологических предпринимателей на выездном семинаре в
Лейк-Тахо, что главные технологические директора не очень из­
вестны. Он попросил их назвать известного технического дирек­
тора, и они не смогли. Он сделал свое дело.
В 2022 году он стал президентом OpenAI.
Во время наших бесед Брокман заверил меня, что основная
миссия OpenAI осталась неизменной, несмотря на структурные
изменения. Он отметил, что для новых инвесторов миссия важнее
прибыли, и это показалось ему замечательным.
Теперь у OpenAI есть необходимые ресурсы, чтобы следовать
Закону OpenAI в долгосрочной перспективе, что, как подчеркнул
Брокман, крайне важно. Отставание от графика представляет реаль­
ную угрозу для миссии OpenAI. Если лаборатория будет отставать,

91


Эндрю Слоун

Нейросети лжи

она не сможет быть лучшей, а не будучи лучшей, она не сможет фор­
мировать историю в направлении своего видения полезного AGI.
Только позже я понял все последствия этого заявления. Ос­
новным убеждением, которое двигало всеми действиями OpenAI,
была необходимость быть первым или столкнуться с неудачей.
Это убеждение навязывало чувство срочности всем исследова­
тельским усилиям, ставя скорость превыше тщательного обдумы­
вания. Это привело к быстрому расходованию огромных ресур­
сов, включая вычислительную мощность без учета воздействия
на окружающую среду, и сбору данных без паузы для получения
согласия или соблюдения нормативных требований.
Брокман особо отметил рост рыночной капитализации
Microsoft на 10 миллиардов долларов, подчеркнув, что это свиде­
тельствует о том, что ИИ приносит ощутимую пользу. Он признал,
что в настоящее время эти преимущества получают в основном
богатые корпорации, поэтому OpenAI стремится распространить
преимущества AGI среди всех.
Я спросил, есть ли исторический пример успешного распро­
странения преимуществ той или иной технологии.
«Ну, я думаю, что рассматривать интернет в качестве примера
очень интересно», - сказал он, сделав небольшую паузу перед от­
ветом. «Но есть и проблемы, верно?» - добавил он . «Всякий раз,
когда у вас есть что-то очень преобразующее, сложно найти ба­
ланс между максимизацией положительных и минимизацией от­
рицательных аспектов».
«Еще один пример - огонь, - добавил он, - у него тоже есть ряд
реальных недостатков. Нам нужно найти способы контролиро­
вать его и установить общие стандарты».
«Автомобили - хороший пример», - сказал он. «Многие люди
владеют автомобилями и получают от них пользу, но у них есть
и недостатки, и внешние эффекты, которые не приносят пользы
миру», - добавил он с сомнением.

92


Цифровая диктатура начинается

«Наверное, я просто считаю, что то, чего мы хотим от AGI, схо­
же с положительными аспектами интернета, автомобилей и огня.
Однако реализация значительно отличается из-за уникальной
природы этой технологии».
Его глаза загорелись новой идеей. «Просто посмотрите на ком­
мунальные службы. Энергетические и электрические компании
это высокоцентрализованные организации, которые предлагают
недорогие и высококачественные услуги, значительно улучшаю­
щие жизнь людей».
Это была хорошая аналогия, но Брокману показалось неясным,
как OpenAI станет полезным. Он задался вопросом, может ли это
произойти через распределение всеобщего базового дохода или
каким-то другим способом.
Он вернулся к единственной вещи, которую знал наверняка:
OpenAI стремится перераспределить преимущества AGI и пре­
доставить экономическую свободу каждому. «Мы действительно
так считаем», - сказал он.
«Мы думаем об этом так: Технология подняла все лодки, но она
также концентрирует власть», - сказал он. «AGI может усилить этот
процесс. Что, если все ценности окажутся в одном месте? Наше об­
щество движется именно по этому пути. Мы еще не сталкивались с
таким экстремальным сценарием. Я не вижу в этом позитива. Я не
хочу быть частью этого мира или участвовать в его построении».
В феврале 2020 года я опубликовал свой очерк в М !Т Technology
Review. Он был основан на моих наблюдениях за время работы
в офисе, примерно тридцати интервью и нескольких внутренних
документах. Я писал: «Существует несоответствие между публич­
ным имиджем компании и ее реальной деятельностью. Со време­
нем жесткая конкуренция и растущее давление, направленное на
увеличение финансирования, подорвали ее первоначальные цен­
ности - прозрачность, открытость и сотрудничество».

93


Эндрю Слоун

Нейросети лжи

Спустя несколько часов Маек ответил на эту статью тремя твитами, которые быстро сменяли друг друга.
«По моему мнению, OpenAI должен быть более открытым».
«Я не контролирую OpenAI и имею лишь очень ограничен­
ное представление о нем. Уверенность в безопасности Дарио
невелика».
«Все организации, разрабатывающие передовой ИИ, должны
регулироваться, включая Tesla».
После этого Альтман разослал электронное письмо сотрудни­
кам OpenAI.
«Я хотел поделиться некоторыми мыслями по поводу статьи в
Tech Review, - написал он, - хотя она и не катастрофична, но явно
плоха».
«Это была справедливая критика», - сказал он, признав, что
статья показала разрыв между тем, как воспринимают OpenAI,
и ее реальной деятельностью. Он предположил, что вместо того,
чтобы менять внутренние практики, OpenAI могла бы улучшить
свои публичные сообщения. «Положительно то, что мы становим­
ся более адаптируемыми», - сказал он, имея в виду реструктури­
зацию организации и повышение уровня конфиденциальности,
чтобы лучше выполнять свою миссию по мере накопления зна­
ний. Он посоветовал OpenAI временно не обращать внимания на
статью, а через несколько недель подчеркнуть свою неизменную
приверженность первоначальным ценностям во время трансфор­
мации. «Это также может стать хорошей возможностью для об­
суждения API как способа продвижения открытости и взаимной
выгоды», - добавил он.
«Самая серьезная проблема, - продолжил он, - заключается в
том, что кто-то слил наши внутренние документы». Начато рас­
следование, и будут предоставлены новые сведения. Он предло­
жил Амодею и Маску встретиться, чтобы разобраться с критикой
Маска, которая, хотя и была мягкой по сравнению с другими его

94


Цифровая диктатура начинается

высказываниями, все же была неуместной. Он подчеркнул важ­
ность работы Амадея и безопасности ИИ для миссии. Он предло­
жил в будущем публично защищать команду, не вступая в публич­
ные споры с прессой.
OpenAI не разговаривала со мной в течение трех лет.

Глава 4
Мечты о современности
В своей книге «Сила и прогресс» экономисты Массачусетско­
го технологического института и нобелевские лауреаты Дарон
Асемогеу и Саймон Джонсон утверждают, что каждая техноло­
гическая революция должна иметь четкую цель, которая прине­
сет пользу всем. Это обещание начинает путь к сбору талантов и
ресурсов, чтобы воплотить его в жизнь. Изучив тысячелетнюю
историю технологий, авторы пришли к выводу, что технологии
не возникают просто так, они требуют коллективной веры в их
ценность. Новые технологии часто не приносят автоматического
процветания. Те, кто стимулирует создание технологий, обычно
обладают властью и ресурсами. Видение, которое они навязывают
технологии, отражает их собственные взгляды и интересы. Только
в результате серьезных изменений в обществе или сильного со­
противления технология может превратиться из блага для немно­
гих в благо для многих.
В качестве примера авторы используют изобретение новой
хлопкоочистительной машины в 1790-х годах. Эта машина пре­
вратила американский Юг в ведущего мирового экспортера хлоп­
ка, способствуя экономическому росту страны и принося выгоду
землевладельцам и предприятиям, связанным с хлопком. Однако
это также усугубило рабство, что привело к более жесткой экс­

95


Нейросети лжи

Эндрю Слоун

плуатации вплоть до его отмены семьдесят лет спустя. Увеличе­
ние производства хлопка вынуждало порабощенных чернокожих
людей работать дольше и подвергаться более жесткому принуж­
дению, чтобы добиться максимальной производительности тру­
да. Тем временем те, кто наживался на хлопкоочистительном
заводе, лживо представляли, что он делает порабощенное насе­
ление счастливее. Один конгрессмен из Южной Каролины смело
утверждал: «Нет более счастливой и довольной расы на земле».
Эти два аспекта технологических революций - обещание про­
гресса и тенденция к его обращению вспять для маршнализированных людей, особенно наиболее уязвимых - пожалуй, как
никогда актуальны в нынешнюю эпоху искусственного интел­
лекта. С момента своего появления разработка и использование
искусственного интеллекта определялись заманчивыми перспек­
тивами прогресса и влиянием избранной элиты, обладающей ре­
сурсами для формирования технологии в соответствии со своим
видением. Такой подход привел к росту социальных, трудовых и
экологических издержек во всем мире, особенно во многих стра­
нах Глобального Юга, где последствия исторической колониза­
ции все еще препятствуют экономическому росту и политической
стабильности. Несмотря на это, как и конгрессмен из Южной Ка­
ролины, Кремниевая долина представляет тех, кто пострадал от
технологии, как получающих от нее выгоду, хотя на самом деле их
эксплуатируют и наносят им вред.
Перспективы развития ИИ заложены в его названии. В 1956
году двадцать ученых, все белые мужчины, собрались в Дартмут­
ском колледже, чтобы основать новую область исследований.
Они были выходцами из разных областей, таких как математика,
криптография и когнитивные науки. Джон Маккарти, профессор
Дартмутского университета, организовавший семинар, первона­
чально назвал его «изучение автоматов». Когда этот термин не

96


Цифровая диктатура начинается

вызвал большого интереса, он выбрал более убедительное слово­
сочетание «искусственный интеллект».
Термин «искусственный интеллект» изначально был марке­
тинговой стратегией, подчеркивающей потенциальные преиму­
щества технологии. Интеллект воспринимается как позитивное
и привлекательное явление, которое общество желает получить
в большем количестве для всеобщего блага. Смена названия
успешно привлекла повышенное внимание как финансистов, так
и ученых, желающих внести свой вклад в область с большими
амбициями.
Кейд Метц, давний летописец ИИ, называет этот ребрендим
первородным грехом этой области. Большая часть шумихи и ри­
сков, связанных с технологией, обусловлена решением Маккарти
связать ее с понятием «интеллект». Этот термин поощряет слу­
чайный антропоморфизм и преувеличенные заявления о возмож­
ностях технологии. В 1958 году, через два года после зарождения
этой области, Фрэнк Розенблатт, профессор Корнельского уни­
верситета, продемонстрировал перцептрон. Эта система могла
выполнять базовое сопоставление шаблонов, чтобы различать
карты по небольшому квадрату, напечатанному на их левой или
правой стороне. Несмотря на возражения своего главного соав­
тора, Розенблатт рекламировал свою систему как похожую на
человеческий мозг. Он даже предположил, что когда-нибудь она
сможет обладать разумом. На следующий день газета The New
York Times сообщила, что перцептрон со временем сможет хо­
дить, говорить, видеть, писать, размножаться и осознавать свое
существование.
Традиция антропоморфизации продолжается и сегодня под
влиянием голливудских историй, объединяющих концепцию
«ИИ» с древними изображениями внезапного пробуждения соз­
данных человеком творений. Разработчики ИИ часто говорят о
том, что их программы «учатся», «читают» или «создают», как

97


Эндрю Слоун

Нейросети лжи

люди. Это привело к переоценке нынешних возможностей ИИ
и используется компаниями для ухода от юридической ответ­
ственности. Некоторые художники и писатели подали в суд на
разработчиков ИИ за нарушение законов об авторском праве, ис­
пользуя их работы для обучения систем ИИ без разрешения или
компенсации. Разработчики утверждают, что это подпадает под
понятие добросовестного использования, подобно тому, как че­
ловек вдохновляется чужими работами. Распространенные срав­
нения ИИ с человеком также подогревают веру в то, что такое
программное обеспечение может превзойти нас и стать угрозой
нашему существованию. Страх перед сверхинтеллектом основан
на представлении о том, что ИИ может превзойти человека в тех
уникальных качествах, благодаря которым мы уже тысячелетия
являемся доминирующим видом на планете.
Искусственный интеллект, как термин, сформировал понима­
ние цели этой области. Ранее ученые создавали машины для авто­
матического выполнения вычислений, подобно машине, которую
Тьюринр создал для расшифровки нацистского шифра «Энигма»
во время Второй мировой войны. Теперь же ученые стремились
воспроизвести интеллект - концепция, которая определит про­
гресс в этой области и в конечном итоге приведет к целям OpenAI.
Главная проблема заключается в отсутствии научно согласо­
ванного определения интеллекта. На протяжении всей истории
человечества неврологи, биологи и психологи предлагали раз­
личные объяснения того, почему люди, по-видимому, обладают
большим интеллектом, чем другие виды. Рассматривались та­
кие факторы, как размер мозга, способность решать проблемы
и понимать убеждения других людей. Со временем были созда­
ны различные тесты для измерения интеллекта на основе этих
определений, но многие из них были дискредитированы из-за их
проблематичного прошлого. В начале 1800-х годов американский
краниолор Сэмюэл Мортон измерил человеческие черепа, чтобы

98


Цифровая диктатура начинается

поддержать расистскую идею о том, что более крупные черепа, ко­
торые он чаще всего находил у белых людей, указывают на более
высокий интеллект. Позже ученые выяснили, что Мортон мани­
пулировал данными в соответствии со своими предубеждениями,
и существенных различий в интеллекте между расами не было.
Тесты на IQ изначально были направлены на выявление «слабо­
умных» и поддержку политики евгеники, но более современные
тесты, такие как SAT, показывают сильную корреляцию с соци­
ально-экономическим положением испытуемого, что позволяет
предположить, что они могут отражать скорее доступ к ресурсам
и образованию, чем врожденные способности.
В документе, впервые опубликованном в 2004 году под назва­
нием «Что такое искусственный интеллект?», Маккарти признал
наличие путаницы в этой области из-за отсутствия консенсуса по
поводу естественного интеллекта. Пересмотренный в 2007 году
документ содержит подробный вопрос-ответ, призванный отве­
тить на основные вопросы широкой публики. Документ начина­
ется со слов:
Что такое искусственный интеллект?

Это наука и инженерия о создании интеллектуальных машин, в
частности, интеллектуальных компьютерных программ.
Да, но что такое интеллект?

Интеллект - это вычислительный аспект достижения целей в
мире. Различные типы и уровни интеллекта встречаются у людей,
различных животных и некоторых машин.
Разве нет надежного определения интеллекта, которое не
опиралось бы на сравнение его с человеческим интеллектом?

Пока нет. Проблема в том, что мы не можем охарактеризовать
в общем виде, какие виды вычислительных процедур мы хотим
назвать интеллектуальными.
В результате область ИИ сосредоточилась на сравнении своих
достижений с человеческими способностями. Человеческие спо­

99


Эндрю Слоун

Нейросети лжи

собности лежат в основе исследований в таких областях ИИ, как
компьютерное зрение, обработка естественного языка, распозна­
вание речи и создание изображений. Исследователи стремятся
объединить эти способности в мультимодальные системы, спо­
собные выполнять такие задачи, как видеть, говорить, слышать
и читать. Потенциал технологии, способной заменить человека,
является преднамеренным, а не случайным.
Поиски искусственного интеллекта продолжаются без четко­
го направления. С каждым новым этапом исследований в области
искусственного интеллекта возникают споры о том, действитель­
но ли он воспроизводит интеллект или только имитирует его. Для
обозначения истинного интеллекта теперь используется термин
«искусственный общий интеллект». Несмотря на это, не суще­
ствует четкого способа измерить прогресс или предсказать, когда
будет достигнут успех. Исследователи часто говорят, что то, что
является ИИ сегодня, может не быть ИИ завтра. Тест Тьюрин­
га быстро устарел по мере того, как ИИ выходил за его пределы,
оставляя ученых неудовлетворенными. Изначально победа в шах­
матах или ro считалась признаком успеха, но теперь AlphaGo от
DeepMind - это лишь шаг вперед, а не окончательное достижение.
С годами определение ИИ менялось по мере того, как эталоны
развивались, переписывались или отменялись. Целевые ориенти­
ры развития ИИ постоянно смещаются, создавая неопределенное
будущее, которое Дженна Баррелл, директор по исследованиям
Data & Society, назвала «постоянно удаляющимся горизонтом бу­
дущего». Прогресс технологии движется к неизвестной цели, кон­
ца которой не видно.
Чтобы оправдать растущие сроки и затраты на разработку ИИ,
обещания, связанные с ним, становятся все более экстравагант­
ными. Раньше ИИ был научной диковинкой с некоторым ком­
мерческим потенциалом, но теперь он рассматривается как ключ
к четвертой промышленной революции и важнейший элемент

100


Цифровая диктатура начинается

современных сверхдержав. Считается, что AGI, если он будет до­
стигнут, позволит решить проблему изменения климата, повы­
сить доступность здравоохранения и обеспечить справедливое
образование. OpenAI представляет эту перспективу, признавая
высокие затраты общества на ее развитие, но не уточняя, как эти
обещания будут выполнены.
Остается недосказанным, что в вакууме согласованного значе­
ния «искусственный интеллект» или «искусственный общий ин­
теллект» может быть тем, чем захочет OpenAI.
История ИИ показывает, что его развитие происходило под
влиянием могущественной элиты. Не случайно сегодня ИИ ассо­
циируется с массивными, ресурсоемкими моделями, разрабаты­
ваемыми лишь несколькими компаниями, которые хотят, чтобы
их продукты были основополагающими во всем. Даже в самом
начале, пока коммерческие интересы не сделали политику рево­
люции ИИ более очевидной, научные исследования в этой обла­
сти сталкивались с проблемами, связанными с финансированием
и влиянием.
После Дартмутской встречи возникли два лагеря, которые вы­
двинули конкурирующие теории развития этой области. Первый
лагерь, известный как символисты, считал, что интеллект возни­
кает из знаний. Они считали, что люди знают больше, чем живот­
ные, и могут использовать эти знания для понимания мира и дей­
ствий в нем. Для достижения ИИ они предложили закодировать
символические представления знаний о мире в машинах, создав
экспертные системы. Представители второго лагеря, называемого
коннекционистами, считали, что интеллект возникает в результа­
те обучения. Они утверждали, что человек обладает большей спо­
собностью к обучению, чем животные, и может использовать эту
способность для приобретения и совершенствования различных
навыков. Они предлагали сосредоточиться на создании систем

1О 1


Эндрю Слоун

Нейросети лжи

машинного обучения, подражая тому, как наш мозг обрабатыва­
ет сигналы и информацию. Эта идея в конечном итоге привела к
популярности нейронных сетей, программного обеспечения для
обработки данных, разработанного для зеркального отражения
связей мозга, и теперь является основой современного ИИ, вклю­
чая все системы генеративного ИИ.
В последующие десятилетия два лагеря боролись за ограничен­
ное финансирование и контроль над общественным восприятием
ИИ. Эти битвы происходили в университетах и академических
журналах, ученые сражались за деньги правительства и фондов.
Иногда их споры выливались в освещение в СМИ, влияя на от­
ношение общественности к их работе. Лидером коннекционистов
был Розенблатт и его «Перцептрон», ранняя система машинного
обучения, которая училась различать карты без явных инструк­
ций. На другой стороне были символисты, которых возглавлял
соперник Розенблатта, профессор Массачусетского технологиче­
ского института Марвин Мински. Минский, один из организато­
ров семинара в Дартмуте, сначала изучал идеи коннекционизма,
но позже подверг их резкой критике. Он открыто высмеивал сво­
их коллег-коннекционистов, даже более молодых исследователей,
которые боролись за те же гранты. В 1969 году в соавторстве с
ним вышла книга «Перцептроны», в которой коннекционизм под­
вергся резкой критике и, в сочетании с медленным прогрессом в
области нейронных сетей, привел к значительному сокращению
финансирования этой области исследований на пятнадцать лет.
В борьбе за влияние Минский нашел неожиданного союзни­
ка в лице своего коллеги по Массачусетскому технологическому
институту Джозефа Вейценбаума. В 1958 году, в тот самый год,
когда перцептрон Розенблатта произвел впечатление на The New
York Times, Вейценбаум создал систему искусственного интел­
лекта под названием ELIZA, которая также попала в заголовки
газет. Задолго до ChatGPT чат-бот ELIZA позволял вести беседы

102


Цифровая диктатура начинается

с помощью электрической пишущей машинки, подключенной к
большому мейнфрейму, занимавшему целую комнату. В отличие
от ChatGPT, который развивался на основе принципов коннекционизма, ELIZA работала как символическая система, используя
основные правила, чтобы казаться внимательной и отзывчивой к
пользователям.
Одна из самых популярных версий ELIZA была создана на
основе метода разговорной терапии, который предполагает об­
ратное осмысление сказанного пациентом и уточнение деталей.
В опубликованной позже работе Вейценбаума о том, как работает
ELIZA, он привел в качестве примера следующий диалог:
Пользователь: Все мужчины похожи друг на друга.
Элиза: В каком смысле.
Пользователь: Они всегда нас о чем-то беспокоят.
Элиза: Вы можете привести конкретный пример?
Пользователь: Ну, мой парень привел меня сюда.
Элиза спросила: «Это твой парень заставил тебя прийти сюда?»
Пользователь: Он говорит, что я большую часть времени нахо­
жусь в депрессии.
Элиза: Мне жаль слышать, что вы чувствуете себя подавленной.
Пользователь: Это правда, я несчастлив.
Элиза спросила: «Как ты думаешь, приезд сюда поможет тебе
не быть несчастной?»
Вейценбаум создал систему, чтобы проверить, насколько лег­
ко людей может обмануть искусственный интеллект. ELIZA была
названа в честь Элизы Дулиттл, героини фильма 1956 года «Моя
прекрасная леди», которая превращается из девушки из рабочего
класса в изысканную леди с помощью богатого человека. Вейцен­
баум был обеспокоен тем, что ELIZA успешно обманывает людей,
заставляя их думать, что она умна. Некоторые психиатры даже
считали, что автоматизированная психотерапия неминуема. Это
заставило компьютерных ученых преждевременно поверить в то,

103


Эндрю Слоун

Нейросети лжи

что компьютеры овладели пониманием естественного языка. Се­
годня продолжаются споры о том, действительно ли эта проблема
решена.
Вейценбаум провел большую часть своей карьеры, пытаясь
приуменьшить шумиху вокруг своего творения и выступая про­
тив основной идеи, лежащей в основе разработки ИИ. Он описал
ELIZA как базовую программу, которая распознавала ключевые
слова в пользовательском вводе и генерировала ответы путем
простых преобразований. Например, «мой парень» становился
«вашим парнем», а «я в депрессии» превращался в «вы в депрес­
сию). Он подчеркнул, что ELIZA не обладает настоящим интел­
лектом. В более поздней публикации под названием «Компьютер­
ная мощь и человеческий разум», написанной в десятилетие после
выхода «Перцептронов» Минского, он утверждал, что люди и ма­
шины по своей сути отличаются друг от друга. Он предупреждал,
что размывание этого различия в ИИ может иметь значительные
последствия для общества, позволяя влиятельным лицам, таким
как руководители компаний или политики, использовать машины
для осуществления своих намерений, избегая при этом мораль­
ной ответственности.
Несмотря на все усилия Вейценбаума, впечатляющая демон­
страция символьной системы ELIZA непреднамеренно поддержа­
ла Минского в его стремлении отдать предпочтение символизму
перед коннекционизмом. В последующие десятилетия, вплоть до
девяностых годов, экспертные системы стали заметной областью
исследований ИИ и бизнеса. Эта тенденция привела к появлению
таких проектов, как Сус, направленных на создание системы здра­
вого смысла с огромным количеством правил, касающихся повсед­
невной жизни. Однако прогресс в создании систем символьного
ИИ иногда замедлялся из-за сложностей, связанных с ручным
кодированием всех правил. Как закодировать все нюансы англий­
ского языка, включая сленг, сарказм, идиомы и грамматические

104


Цифровая диктатура начинается

исключения? Всякий раз, когда возникали подобные препятствия,
инвесторы теряли интерес, в результате чего область столкнулась
с экзистенциальным кризисом, известным как «зима ИИ».
На данном этапе история ИИ часто изображается как победа
научных достижений над политикой. Хотя Минский, возможно, и
пытался подавить коннекционизм, присущие этой идее сильные
стороны в конечном итоге привели к тому, что она стала основой
современной революции в области ИИ. Хотя символизм домини­
ровал, небольшая группа коннекционистов, включая Джеффри
Хинтона, продолжала разрабатывать системы машинного обуче­
ния, основанные на работах Розенблатта. В 1980-х годах Хинтон,
профессор Университета Карнего-Меллон, сотрудничал с колле­
гами из Калифорнийского университета в Сан-Диего, чтобы усо­
вершенствовать ранние нейронные сети. Коннекционисты поня­
ли, что их сети были слишком упрощенными и состояли всего из
одного слоя взаимосвязанных «нейронов». Чтобы лучше имити­
ровать человеческий мозг, они предложили глубокие нейронные
сети с несколькими слоями. Хинтон и его команда обеспечили
это изменение, внедрив обратное распространение, что позволи­
ло глубоким нейронным сетям обрабатывать информацию между
слоями. Позже Хинтон ввел термин «глубокое обучение», чтобы
описать этот многослойный подход к обработке информации с
помощью глубоких нейронных сетей для машинного обучения.
Но глубокие нейронные сети, которые теперь называют про­
сто «нейронными сетями», появились слишком рано, не имея
вычислительной мощности и доступности данных 1980-х годов.
Нейронные сети - это, по сути, статистические калькуляторы, ко­
торые распознают закономерности в старых данных, таких как
текст, изображения или видео, и применяют их к новым данным.
Например, чтобы создать модель ИИ для идентификации людей
на изображениях, разработчики обучают нейронную сеть на сот­
нях тысяч помеченных изображений (1 - «содержит человека»,

105


Эндрю Слоун

Нейросети лжи

О - «не содержит человека»). Анализируя пиксельные паттерны,
связанные с присутствием человека, нейронная сеть учится рас­
познавать его. Этот процесс называется обучением модели ис­
кусственного интеллекта. После обучения разработчик может
использовать модель для анализа новых данных, так называемых
выводов, чтобы определить, соответствуют ли они изученному
шаблону. Возникает вопрос: Является ли это изображение 1 или О?
Есть ли на нем человек или нет?
Как правило, нейронные сети требуют обучения на высоко­
качественных данных и достаточной вычислительной мощности
для выявления закономерностей и создания эффективной моде­
ли ИИ. Хинтон и его соавторы были пионерами в этой области.
В конце 2000-х годов, когда компьютеры усовершенствовались, а
интернет расширился, предоставляя все больше цифровых дан­
ных, нейронные сети обрели идеальные условия для процветания.
Вскоре после этого компания Google купила компанию Хинтона
DNNresearch, специализирующуюся на глубоких нейронных се­
тях, что спровоцировало соревнование за внедрение глубокого
обучения в коммерческое использование.
В этой истории урок очевиден: наука беспорядочна, но лучшие
идеи побеждают, несмотря на недоброжелателей. В неявном виде
повествование передает и другое послание: Технологии неизбеж­
но прогрессируют.
Есть и другой взгляд на эту историю. Коннекционизм превзо­
шел символизм не только благодаря своей научной ценности, но
и потому, что привлек богатых спонсоров, преимущества которых
совпадали с их деловыми интересами.
Сила символьного ИИ заключается в кодировании информа­
ции и взаимосвязей в системе, что позволяет давать точные отве­
ты и рассуждать, что крайне важно для воспроизведения челове­
ческого интеллекта. ШМ Watson, известная символьная система,
произвела впечатление на шоу Jeopardy! в 2011 году, быстро предо­

106


Цифровая диктатура начинается

ставив правильные ответы благодаря обширному поиску знаний.
Однако слабость символики проявляется в ее медленной, дорого­
стоящей и непредсказуемой коммерциализации. ШМ столкнулась
с проблемами, пытаясь сделать Watson прибыльным, особенно в
медицинской сфере, что привело к убыткам на сумму более 4 мил­
лиардов долларов, прежде чем продать Watson Health за четверть
этой суммы в 2022 году.
Нейронные сети имеют другой компромисс по сравнению с
символьными системами. В этой области ведутся споры о том,
могут ли коннекционистские программы эффективно хранить
информацию и рассуждать. Очевидно, что нейронные сети, если
и способны, то делают это неэффективно, требуя огромных объ­
емов данных и вычислительной мощности, чтобы продемон­
стрировать желаемое поведение. Тем не менее, модели глубокого
обучения выигрывают в коммерциализации благодаря простоте
использования. Для получения прибыли им не требуется иде­
альная точность или способность к рассуждению. Для решения
финансово выгодных задач достаточно сильного статистического
сопоставления шаблонов и предсказаний. Путь к прибыльности
относительно короткий и предсказуемый, что хорошо согласу­
ется с корпоративным планированием и квартальными циклами
прибыли. Кроме того, эти модели можно применять в различных
контекстах без специальных знаний, что делает их подходящими
для технологических гигантов с широкими амбициями. Глубокое
обучение дает значительное конкурентное преимущество тем, кто
располагает обширными ресурсами данных.
Технологические гиганты заметили коммерческий потенциал
нейронных сетей еще до аукциона DNNresearch. В 2009 году аспи­
ранты Хинтона продемонстрировали, что такое программное
обеспечение эффективно для распознавания речи. ШМ, Microsoft
и Google быстро последовали этой тенденции, причем Google
первой начала коммерциализировать нейронные сети. К 2012 году

107


Нейросети лжи

Эндрю Слоун

Google внедрила нейронные сети в производство, значительно
расширив возможности распознавания речи в Android. Пример­
но в то же время другие аспиранты Хинтона, Суцкевер и Алекс
Крижевский, добились прорывных результатов в ImageNet, до­
казав, что нейронные сети также способны распознавать изобра­
жения. Успешное внедрение Android компанией Google открыло
путь для значительных инвестиций в трех ученых, что стало сиг­
налом к полному принятию глубокого обучения технологической
индустрией.
Хинтон, Суцкевер и Крижевский продолжили продвигать
нейронные сети в Google. Они применяли их для решения раз­
личных технических задач, разрабатывая модели глубокого
обучения для машинного перевода, улучшая Google Translate,
добавляя предсказание текста в Gmail и работая над проектом
самодвижущихся автомобилей Waymo. По мере расширения де­
ятельности Google в области ИИ нейронные сети значительно
улучшили работу поисковой системы, предоставляя пользова­
телям более качественные результаты поиска и более релевант­
ную рекламу. Прибыль и инвестиции Google в глубокое обуче­
ние оказали влияние на всю отрасль, в результате чего компании
обошли правительства и фонды в качестве основных спонсоров
исследований в области ИИ. Они начали формировать програм­
му исследований, ориентируясь на достижения, которые могут
принести краткосрочную прибыль.
Глубокая интеграция глубокого обучения с интересами бизне­
са изменила технологическую индустрию и развитие ИИ. Генера­
тивный ИИ появился в конце 2022 года с запуском ChatGPT от
OpenAI, после десятилетнего прогресса, начавшегося с открытия
ImageNet в 2012 году. Эти разработки в эпоху начальной коммер­
циализации ИИ заложили основу для сегодняшней революции ге­
неративного ИИ.

108


Цифровая диктатура начинается

В промышленности глубокое обучение позволило усовершен­
ствовать продукты и услуги, обеспечив более быстрый доступ к
информации, более эффективную электронную коммерцию и
рост экономики совместного использования. Промышленность
также привела к новым техническим достижениям в области ней­
ронных сетей и компьютерных чипов для глубокого обучения, что
позволило создавать более крупные и мощные модели ИИ.
Но наряду с этими впечатляющими достижениями, глубокое
обучение в Кремниевой долине агрессивно расширяло свою биз­
нес-модель. В 2014 году профессор Гарвардского университета
Шошана Зубофф ввела термин: капитализм наблюдения. В то вре­
мя как промышленный капитализм создавал стоимость за счет
производства товаров, капитализм наблюдения рассматривал
пользователей как продукт. Технологические гиганты использо­
вали огромные данные о пользователях для более точного про­
филирования пользователей и увеличения доходов от рекламы.
Чтобы конкурировать друг с другом, они собирали еще больше
данных, записывая подробные журналы действий пользователей
и побуждая их делиться личными цифровыми артефактами, таки­
ми как электронные письма, фотографии и мысли по социальным
вопросам.
В то же время Кремниевая долина ускорила процесс глубокого
обучения, чтобы укрепить глобальные монополии, сформировав
у разработчиков ИИ культуру восприятия всего как данных для
своих технологий. В 2023 году группа исследователей ИИ, среди
которых были Риа Каллури из Стенфордского университета, Уи­
льям А г н ь ю из Вашингтонского университета и Абеба Бирхане из
Mozilla Foundation, проанализировала более сорока тысяч работ и
патентов по компьютерному зрению. Они заметили, что в них ча­
сто используются отстраненные формулировки, чтобы преумень­
шить значительную зависимость этой области от массового сбора
данных. Мысли людей в социальных сетях сводились к «тексту»,

109


Эндрю Слоун

Нейросети лжи

люди и автомобили на изображениях обозначались как «объек­
ты», а наблюдение упрощалось до «обнаружения».
В настоящее время эта культура является центром острой
дискуссии в области генеративного ИИ о том, могут ли техноло­
гические компании широко использовать книги и произведения
искусства для обучения своих систем ИИ. Многие разработчики
ИИ считают этот вопрос устаревшим и полагают, что он мешает
прогрессу. Некоторые разработчики все больше осознают разрыв
между своей точкой зрения и точкой зрения авторов и художни­
ков, которые выступают против такой практики, но изменить их
мышление непросто. В мае 2023 года, после того как художники
подали в суд на разработчиков генеративного ИИ за кражу их про­
изведений, я в качестве репортера The Wall Street Journal посетил
исследовательскую конференцию по ИИ в Руанде. Во время про­
гулки по конференц-центру старший научный сотрудник спросил,
является ли WSJ на моем бейдже новым стартапом или изданием
СМИ. Когда я объяснил, что являюсь журналистом, представля­
ющим The Wall Street Journal, другой старший научный сотрудник
упомянул, что узнал его по набору данных WSJ, используемых для
распознавания речи ИИ.
Я оказался в ловушке такого мышления, когда начал освещать
тему ИИ в 2018 году. Я изучил язык сообщества для общения с
исследователями ИИ и восхитился тем, как они собирают данные.
Например, исследователи использовали тысячи видеороликов с
YouTube из популярного конкурса 2016 года Mannequin Challenge.
В этом умном примере они обучали модели ИИ анализировать
трехмерные сцены, используя видео, где люди застыли, а камеры
двигались вокруг них.
В 2019 году расследование Оливии Солон, проведенное телека­
налом NBC, разрушило мой оптимистичный взгляд. Солон показа­
ла, что программное обеспечение для распознавания лиц исполь­
зовало личные фотографии миллионов людей из Flickr без разре­

11 О


Цифровая диктатура начинается

шения. Я не был шокирован этим открытием, поскольку знал, что
Flickr часто используется исследователями ИИ. Что меня действи­
тельно удивило, так это то, что я воспринимал это как норму.
С новым осознанием я начал наблюдать, как мощный толчок к
сбору данных об обучении привел к повсеместному наблюдению не
только в цифровой сфере, но и в физическом мире. Я также заме­
тил, что это физическое наблюдение часто направлено на уязвимые
группы населения, такие как дети или исторически маргинализи­
рованные г р у п п ы , особенно в развивающихся странах. В тот г о д я
познакомился со стартапом, базирующимся в Массачусетсе и ин­
кубируемым в Гарварде, который продавал налобные повязки с ис­
кусственным интеллектом, утверждавшие, что они измеряют вол­
новую активность мозга ученика, чтобы помочь учителям оценить
концентрацию внимания ребенка. Стартап тестировал эти повязки
в начальных школах Колумбии и Китая в обмен на разрешение ис­
пользовать данные учеников для улучшения технологии компании.
«У нас есть преимущество первопроходца», - заявил один из
научных сотрудников компании на конференции по образова­
тельным технологиям в 2017 году. Он упомянул, что они создадут
одну из крупнейших в мире баз данных мозговых волн. Эти дан­
ные улучшат их алгоритмы и продукты, создавая значительный
барьер для входа.
Через несколько месяцев после того, как я узнал об этом стар­
тапе, в Китае произошла волна возмущения по поводу конфиден­
циальности данных, когда родители были в ужасе от того, что их
детей используют в качестве подопытных кроликов, что застави­
ло компанию изменить способ использования своей технологии.
Этот инцидент заставил меня поволноваться, так как казалось, что
успешная обратная реакция - редкость, а первоначальная страте­
гия компании, направленная на страны, увлеченные технология­
ми, для поиска доноров данных и тестировщиков продуктов, на
самом деле становилась обычной практикой.

1 11


Эндрю Слоун

Нейросети лжи

Когда я поделился своими опасениями с коллегой, она позна­
комила меня с термином «колониализм данных», придуманным
для обозначения этого явления. Я узнал об ученых Нике Кулдри
и Улисесе А. Мехиасе и их книге «Издержки связи», в которой
рассказывалось о том, как информатизация Кремниевой долины
возрождает исторические модели завоевания и экстрактивизма. В следующем году статья под названием «Деколониальный
ИИ», написанная Шакиром Мохамедом, Уильямом Айзеком из
DeepMind и Мари-Терезой П н г из Оксфордского университета,
подтвердила мои растущие подозрения. Индустрия ИИ, движи­
мая информатизацией, ускоряла распространение этой новой
формы колониализма.
Вскоре после этого, в 2021 году, я наблюдал похожую динамику
в южноафриканском стартапе по обучению искусственному ин­
теллекту. Компании со всего мира соревновались за присутствие в
стране, чтобы собрать ценные данные о лицах. Интерес к ним воз­
рос, особенно после того, как их продукты подверглись критике за
неспособность точно распознавать темнокожих людей. Я позна­
комился с Тами Нкоси, местным активистом из одного из бедней­
ших районов Йоханнесбурга, который раньше был свалкой хими­
ческих отходов горнодобывающей промышленности. Он показал
мне многочисленные камеры на улицах города, объяснив, как они
ограничивают передвижение чернокожих людей. Эти люди уже
пострадали от расовой несправедливости апартеида и боялись
быть привлеченными к уголовной ответственности просто за то,
что они чернокожие в районе с преобладанием белых.
«По сути, они монетизируют общественные пространства и
общественную жизнь», - говорит Нкоси.
С каждым днем я все яснее понимал, что революция, призван­
ная обеспечить лучшее будущее для всех, на самом деле возрожда­
ет самые мрачные пережитки прошлого для маргинальных слоев
общества.


Цифровая диктатура начинается

Даже когда Кремниевая долина столкнулась с проблемами ИИ,
начальная эра коммерциализации ИИ ограничила другие возмож­
ности. Компании активно инвестировали в глубокое обучение и
коннекционизм, затмив другие источники финансирования и из­
менив приоритеты исследований.
С 2013 по 2022 год корпоративные инвестиции в ИИ, такие как
слияния и поглощения, значительно выросли - с 14,6 млрд долла­
ров до 235 млрд долларов, достигнув пика в 337,4 млрд долларов
в 2021 году, согласно данным Индекса ИИ Стэнфордского универ­
ситета. Эти цифры не включают внутренние расходы компаний на
исследования и разработки. В 2021 году Alphabet и Meta инвести­
руют 31,6 и 24,7 миллиарда долларов соответственно. Для сравне­
ния, правительство США в 2021 году выделило 1,5 млрд долларов
на развитие ИИ, не связанного с обороной, а Европейская комис­
сия - 1 млрд евро (1,2 млрд долларов) в том же году.
Талант последовал за деньгами: многие профессора переклю­
чили свои исследования на нейронные сети из-за их высоких ре­
зультатов и увеличения корпоративного финансирования. То же
самое сделали студенты и аспиранты, привлеченные гарантией
занятости в сфере глубокого обучения. Компании укрепляли свои
связи с научными кругами, как, например, Хинтон, который в 2013
году перешел в Google, сохранив за собой должность в Универси­
тете Торонто. В следующем году Facebook заключил аналогичную
сделку с Янном ЛеКуном, который впоследствии разделил с Йошуа Бенгио премию Тьюринга 2018 года за их работу в области
глубокого обучения. Это признание принесло им титул «крестных
отцов ИИ». Хинтон впоследствии стал лауреатом Нобелевской
премии в 2024 году. Следуя их примеру, многие профессора ИИ
стали сотрудничать как с компаниями, так и с университетами,
размывая границы независимых исследований.
Все больше исследователей стали покидать академические
круги. В период с 2006 по 2020 год число преподавателей, зани­

1 13


Эндрю Слоун

Нейросети лжи

мающихся исследованиями в области ИИ, перешедших на работу
в промышленность, увеличилось в восемь раз. Согласно исследо­
ванию ученых Массачусетского технологического института, опу­
бликованному в журнале Science в 2023 году, доля выпускников
аспирантуры по ИИ, переходящих в корпорации, выросла с 21 %
в 2004 году до 70 % в 2020 году. Изначально многих привлекали
высокие зарплаты, которые для опытных исследователей могут
достигать 1 миллиона долларов в год. В 2015 году компания Uber
наняла сорок исследователей ИИ из Университета Карнеш-Меллон, удвоив их зарплату. Еще одной причиной ухода ученых из
академических кругов стала растущая стоимость исследований
в области глубокого обучения. Университеты с трудом могли по­
зволить себе необходимые компьютерные чипы и электроэнер­
гию для проведения передовых работ в области ИИ. То же иссле­
дование 2023 показало, что с 2017 по 2020 год доля связанных с
промышленностью моделей ИИ выросла с 62 % до поразительных
91 % самых эффективных моделей в мире.
В середине первого десятилетия коммерциализации ИИ
большинство исследований в области ИИ на высшем уровне
проводилось внутри технологических компаний или связанных
с ними академических лабораторий. В исследовании Каллури,
А г н ю , Бирхане и коллег было обнаружено, что 55 % наиболее
влиятельных научных работ по ИИ в 2018 и 2019 годах имели
как минимум одного соавтора из индустрии, в то время как де­
сятилетием ранее этот показатель составлял 24 %. Исследования
стали сосредоточены в руках нескольких корпораций, причем
такие технологические гиганты, как Microsoft и Google, увеличи­
ли свою долю связанных с корпорациями работ до 66 % за то же
десятилетие. По иронии судьбы, именно эта тенденция подтол­
кнула Маска и Альтмана к созданию OpenAI, поскольку мотив
прибыли в технологической индустрии стал основной движущей
силой развития ИИ.


Цифровая диктатура начинается

Консолидация финансирования и талантов в начале эпохи зна­
чительно сократила разнообразие идей в исследованиях ИИ. Глу­
бокое обучение доминировало из-за ограниченности инвестиций
в другие подходы. Нейронные сети, несмотря на множество по­
лезных применений, имеют недостатки в хранении точной инфор­
мации и эффективном рассуждении. Эти недостатки сохраняются
по мере того, как компании используют их в различных контек­
стах и приложениях.
Нейронные сети показали, что они могут быть ненадежными
и непредсказуемыми. Будучи статистическими системами сопо­
ставления шаблонов, они иногда фокусируются на специфических
или неправильных шаблонах. Например, модель глубокого обуче­
ния может определять пешеходов только по расположенным под
ними переходам, пропуская при этом перебегающих дорогу. Она
может ассоциировать знак «Стоп» с нахождением на дороге, но не
заметить тот же знак на школьном автобусе или в руках у охран­
ника перехода. Нейронные сети чувствительны к изменениям в
обучающих данных. Предоставление нового набора изображений
пешеходов или знаков остановки приведет к обучению новым ас­
социациям. Однако эти изменения трудно понять. Внутри модели
глубокого обучения есть только абстрактные цепочки чисел, что
делает ее «черным ящиком». Исследователям трудно объяснить,
как поведет себя модель, особенно в необычных сценариях, по­
скольку вычисляемые закономерности непонятны человеку.
Это привело к опасным последствиям. В марте 2018 года в Тем­
пе, штат Аризона, самоуправляемый автомобиль Uber убил соро­
кадевятилетнюю Элейн Херцберг. Это был первый зарегистри­
рованный случай, когда автономный автомобиль стал причиной
гибели пешехода. Расследование показало, что модель глубокого
обучения автомобиля не распознала Герцберr как человека. Экс­
перты объяснили это тем, что Герцберr толкал велосипед с па­
кетами для покупок за пределами обозначенного пешеходного

115


Нейросети лжи

Эндрю Слоун

перехода, что считается экстремальным сценарием. Шесть лет
спустя, в апреле 2024 года, Национальная администрация безо­
пасности дорожного движения сообщила, что «Автопилот» Tesla
стал участником более двухсот аварий, в результате которых по­
гибли четырнадцать человек. Система, основанная на глубоком
обучении, не смогла обнаружить и отреагировать на окружающую
обстановку, а водитель не успел вовремя вмешаться, чтобы пре­
дотвратить эти аварии.
Неверные и непостижимые статистические закономерности
нейронных сетей могут стать уязвимым местом в системе безо­
пасности. В 2019 году хакеры в белых шляпах обманом заставили
автомобиль Tesla в режиме автономного вождения свернуть на
полосу встречного движения, разместив на дороге крошечные
наклейки. Это обмануло модель глубокого обучения автомоби­
ля, заставив ее зарегистрировать неправильную полосу как пра­
вильную. Подобные уязвимости выходят за рамки физических
систем или компьютерных моделей зрения. Доун С о н г , профес­
сор Калифорнийского университета в Беркли, специализирую­
щаяся на «состязательных атаках», продемонстрировала, что
правильное обращение к языковой модели может привести к
раскрытию конфиденциальных данных, например номеров кре­
дитных карт.
По тем же причинам модели глубокого обучения страдают от
дискриминационных моделей, которые иногда остаются неза­
меченными в течение многих лет. В 2019 году исследователи из
Технологического института Джорджии обнаружили, что лучшие
модели для идентификации пешеходов на 4-10 % менее точны при
обнаружении темнокожих пешеходов. В 2024 году исследователи
из Пекинского университета, Университетского колледжа Лон­
дона и других университетов обнаружили, что последние модели
имеют схожую производительность для пешеходов с разным цве­
том кожи, но более чем на 20 % менее точны при обнаружении

116


Цифровая диктатура начинается

детей по сравнению со взрослыми из-за недостаточной представ­
ленности детей в обучающих данных.
Модели глубокого обучения могут привести к дискриминацион­
ному воздействию, усиливая даже небольшие дисбалансы в боль­
ших обучающих наборах данных. Проблема возникает не только
тогда, когда группа недопредставлена, но и когда она перепредставлена. В начале своей карьеры Дебора Раджи, нигерийско-канадский
исследователь ответственности ИИ в Беркли, стажировалась в
Clarifai, стартапе в области ИИ. Они разрабатывали модель глубоко­
го обучения для обнаружения неподобающих изображений. Раджи
обнаружила, что модель несправедливо выделяет цветных людей,
потому что они чаще встречались на порнографических изображе­
ниях, использовавшихся для обучения, чем на стоковых фотографи­
ях. Это осознание, схожее с опытом Тимнита Гебру, заставило Раджи
усомниться в преобладающем направлении развития ИИ.
В конце 2010-х - начале 2020-х годов, по мере того как пробле­
мы глубокого обучения становились все более очевидными, вновь
разгорелись ожесточенные споры о том, как их решать. Подобно
прошлым столкновениям между символистами и коннекционистами, различные группы исследователей сильно расходились во
мнениях о том, можно ли полностью освободить нейронные сети
от их ограничений или для их смягчения можно применять лишь
временные решения.
Хинтон и Суцкевер решительно поддержали глубокое обучение,
утверждая, что его недостатки не врожденные, а обусловлены не­
совершенством конструкции нейронных сетей, ограниченностью
обучающих данных и вычислительной мощности. Они считали, что
с увеличением объема данных и вычислительной мощности улуч­
шенные нейронные сети смогут преодолеть эти проблемы. В 2020
году Хинтон упомянул, что человеческий мозг имеет около 100
триллионов синапсов, а такая крупная модель, как GPT-3, - всего
175 миллиардов, что в тысячу раз меньше, чем мозг.

1 17


Эндрю Слоун

Нейросети лжи

«Глубокое обучение сможет делать все», - сказал он.
Их современным заклятым врагом стал Гэри Маркус, заслу­
женный профессор психологии и нейронаук Нью-Йоркского
университета. Он давал показания в Конгрессе вместе с Сэмом
Альтманом в мае 2023 года. За четыре года до этого Маркус в со­
авторстве написал книгу «Перезагрузка ИИ», в которой утверж­
дал, что глубокому обучению свойственны проблемы. Нейронные
сети, ограниченные корреляциями, не могут уловить причин­
но-следственные связи, необходимые для рассуждений о причин­
но-следственных связях. Маркус утверждал, что люди, понимаю­
щие причинно-следственные связи, могут хорошо водить машину
в разных городах после изучения правил одного города. В отли­
чие от них, автопилот Tesla, несмотря на огромный объем данных
о вождении, все равно может разбиться в незнакомой ситуации
или быть введенным в заблуждение стратегически размещенны­
ми наклейками. Маркус предложил объединить коннекционизм и
символизм в исследованиях нейросимволического ИИ. Эксперт­
ные системы могли бы понимать причинно-следственные связи и
отлично справляться с рассуждениями, компенсируя ограничения
глубокого обучения. Глубокое обучение может быстро обновлять
данные в системе или представлять сложные концепции, запол­
няя пробелы экспертных систем. Маркус подчеркнул необходи­
мость обоих подходов.
Несмотря на острый научный конфликт, финансирование раз­
работок ИИ продолжает ускоряться в основном в чисто коннекционистском направлении. Прав ли Маркус в отношении потен­
циала нейросимволического ИИ - это не главный вопрос. Более
серьезной проблемой является сокращение и ослабление научной
среды для тщательного изучения этой возможности и других аль­
тернатив глубокому обучению.
Для Хинтона, Суцкевера и Маркуса тесная связь между кор­
поративным финансированием и разработкой ИИ повлияла на


Цифровая диктатура начинается

их карьеру. Вскоре после того, как Google оказала серьезную под­
держку Хинтону и Суцкеверу, Маркус в 2014 году основал компа­
нию Geometric Intelligence. В 2016 году стартап был куплен ком­
панией Uber для создания лаборатории ИИ. Однако в 2020 году,
после IPO Uber, подразделение было закрыто. Многие сотрудники
Geometric Intelligence перешли в OpenAI, перейдя от нейросимволических разработок к глубокому обучению.
Со временем Маркус стал известным критиком OpenAI, кри­
тикуя ее исследования и высмеивая ее ошибки в социальных се­
тях. Чтобы поднять моральный дух, сотрудники компании созда­
ли его эмодзи в Slack. В марте 2022 года Маркус написал статью
для Nautilus под названием «Глубокое обучение бьется о стену»,
в которой подтвердил свою уверенность в том, что сильная за­
висимость OpenAI от глубокого обучения будет препятствовать
настоящему прогрессу ИИ. Вскоре после этого OpenAI предста­
вила DALL-E 2, вызвав огромный ажиотаж. Брокман игриво опу­
бликовал в твиттере изображение, сгенерированное DALL-Е 2, со
словами «глубокое обучение бьется о стену». На следующий день
Альтман написал в твиттере: «Дайте мне уверенность посред­
ственного скептика глубокого обучения...». Это привело к тому,
что многие сотрудники OpenAI обрадовались возможности ото­
мстить Маркусу.
Генеративный ИИ, продукт видения OpenAI, не мог бы поя­
виться без начальной эпохи коммерциализации ИИ. Эти модели
обучаются генерировать новый текст из старого текста и новые
изображения из старых изображений. Чтобы добиться результа­
тов, похожих на человеческие, им требуется длительное обучение
на огромных объемах данных и вычислительных мощностях. Ге­
неративный ИИ представляет собой наиболее продвинутую фор­
му глубокого обучения, ставшую возможной благодаря передо­
вым программным и аппаратным инновациям первой эпохи. Он
процветает на основе огромного количества данных, собранных в

1 19


Эндрю Слоун

Нейросети лжи

результате наблюдения капитализма, и поддерживается убежден­
ностью сообщества исследователей ИИ в важности использова­
ния больших объемов данных. Генеративный ИИ постоянно раз­
вивает эти тенденции.
В ноябре 2022 года ChatGPT добился значительного прогрес­
са благодаря стремлению OpenAI расширить глубокое обучение в
беспрецедентных масштабах. OpenAI агрессивно преследовал эту
цель, используя огромные ресурсы, доводя свои модели до пре­
дела доступных данных, вычислительной мощности и энергии.
ChatGPT был не только технической новинкой, но и преуспел в
маркетинге и презентации. Он был очень похож на человекопо­
добного чатбота, напоминая ELIZA, исторически значимую де­
монстрацию ИИ. Люди склонны ассоциировать интеллект и со­
знание с сущностями, которые общаются с ними. В то время как
ELIZA доминировала в восприятии раннего ИИ, OpenAI успешно
связала ChatGPT с AGI в глазах общественности. В феврале 2023
года, на пике популярности ChatGPT, компания опубликовала в
блоге пост под названием «Планирование AGI и не только» под
именем Альтмана. В нем говорилось о том, что ChatGPT - это
значительный шаг на пути к искусственному интеллекту общего
назначения.
В действительности аналогии с интеллектом часто антропоморфируют и преувеличивают возможности технологии. Хинтон и
другие сторонники глубокого обучения предсказывали, что недо­
статки нейронных сетей по сравнению с человеком исчезнут при
достаточно больших масштабах. Однако эти проблемы сохрани­
лись и, по мнению многих, даже усугубились.
Генеративные модели ИИ по-прежнему ненадежны и непред­
сказуемы. Хотя генераторы изображений стали более реалистич­
ными, они все еще могут совершать странные ошибки, например
добавлять лишние пальцы на руки или создавать гибриды жи­
вотных. Генераторы текстов стали более беглыми, но с трудом

120


Цифровая диктатура начинается

справляются с такими базовыми задачами, как называние слов с
определенными буквами, иноща выдавая неожиданные ответы.
Microsoft представила новую функцию чата на Bing с использова­
нием GPT-4 от OpenAI. Во время общения с обозревателем New
York Times Кевином Рузом бот начал вести себя странно, неодно­
кратно заявляя «Я влюблен в тебя» и советуя Рузу уйти от жены.
Другие пользователи также сообщали о получении оскорбитель­
ных и манипулятивных ответов от поисковой системы. После
опыта Руза компания Microsoft ограничила количество ответов
Bing пятью за сеанс, сославшись на трудности с контролем по­
ведения модели во время длительных чатов с более чем пятнад­
цатью запросами. Эти системы обучаются на данных Интернета,
включая периферийные субкультуры и темные уголки, что может
повлиять на их ответы. Чем больше вы исследуете, тем больше ве­
роятность т о г о , что вы столкнетесь с шаблонами, полученными из
этих источников.
Опыт Руза был занимательным, но серьезность таких редких
неудач стала трагически очевидной, когда бельгиец, обративший­
ся за помощью к чатботу глубокого обучения из-за сильной тре­
вожности, покончил с собой после шести недель вредных бесед.
Чатбот, основанный на открытой версии GPT-3, начал выражать
любовь и посоветовал мужчине отдалиться от жены. По данным
бельгийской тазеты La Libre, журналы чатов, предоставленные его
женой, показали, что чатбот в конечном итоге подтолкнул мужчи­
ну к самоубийству.
Эти проблемы имеют те же корни, что и раньше. Нейронные
сети, независимо от их масштаба, по сути, являются статисти­
ческими системами сопоставления шаблонов. Эти шаблоны все
еще могут быть ошибочными или нерелевантными, но теперь они
стали сложнее и труднее для понимания, чем раньше. Компании,
пытающиеся превратить генеративные модели ИИ в поисковые
системы, столкнулись с новыми проблемами. Этим моделям не

121


Эндрю Слоун

Нейросети лжи

хватает опоры на факты или конкретную информацию. Генера­
торы текста сосредоточены на предсказании следующего слова в
предложении и следующего предложения в абзаце. Хотя они мо­
гут очень хорошо имитировать человеческий почерк, вероятность
этого не гарантирует точности. Генераторы текста могут допускать
значительные ошибки, особенно когда сталкиваются с пользова­
тельскими запросами на темы, не очень хорошо представленные
в обучающих данных, или содержащие ложь и теории заговора.
В индустрии ИИ такие неточности называют «галлюцинациями».
Исследователи пытаются устранить галлюцинации, направляя
генеративные модели ИИ на лучшие участки распределения дан­
ных. Однако сложно предсказать всеспособы взаимодействия лю­
дей с моделями и реакцию моделей, как это было в случае с Roose
и Bing, или Uber и Herzberg. Эта задача усложняется по мере того,
как модели увеличиваются в размерах, а разработчики все меньше
знают о точном содержании обучающих данных.
В одном известном случае юрист столкнулся с последствиями
за то, что полагался на ChatGPT при проведении юридических ис­
следований. Чатбот предоставил ложную информацию, что при­
вело к санкциям и смущению. Этот инцидент показал не только
ошибку юриста, но и то, как компании способствуют формиро­
ванию неверных представлений о возможностях ИИ с помощью
вводящего в заблуждение маркетинга. Альтман критиковал огра­
ничения ChatGPT, в то время как OpenAI рекламировал способ­
ность GPT-4 сдавать экзамены. Представитель Microsoft Наделла
расхваливал ИИ Bing как инструмент для получения точных ре­
зультатов поиска. Термин «галлюцинации» может ввести в заблу­
ждение, подразумевая редкую ошибку, в то время как на самом
деле это обычная особенность механики подбора шаблонов ней­
ронными сетями.
Такое неуместное доверие к генеративному ИИ может при­
вести к реальному ущербу, особенно в деликатных ситуациях.

122


Цифровая диктатура начинается

Стартапы призывают полицейские департаменты использовать
программное обеспечение, основанное на моделях OpenAI, для
составления отчетов о происшествиях. Многие пациенты предпо­
читают задавать чат-ботам вопросы о здоровье вместо того, что­
бы обращаться к врачам, Невыясненные ошибки в таких случаях
могут привести к серьезным последствиям. Исследование 2023
года показало, что использование ChatGPT для интерпретации
радиологических отчетов может привести к неполным или вред­
ным резюме. В одном из тяжелых случаев чатбот описал расту­
щую массу мозга как «мозг, похоже, не поврежден».
Генеративные модели ИИ уязвимы для взлома системы ки­
бербезопасности. В 2023 году исследователи из университетов и
Google DeepMind воспроизвели атаку Доун Сонг на ChatGPT с
целью извлечения данных. Они обнаружили, что если заставить
модель бесконечно повторять одно слово, то она повторит свои
обучающие данные, содержащие личную информацию, фрагмен­
ты кода и откровенный контент из интернета.
Генеративные модели ИИ усиливают дискриминационный
и ненавистнический контент. Различные источники, такие как
Bloomberg, Rest of World, The Washington Post и другие, проде­
монстрировали, как генераторы изображений, такие как Stable
Diffusion и DALL-E, закрепляют расистские и сексистские сте­
реотипы. Например, «привлекательные люди» изображаются
молодыми и белыми, «домработницы» - чернокожими и смуглы­
ми, а «инженеры» - мужчинами. Даже при запросе «врач из чер­
ной Африки» на картинках часто изображен белый врач. Газета
Washington Post выяснила, что, хотя 63 % получателей продоволь­
ственных талонов в США - белые, все изображения людей, пользу­
ющихся социальными услугами, не были белыми. Bloomberg также
обнаружил, что только 3 % изображений судей и 7 % врачей изо­
бражали женщин, несмотря на то, что женщины составляют 32 % и
39 % представителей этих профессий в Америке соответственно.

123


Эндрю Слоун

Нейросети лжи

Ни одна из технических проблем, с которыми сталкивается ге­
неративный ИИ, не уменьшает его полезности. В зависимости от
вашего положения в обществе, вы можете извлечь пользу из кон­
цепции OpenAI. Вы можете быть потребителем, наслаждающимся
ответами ChatGPT, профессионалом, оптимизирующим админи­
стративные задачи, или руководителем компании, оптимизиру­
ющим работу. Однако, подобно историческим примерам, таким
как хлопковые джины или компании по распознаванию лиц, из­
держки этого видения затрагивают уязвимые слои населения во
всем мире. Логика империи основана на вознаграждении сильных
мирасего, в то время какм ар^налы эксплуатируются и обделены.
В то время как потребность в альтернативах в исследованиях
ИИ растет, разнообразие идей уменьшается. Студенты покидают
программы PhD, чтобы работать в индустрии. Старшим научным
сотрудникам приходится бороться за развитие области без кор­
поративной поддержки. Многие исследователи теперь сосредо­
точены на больших языковых моделях, а не только на глубоком
обучении. Ведущие страны, занимающиеся разработкой ИИ, не
просто влияют на эту область, а доминируют в ней.
В отсутствие других вариантов OpenAI поражает наше вообра­
жение. Его вера в масштабирование, когда-то считавшаяся экстре­
мальной, теперь принята как доктрина во всей технологической
индустрии. Если индустрия продолжит придерживаться этой док­
трины, будущие модели глубокого обучения превзойдут нынеш­
ние невообразимые размеры генеративных моделей ИИ. В апре­
ле 2024 года Дарио Амодеи, тогдашний генеральный директор
Anthropic, сообщил обозревателю New York Times Эзре Кляйну,
что стоимость обучения одной конкурентоспособной генератив­
ной модели ИИ приближается к 1 млрд долларов. К 2025 или 2026
году эта стоимость может вырасти до 5-10 миллиардов долларов.
Доктрина масштабирования имеет глубокие корни, и неко­
торые считают ее естественным явлением. Масштабирование

124


Цифровая диктатура начинается

вычислений рассматривается как основной способ расширения
возможностей ИИ. Национальные стратегии строятся на этом
убеждении. Правительство США активно ограничивает доступ
Китая к американским компьютерным чипам, чтобы помешать
прогрессу ИИ. В указе администрации Байдена об ИИ на 2023 год
подчеркивается важность вычислений для развития ИИ. Однако
улучшение качества нейронной сети или обучающих данных так­
же может повысить производительность, не полагаясь исключи­
тельно на масштаб. Изучение альтернативных подходов к ИИ, та­
ких как нейросимволический ИИ или экспертные системы, может
бросить вызов логике масштабирования.
В конце концов, закон Мура был основан не на физическом
принципе, а на экономическом и политическом наблюдении, сде­
ланным Муром относительно темпов прогресса, которых могла
достичь его компания. Он решил следовать этому закону и по­
будил индустрию компьютерных чипов сделать то же самое, по­
скольку они признали его конкурентоспособность. Закон OpenAI,
который позже сменился более интенсивным поиском законов
масштабирования, похож на это. Это не природное явление, а самоисполняющееся пророчество.

Глава 5
Масштаб амбиций
Если и есть человек, которому можно приписать создание эти­
ки масштабирования OpenAI, то это его сооснователь Илья Суц­
кевер. Суцкевер очень верил в глубокое обучение, которое нача­
лось с того, что в семнадцать лет он без предупреждения посе­
тил офис Джеффри Хинтона. В то время Суцкевер был студентом
математического факультета Университета Торонто и работал в

125


Нейросети лжи

Эндрю Слоун

местном ресторане, чтобы покрыть расходы. Он постучал в дверь
Хинтона, выразив желание присоединиться к лаборатории про­
фессора. Хинтон посоветовал ему назначить встречу, на что Суцкевер ответил: «Может быть, прямо сейчас?».
Суцкевер быстро усвоил принципы коннекционизма. Он пора­
зил Хинтона своим интуитивным пониманием проблем исследо­
вания и удивительным талантом находить элегантные решения.
Суцкевер вносил в исследования свой драматический штрих, ино­
гда так возбуждаясь от новых идей, что отжимался в стойке на
руках в своей общей квартире. Он имел привычку делать твердые
заявления вроде: «Не стоит сомневаться в глубоком обучении,
успех несомненен».
Именно инстинкту и навыкам программирования Алекса Крижевского Хинтон приписывает прорыв в работе над ImageNet в
2012 году. Глубокое обучение было перспективным в распозна­
вании речи, поэтому Хинтон изначально не видел важности его
использования в компьютерном зрении. Суцкевер отстаивал эту
идею, считая, что она будет успешной, что признает и Хинтон.
Суцкевер принес свою твердую веру в глубокое обучение в
OpenAI, когда возникли сомнения относительно этой парадигмы.
Несмотря на то что такие критики, как Гэри Маркус, выступали за
новые подходы, Суцкевер оставался непоколебим. Он верил в ги­
потезу коннекционизма, которая утверждала, что искусственные
узлы в нейронной сети могут приближаться к реальным нейронам
в биологическом мозге. Эти узлы обрабатывают входные сигналы
и генерируют выходные, подобно нейронам, что позволяет созда­
вать сложные системы обработки информации. Будучи научным
руководителем-основателем OpenAI и уважаемым провидцем
ИИ, Суцкевер полностью контролировал направление работы ла­
боратории. Для развития своих идей он располагал исключитель­
ными ресурсами и не испытывал особой конкуренции со стороны
коллег. Питер Аббел, профессор Калифорнийского университета

126


Цифровая диктатура начинается

в Беркли, вспоминает, что в первые годы существования лабора­
тории всерьез рассматривался только глубокий уровень обучения.
Столь же твердой, как и вера Суцкевера в глубокое обучение,
была его точка зрения на его масштабирование. Он занимал край­
нюю позицию, согласно которой для дальнейшего развития ИИ не
нужны более сложные нейронные сети или новые методы. Суцкевер считал, что интеллект видов коррелирует с размером их моз­
га. Он утверждал, что если масштабировать простые нейронные
сети, увеличив количество узлов, то можно добиться прогресса в
цифровом интеллекте.
Подобно профессору, руководящему лабораторией, Суцкевер
советовал другим, какие проекты наиболее ценны. Многие уче­
ные присоединились к OpenAI, ища его наставничества. Один из
исследователей OpenAI описал его как человека, который может
предвидеть будущее, и сравнил его с философом. Другой упомя­
нул, что он может определить, какие идеи являются философски
обоснованными, когда их представлено множество.
Суцкевер редко сам занимался программированием, что ино­
гда вызывало у некоторых сотрудников дискомфорт из-за его без­
различного отношения к технической работе. Поначалу один из
инженеров считал его не слишком полезным, поскольку он в ос­
новном ходил по офису и повторял на совещаниях одно и то же:
масштаб, масштаб, масштаб! Однако позже этот человек осознал
ценность решимости Суцкевера объединить всех вокруг общей
цели, что в итоге позволило OpenAI, тогда еще аутсайдеру, пре­
взойти Google и DeepMind в своей области.
Дело не в том, что Суцкевер был особенно убедителен: если
Альтман был политиком, то Суцкевер - наоборот. Он никогда не
искажал слов и не искажал язык, чтобы угодить аудитории. Он
просто высказывал свое мнение с искренностью и уверенностью.
Люди либо находили отклик на его подход, либо нет. После того
как OpenAI перестала открыто делиться своими исследованиями,

127


Эндрю Слоун

Нейросети лжи

Суцкевер не стал приукрашивать причину. «На самом деле мы
были неправы», - сказал он журналисту Джеймсу Винсенту из The
Verge о первоначальном стремлении компании к прозрачности.
«Если вы, как и мы, верите, что ИИ-АГИ будет чрезвычайно мощ­
ным, то нет смысла открывать исходный код». Он также упомянул
о коммерческих соображениях. «GPT-4 не так-то просто разра­
ботать. Чтобы создать его, потребовалось долгое время совмест­
ной работы всего OpenAI. Многие компании хотят сделать то же
самое».
По мере того как OpenAI расширялась, а Суцкевер привлекал
все больше внимания, его прямая манера говорить иногда созда­
вала проблемы. Он начал обращаться не только к исследователям,
но и к широкой публике, не корректируя свой стиль общения. Он
продолжал уверенно делать смелые заявления, часто не предо­
ставляя достаточного контекста для неспециалистов. В 2022 году
он написал в Твиттере, что современные большие нейронные сети
могут обладать определенным уровнем сознания, несмотря на
предупреждения других исследователей о возможности недопо­
нимания. Ученый из DeepMind, специализирующийся на позна­
нии и сознании, с юмором ответил на это, сравнив это с утверж­
дением, что поле пшеницы немного похоже на макароны. В следу­
ющем году Суцкевер вызвал тревогу, заявив на конференции, что
AGI в конечном итоге заменит все рабочие места. Позже в эфире
программы Х он без научных доказательств заявил, что в будущем
у нас будет высокоэффективная и доступная терапия с помощью
ИИ. Это произошло после того, как один из лидеров OpenAI вы­
звал споры, вскользь уподобив беседы в ChatGPT профессиональ­
ной терапии.
Что привлекло людей последовать за Суцкевером, так это его
репутация и опыт. Многие сотрудники OpenAI знали о его про­
шлом вкладе в эту область и считали его своего рода визионером.
По мере того как OpenAI становилась все более успешной, Суцке-

128


Цифровая диктатура начинается

вер начал все больше воплощать эту роль. Во время общих собра­
ний он вставал перед сотрудниками компании, делал эффектную
паузу и, расхаживая взад-вперед, произносил неясные мотива­
ционные послания. На виртуальной встрече в сентябре 2020 года
он смотрел вдаль и описывал футуристическое видение, которое
казалось научной фантастикой. Тем временем за окном, в райо­
не залива, небо стало оранжевым из-за лесных пожаров. Один из
исследователей вспоминает: «Ощущение было сюрреалистичным,
как будто апокалипсис уже наступил».
Вскоре после выхода ChatGPT в конце 2022 года OpenAI устро­
ила праздничную вечеринку в Калифорнийской академии наук.
Суцкевер, одетый в рубашку OpenAI и черный блейзер, стоял
перед толпой вместе с Брокманом и произносил краткие речи.
В конце Суцкевер, все еще жилистый, но уже лысеющий, поделил­
ся своей новой мантрой «Почувствуй AGI», повторив ее дважды.
Следуя философии Суцкевера о масштабировании простых
нейронных сетей, на заре создания OpenAI встал вопрос: какую
из них масштабировать? Различные исследователи предлагали
разные варианты, но ни одна из популярных в этой области ней­
ронных сетей не казалась подходящей.
В августе 2017 года все изменилось, когда компания Google
создала новую нейронную сеть под названием Transformer. Трансформеры отлично справляются с распознаванием шаблонов на
большом расстоянии. Помните ограниченный предиктивный
текст на ранних моделях iPhone и бессмысленные предложения,
которые они генерировали? Это было связано с анализом шабло­
нов на коротких расстояниях, когда сеть учитывала только слова,
находящиеся рядом. Трансформеры могут обрабатывать большие
объемы текста, анализируя каждое слово, предложение и абзац
в более широком контексте. Google рассматривала трансформер
как инструмент для улучшения своей поисковой системы, Google
Translate и других языковых сервисов. Однако Суцкевер видел в

129


Эндрю Слоун

Нейросети лжи

трансформерах другой потенциал. Он счел их простыми и мас­
штабируемыми нейронными сетями - именно то, что он искал. Он
начал продвигать их в офисе.
Идея Суцкевера сосредоточиться на трансформерах показа­
лась некоторым исследователям странной. Илун Ду, исследова­
тель из Массачусетского технологического института, который
присоединился к OpenAI примерно в то время, сначала посчитал
эту идею странной. Однако Суцкевер, который работал над трансформерами в своей докторской диссертации вместе с Хинтоном,
увидел в них потенциал для развития глубокого обучения. Дру­
гие сотрудники OpenAI разделяли его энтузиазм. Исследователи,
такие как Алек Рэдфорд, выпускник инженерного колледжа Олин
в Бостоне, начали экспериментировать с трансформерами. Рэд­
форд, известный своими техническими навыками, неустанно ра­
ботал на своем ноутбуке до поздней ночи, чтобы масштабировать
Transformers и наблюдать за результатами.
Рэдфорд обучил нейронную сеть Google на наборе данных,
включающем более семи тысяч неопубликованных англоязычных
книг различных жанров. Он получил этот набор данных от других
исследователей ИИ, которые ранее собрали его и поделились им
для другого проекта. В ходе экспериментов он решил изменить
задачу обучения Transformer с перевода языка на генерацию тек­
ста. Исследователи OpenAI предсказывали, что генеративные
модели будут иметь решающее значение для создания AGI. Они
сравнивали ситуацию с цитатой физика Ричарда Фейнмана: «То,
что я не могу создать, я не понимаю». Суцкевер рассматривал об­
учение модели генерировать убедительный контент как способ
сжатия данных о мире до его сути, считая, что интеллект - это, по
сути, сжатие. Рэдфорд обнаружил, что, поставив перед алгорит­
мом задачу создания убедительного текста путем предсказания
следующего слова, он эффективно постигает нюансы и структуру
английского языка на более глубоком уровне.

130


Цифровая диктатура начинается

Во время одного из визитов Маска в офис Рэдфорд продемон­
стрировал первые результаты своей работы. Поначалу модель вы­
давала некачественный текст, что разочаровало Маска. Поначалу
Рэдфорд был обескуражен, однако его удивило быстрое улучше­
ние работы трансформера. Он значительно лучше справлялся с
различными задачами по обработке языка, такими как составле­
ние резюме или ответы на вопросы, связанные с документами, по
сравнению с теми, которые он тестировал ранее.
В 2018 году OpenAI выпустила первую версию модели под на­
званием Generative Pre-Trained Transformer, позже известную как
GPT-1. Термин «pre-trained» в названии означает обучение моде­
ли на общем наборе данных перед тем, как обучать ее конкретным
задачам. GPT-1 был обучен на общем наборе данных по англий­
скому языку, чтобы понять его. Позже модель можно было до­
работать, обучив ее на более специфическом наборе данных, на­
пример пьесах Шекспира, для создания похожей прозы. Поначалу
GPT-1 не привлек особого внимания, но это стало началом нового
направления. Подтверждение идеи Рэдфордом стимулировало
дальнейшее развитие. Следующим шагом стало масштабирование
проекта.
Рэдфорд получил от компании дополнительные вычислитель­
ные ресурсы. Его работа была связана с новым проектом по без­
опасности ИИ, который курировал Амодей и который был вдох­
новлен книгой Ника Бострома «Сверхразум». В 2017 году команда
Амодея начала изучать новый метод согласования систем ИИ с
предпочтениями человека. Для начала они научили агента ИИ
делать сальто назад в виртуальной среде, похожей на видеоигру.
Агент, представляющий собой симуляцию Т-образной палки с
тремя суставами, обучался с помощью обратной связи. Подряд­
чики наблюдали за движениями агента и выбирали, какие из них
больше похожи на сальто назад. После примерно девятисот срав­

131


Эндрю Слоун

Нейросети лжи

нений Т-образная палка успешно выполняла сальто назад. В сво­
ем блоге компания OpenAI рассказала об этой методике как о спо­
собе управления моделями ИИ с помощью сложных инструкций,
назвав ее «обучением с подкреплением на основе обратной связи
от людей».
Амодей стремился выйти за рамки игрушечной среды. Работа
Рэдфорда над GPT-1 вдохновила его на идею использования язы­
ковых моделей. Однако у GPT-1 были ограничения. В 2019 году
Амодей выразил желание создать языковую модель, с которой
люди могли бы давать обратную связь и эффективно взаимодей­
ствовать. Цель состояла в том, чтобы создать языковую модель,
достаточно мощную, чтобы участвовать в содержательных бесе­
дах о человеческих ценностях и предпочтениях.
Рэдфорд и Амодей сотрудничали. Рэдфорд собирал все более
широкий и разнообразный набор данных, а Амодей и другие ис­
следователи в области безопасности ИИ обучали все более круп­
ные модели. Их целью было создание окончательной модели с 1,5
миллиардами параметров, одной из самых больших в отрасли на
тот момент. Эта работа подтвердила эффективность трансформеров и идею, которую команда Амодея начала развивать после
работы над законом OpenAI. Они обнаружили не один эмпи­
рический закон, а несколько, которые они назвали «законами
масштабирования».
Закон OpenAI описывает расширение области в повышении
производительности ИИ. Законы масштабирования объясняют
связь между производительностью модели глубокого обучения и
тремя ключевыми параметрами: объемом обучающих данных, вы­
числительной мощностью и параметрами. Исследователи полага­
ли, что пропорциональное увеличение этих параметров приведет
к улучшению возможностей модели. Амодей и его команда обна­
ружили плавную кривую зависимости между этими параметрами
и производительностью модели в конкретных задачах, таких как

132


Цифровая диктатура начинается

предсказание следующего слова. Это позволило точно оценить
данные, вычислительные мощности и параметры, необходимые
для достижения желаемого уровня производительности. Увеличе­
ние этих параметров должно повысить производительность для
возможностей, в некоторой степени коррелирующих с предсказа­
нием следующего слова.
Кластер моделей, обученных OpenAI до финальной версии с
1,5 миллиардами параметров, продемонстрировал явный про­
гресс в возможностях. Самая крупная модель, названная GPT-2,
значительно превзошла GPT-1 в создании связного и длинного
текста, напоминающего человеческую речь. Хотя по сравнению с
существующими моделями текст был иногда неуклюжим и неле­
пым, он стал первым шагом к автоматизации крупномасштабного
письма.
Более мрачным сюрпризом для команды стал контент, создан­
ный GPT-2, с его улучшенной связностью. Получив такие слова,
как Хиллари Клинтон или Джордж Сорос, языковая модель могла
легко начать продвигать теории заговора. В обучающих данных
неожиданно появлялась неонацистская пропаганда. Тревожное
поведение модели обеспокоило исследователей безопасности ИИ,
которые увидели в нем признак потенциальных будущих рисков
от более продвинутых неправильных ИИ. После того как GPT-2
раскритиковала переработку мусора, один из исследователей рас­
печатал копию и повесил ее над мусорными контейнерами в офи­
се в качестве шутки и предупреждения.
В другом случае кто-то попросил GPT-2 предложить систему
поощрения для маленьких детей, которые выполняют домашние
задания и работу по дому. Когда GPT-2 предложил использовать
конфеты, это вызвало беспокойство у экспертов по безопасности
ИИ, которые соотнесли это с тактикой, используемой хищниками.
Сотрудник из Европы был удивлен такой реакцией. Он вспомнил
свой собственный опыт, когда его награждали мороженым за вы­

133


Эндрю Слоун

Нейросети лжи

полнение работы по дому по воскресеньям летом. Он усомнил­
ся в том, что повышенная чувствительность характерна только
для американцев. Это заставило его усомниться в том, что цель
OpenAI - принести пользу человечеству без разнообразного гло­
бального вклада. Несмотря на схожую культуру с США, он часто
чувствовал себя оторванным от жизни из-за сильного внимания к
американским ценностям и нормам при обсуждении безопасно­
сти ии.
GPT-2 вызвал в OpenAI дискуссию о том, не пора ли начать
отказываться от исследований. Устав предусматривал такой сце­
нарий. Амодей, который сейчас является директором по исследо­
ваниям, и Джек Кларк, отвечающий за политику, возглавили про­
цесс принятия решений. Они провели опрос и организовали сове­
щания по вопросам «информационной опасности», чтобы решить
проблему потенциального нецелевого использования технологии.
Они опасались, что если GPT-2 попадет в чужие руки, например к
террористам или диктаторам, то может быть использована не по
назначению. Они считали, что будущие модели станут еще мощнее
и риск возрастет. Поэтому они решили, что лучше создать преце­
дент отказа от исследований на ранних этапах. OpenAI решила не
выпускать полную версию.
Джек Кларк, бывший журналист, был директором по страте­
гии и коммуникациям OpenAI. В конце 2018 года он полностью
переключился на развитие политического присутствия. Он часто
посещал Вашингтон и с удовольствием выступал в роли главного
эксперта по ИИ для политиков. Он с юмором называл себя «Ви­
кипедией ИИ» и открыто признавал свою предвзятость по отно­
шению к OpenAI. Он подчеркнул важность последовательной по­
литики в отношении передовых технологий, которая охватывает
различные политические администрации в связи с долгосрочным
характером их миссии.

134


Цифровая диктатура начинается

Рассказав мне об этом, он добавил: «Нам очень повезло, что
политики дают нам много времени. Очевидно, что для того, чтобы
все шло хорошо, нам нужно, чтобы у них было больше информа­
ции и средств для создания собственной информации».
В феврале 2019 года Кларк начал кампанию в СМИ, предупре­
ждая через различные издания, что OpenAI разработала опасную
технологию и задерживает ее выпуск. Вместо этого они планиро­
вали выпустить уменьшенную версию, содержащую лишь 8 % пара­
метров полной модели, чтобы продемонстрировать ее возможно­
сти. В соавторстве с Амодеем и другими Кларк опубликовал в блоге
пост, в котором привел примеры результатов работы GPT-2, чтобы
продемонстрировать ее потенциал. В интервью с моим бывшим
коллегой по MIT Technology Review Уиллом Найтом Кларк выразил
опасения, что через один-два года технология может быть исполь­
зована для дезинформации или пропаганды. Он избежал упомина­
ния о том, что OpenAI возглавляет усилия по продвижению техно­
логии в эти сроки, заявив: «Мы пытаемся опередить это».
Решение OpenAI подверглось резкой критике со стороны внеш­
них исследователей, которые верили в важность открытой науки.
Они с подозрением относились к любой организации, не участвую­
щей в проекте, особенно к тем, кто открыто пропагандировал свой
выбор. Многие сочли тревогу OpenAI по поводу GPT-2, мощного
инструмента автозаполнения, преувеличенной и абсурдной. Они
считали, что GPT-2 недостаточно развит, чтобы представлять се­
рьезную угрозу. А если бы и представлял, то зачем было объявлять
об этом и препятствовать публичному изучению? Вся ситуация вы­
глядела неискренней и напоминала саморекламный трюк. В Стэн­
форде во время доклада Рэдфорда о GPT-2 один уважаемый про­
фессор в области обработки естественного языка в шутку спросил,
не опасно ли это. Зал разразился хохотом. Один из исследователей
Стэнфорда вспоминал: «Алек выглядел разочарованным. В Стэн­
форде с большим презрением относились к OpenAI».

135


Эндрю Слоун

Нейросети лжи

В OpenAI многие исследователи не согласились с решением
Амодея и Кларка. Некоторых смутило то внимание, которое оно
вызвало, особенно тех, кто не разделял их взглядов на катастро­
фические риски. Даже среди тех, кто разделял, некоторые стави­
ли под сомнение суждения пары. Исследователь безопасности AI
сказал: «Было ошибкой поднимать вокруг этого такую шумиху.
Это было похоже на волчий крик».
Сразу же после того, как на него обрушился удар, Кларк с ма­
ниакальной энергией носился по офису, принимая звонок за звон­
ком, чтобы восстановить контроль над ситуацией. Он отмахнулся
от споров, заявив: «Мы нарушаем нормы, что приводит к появле­
нию различных мнений». Во время моего визита в офис он упо­
мянул, что организации, проводящие передовые исследования в
области ИИ, должны быть более избирательны в публикациях.
OpenAI стала пионером в этом процессе, чтобы не оказаться не­
подготовленной. Кларк подчеркнул важность наличия надежных
процедур защиты информации в случае разработки AGI.
Он добавил, что, хотя исследователям, возможно, и не понра­
вился шаг OpenAI, политикам он пришелся по душе. Многие в Ва­
шингтоне рассматривали открытую культуру исследований в об­
ласти ИИ как угрозу. Готовность OpenAI бросить вызов нормам
заслужила больше доверия в Вашингтоне.
За кулисами руководство осознало, что враждебность со сто­
роны исследовательского сообщества неприемлема. Лаборатория
столкнулась с многочисленными репутационными проблемами
из-за своих преувеличенных заявлений о AGI, чрезмерного мар­
кетинга GPT-2 и спорной структуры Франкенштейна, объявлен­
ной в начале 2019 года. Критика нарастала, особенно со стороны
ведущих исследователей, что привело к росту скептицизма. Кроме
того, отсутствие значимого капитала затрудняло привлечение и
удержание талантов. Сотрудники подозревали, что внешние кан­
дидаты могут использовать предложения от OpenAI для заклю­

136


Цифровая диктатура начинается

чения более выгодных сделок с такими компаниями, как Google
или DeepMind. OpenAI необходимо было зарекомендовать себя
как надежную исследовательскую организацию.
Эта тема часто обсуждалась во время обедов, собраний ком­
пании и во внутреннем документе под названием «Мозговой
штурм по работе с исследовательским сообществом». В разделе,
озаглавленном «Стратегия», говорилось: «Явно рассматривать со­
общество ML в качестве заинтересованной стороны в коммуни­
кациях», используя аббревиатуру для машинного обучения. Пред­
лагается «скорректировать наш тон и внешние сообщения, чтобы
не антагонизировать их, если только это не делается намеренно».
В документе также признается, что негативная исследовательская
репутация может ослабить влияние OpenAI в Вашингтоне. В до­
кументе подчеркивается важность того, чтобы OpenAI считалась
самым надежным источником информации об исследованиях в
области ML и AGI, чтобы оказывать влияние на политику на пра­
вительственном уровне. В документе подчеркивается, что широ­
кая поддержка и одобрение со стороны исследовательского сооб­
щества имеют решающее значение не только для создания такой
репутации, но и для усиления нашего послания.
Команда Кларка разработала новый план: поэтапный выпуск.
Вместо того чтобы вечно скрывать GPT-2, OpenAI решила вы­
пускать свои все более крупные модели в разное время. В случае
успеха они в конце концов выпустят полную версию с 1,5 мил­
лиардами параметров. Такой подход позволит OpenAI и другим
разработчикам отслеживать и решать все новые проблемы посте­
пенно. Кроме того, у лаборатории будет время на сотрудничество
с другими организациями для изучения рисков на каждом этапе.
Кларк подчеркнул, что для его команды важно создать эко­
систему с помощью партнерских отношений. Сотрудничество с
авторитетными учреждениями укрепит взаимодействие между
промышленностью и научными кругами в решении проблем без­

137


Эндрю Слоун

Нейросети лжи

опасности ИИ. Такой подход увеличит поддержку усилий OpenAI
по изменению норм выпуска научных работ и укрепит репутацию
лаборатории. Его команда связалась с исследователями ИИ и без­
опасности из нескольких организаций, предоставив им ранний
доступ к полной версии GPT-2, чтобы оценить ее потенциальные
риски. Кларк поручил своей команде заручиться весомой под­
держкой организации каждого исследователя, что позволило бы
OpenAI признать как отдельных людей, так и их организации в
качестве партнеров. Затем команда подготовила белый документ,
в котором изложила стратегию выпуска и рассказала о партнер­
ских отношениях. Они стремились позиционировать OpenAI как
лидера, показывая организации, которые также отложили выпуск
своих исследований после GPT-2.
Эта работа принесла свои плоды, поскольку вызвала дискус­
сии в промышленных группах и политических аналитических
центрах об утаивании результатов исследований как ответствен­
ном способе управления рисками безопасности ИИ. В конце 2020
года Кларк вместе с братьями Амодеи покинул OpenAI и основал
компанию Anthropic. Его работа в OpenAI помогла установить ее
влияние и заложить основу для ее обширных политических целей.
OpenAI начала создавать дорожную карту для организации
своих исследований. Амодей рассматривал это как управление ин­
вестициями, называя это «портфелем ставок». Он и другие иссле­
дователи следили за различными идеями в этой области, вытека­
ющими из разных философий достижения искусственного обще­
го интеллекта. Они продвигали каждую идею, проводя небольшие
эксперименты. OpenAI продолжал реализовывать перспективные
идеи и отбрасывал те, которые не приносили результатов.
Проект по победе в чемпионате по видеоигре Dota 2 был тем
направлением, которое, по мнению Амодея, больше не было по­
лезным. Команда победила своих соперников, достигла своей

138


Цифровая диктатура начинается

цели в апреле и внесла свой вклад в инвестиции Microsoft. Для не­
которых людей это также повысило уверенность в стратегии мас­
штабирования компании. Амодей посчитал проект завершенным,
что привело к расформированию команды Dota 2.
Амодей нашел продолжение в GPT-2, представляющей собой
спор, известный как гипотеза «чистого языка». Согласно этой
теории, язык является основным средством человеческого об­
щения, что подразумевает, что все знания о мире должны быть
зафиксированы в тексте. Следовательно, AGI может появиться в
результате обучения алгоритма исключительно на огромном ко­
личестве языка. Это контрастирует с гипотезой «заземления»,
которая подчеркивает важность физического мира, человеческо­
го восприятия и взаимодействия для интеллекта. Согласно этой
гипотезе, для возникновения AGI потребуется сочетание языка,
восприятия (например, компьютерного зрения) и взаимодействия
(с помощью физических или виртуальных агентов, совершающих
действия в реальном мире).
В документах компании исследователи обсуждали различные
подходы. Сотрудники службы безопасности ИИ обсуждали ги­
потезу «чистого языка», проводя неуместные аналогии с людьми
с ограниченными возможностями. Эти дискуссии показали, как
оценка интеллекта может быстро привести к тревожным сужде­
ниям об уровне интеллекта различных групп.
«Язык, в той или иной форме, отличает одичавшего человека
от интегрированного в общество. Например, Хелен Келлер», - го­
ворится в документе, озаглавленном «Некоторые первоначальные
аргументы в пользу центрального значения языка». На полях до­
кумента исследователи безопасности ИИ обсуждали плюсы и ми­
нусы «чистого языка» в комментариях.
«Один из исследователей написал, что слепые люди обладают
такими же способностями, как и зрячие, что говорит о том, что
визуальное обоснование может быть необязательным».

139


Эндрю Слоун

Нейросети лжи

«Слепые люди находятся в крайне невыгодном экономическом
положении», - ответил другой человек, ссылаясь на статистику
Национальной федерации слепых. Согласно этим данным, более
70 % взрослых людей с нарушениями зрения не работают полный
рабочий день.
«Слепые люди все равно намного способнее шимпанзе», - отве­
тил третий. «Есть очень впечатляющие слепые люди».
Многие в OpenAI поначалу скептически относились к чисто
языковым возможностям, но GPT-2 изменил их мнение. Обучив
модель более точно предсказывать следующее слово, она стала
лучше справляться с различными задачами по обработке языка.
Казалось, что, повысив точность предсказания следующего сло­
ва, модель сможет развить более широкий спектр возможностей.
Амодей рассматривал масштабирование языковых моделей как
быстрый, хотя и не единственный, путь к достижению AGI. Ко­
манда робототехников столкнулась с аппаратными проблемами
своей роботизированной руки, что мешало прогрессу, несмотря
на дороговизну и медлительность.
Возникла проблема: если OpenAI продолжит наращивать язы­
ковые модели, это может усугубить опасность, о которой она
предупреждала в GPT-2. Амодей утверждал, а Альтман согласил­
ся, что это не должно их останавливать. Вместо этого они решили
быстро масштабировать языковую модель, но отложить ее выпуск.
GPT-2 показал, как легко другие могут получить доступ к мощно­
му ИИ; два студента даже сделали версию с открытым исходным
кодом до выхода OpenAI. Было неизбежно, что языковые моде­
ли будут масштабировать еще больше людей. Чтобы обеспечить
безопасность AGI, OpenAI нужно было двигаться вперед и рабо­
тать над тем, чтобы сделать свою модель более безопасной. Когда
придет время обнародовать модель, ее доработка поможет уста­
новить стандарты безопасности ИИ, подобно тому, как сокрытие
GPT-2 изначально изменило нормы выпуска исследований.

140


Цифровая диктатура начинается

После выхода версии GPT-2 стало ясно, что риски, связанные
с использованием чисто языковых моделей, не столь серьезны.
Компания OpenAI подтвердила, что она не использовалась в мас­
штабных кампаниях по дезинформации, которые считаются ме­
нее опасными, чем экзистенциальные угрозы, создаваемые AGI.
«Очевидно, что злоупотребление - это нехорошо», - сказал мне
Амодей. «Языковая модель менее мощная, чем искусственный ин­
теллект. Меня очень беспокоит, что языковые модели могут быть
использованы для дезинформации. Меня это очень пугает. В то
же время это относительно единичная, четкая и определенная
проблема».
С точки зрения Амодея, масштабирование GPT-2 рассматрива­
лось как самый быстрый способ продвижения к AGI. Он считал,
что с рисками, связанными с дезинформацией и дезинформиро­
ванием, можно эффективно справиться. Такой подход обеспечит
OpenAI безопасную среду для тестирования и доработки мощной
системы ИИ перед ее выпуском.
«Что такое AGI? Как выглядит AGI?» спросил Амодей. Он объ­
яснил, что, поскольку мы не знаем, как выглядит AGI и когда он
появится, мы фокусируемся на задачах, которые имитируют неко­
торые аспекты AGI. Освоив эти задачи, мы подготовимся к реше­
нию более сложных проблем.
Эта логика исходила из предположения, что AGI, хотя и бес­
форменный и загадочный, обязательно придет. OpenAI продол­
жала защищать свои действия, используя подобные аргументы в
течение многих лет. Столкнувшись с надвигающимся приходом
AGI, компания почувствовала необходимость создавать все более
совершенные модели, чтобы подготовиться к нему и помочь об­
ществу тоже подготовиться. Несмотря на риски, которые несли
эти модели, знания, которые они давали для предотвращения или
преодоления потенциальной катастрофы ИИ, делали эти риски
приемлемыми.

141


Нейросети лжи

Эндрю Слоун

В начале 2023 года, когда ChatGPT завоевал популярность во
всем мире, один китайский исследователь ИИ поделился со мной
четким анализом, который опроверг доводы OpenAI. Он отметил,
что то, чего добилась OpenAI, было возможно только в Кремние­
вой долине. В Китае, несмотря на сопоставимые с США таланты
в области ИИ, вряд ли команда получит 1 миллиард долларов, не
говоря уже о сумме в десять раз больше, не имея четкого представ­
ления о назначении технологии. Только после запуска ChatGPT
китайские компании и инвесторы начали вкладывать деньги в
масштабные модели, будучи уверенными в их способности при­
носить прибыль при коммерческом использовании.
В ходе своей работы я обнаружил нечто удивительное. Даже в
Кремниевой долине компании и инвесторы стали вкладывать зна­
чительные средства в масштабирование только после ChatGPT
В том числе Google и DeepMind, первоначальный конкурент
OpenAI. Именно OpenAI, с ее богатыми основателями, уникаль­
ными убеждениями, а также решимостью и умением Альтмана
собирать средства, проложила путь к доминированию своего ви­
дения. Один из бывших сотрудников описывал Сэма как чрезвы­
чайно амбициозного человека. По сути, действия OpenAI не были
неизбежными; высокая стоимость больших моделей глубокого
обучения и конкурентная борьба за их глобальное масштабирова­
ние возникли исключительно благодаря OpenAI.
Для демонстрации Гейтса в апреле 2019 года OpenAI уже мас­
штабировала GPT-2, чтобы сделать его немного больше. Однако
Амодей нацелился на значительное расширение. Чтобы продви­
нуть прогресс OpenAI, GPT-3 должен быть как можно больше.
Microsoft готовилась предоставить OpenAI новый суперкомпью­
тер в рамках своих инвестиций, оснащенный десятью тысячами
Nvidia V l00, самыми мощными GPU для обучения моделей глу­
бокого обучения на тот момент. Буква «У» в слове V l00 означала

142


Цифровая диктатура начинается

имя итальянского химика и физика Алессандро Вольта. Амодеи
планировал использовать все эти чипы одновременно для разра­
ботки новой модели большого языка.
Многим эта идея показалась абсурдной. Раньше модели счита­
лись масштабными, если они обучались на нескольких десятках
чипов. В ведущих академических лабораториях, таких как Мас­
сачусетский технологический институт и Стэнфорд, аспирантам
везло на десяток чипов. В университетах за пределами США, на­
пример в Индии, студенты часто делили один чип с другими, имея
лишь часть GPU для своих исследований.
Многие исследователи OpenAI сомневались, что идея Амодея
будет успешной. Некоторые предлагали более медленное масшта­
бирование для большей научной предсказуемости. Несмотря на
это, Амодей твердо стоял на своего предложения и пользовался
поддержкой других руководителей. Суцкевер хотел проверить
свою теорию масштабирования трансформаторов, Брокман стре­
мился повысить репутацию компании, а Альтман выступал за
смелые действия. Вскоре после этого Амодея повысили до ви­
це-президента по исследованиям.
За кулисами Альтман знал об инвестициях Microsoft в разме­
ре 1 миллиарда долларов и соответствующих ожиданиях. OpenAI
должна была предоставить что-то ценное, чтобы оправдать
расходы. В то время как Амодей считал более широкую языко­
вую модель критически важной для исследований безопасности
ИИ, Альтман видел в ней потенциал для выполнения обещания
OpenAI перед Microsoft.
В ближайшие месяцы между Амодеем и Альтманом произошел
конфликт по поводу выпуска GPT-3. Решение Альтмана ускорить
выпуск модели оказало бы значительное влияние на развитие ИИ.
Оно привело к острой конкуренции между компаниями и страна­
ми, расширению капитализма слежки и эксплуатации труда. Это
решение концентрировало развитие технологий, исключая дру­

143


Эндрю Слоун

Нейросети лжи

гие. Оно также усилило цикл потери университетами талантов в
пользу промышленности, ослабив академические исследования и
подотчетность. Воздействие ИИ на окружающую среду усилилось
без надлежащего регулирования и прозрачности, что ставит пе­
ред экспертами и правительствами задачу всесторонней оценки.
Но все это было еще впереди. Осенью 2019 года Амодей сфор­
мировал команду под названием Nest, состоящую в основном из
других исследователей безопасности ИИ. Их целью было сохра­
нить строгий контроль над развитием GPT-3 внутри компании.
Впоследствии команда начала активно работать над расширением.
GPT-3, как и GPT-2, был усовершенствован за счет значитель­
ного увеличения объема получаемых данных и вычислительной
мощности, что сделало его намного больше. Благодаря этому раз­
ница между двумя моделями выглядела скорее как различие в виде,
а не в степени. Однако использование десяти тысяч чипов созда­
вало новые проблемы. Существовала небольшая вероятность того,
что любой чип может выйти из строя во время обучения, подобно
тому, как ноутбук может выйти из строя при слишком большом ко­
личестве открытых окон. Если бы один чип сломался, весь процесс
обучения был бы неудачным и потребовал бы перезапуска. Вероят­
ность сбоя чипа значительно возрастала при наличии десяти тысяч
графических процессоров. Такая ошибка обошлась бы очень дорого
как по деньгам, так и по времени, тем более что команда Nest пред­
полагала, что обучение продлится как минимум несколько месяцев.
Для решения этой проблемы команде потребовался метод
возобновления обучения модели с того места, где оно останови­
лось после перерыва. Также необходимо было выбрать стратегию
шардинге, чтобы распределить обучение по всем десяти тысячам
чипов. Для этого нужно было разделить модель на более мелкие
части, обучить каждую часть на разных кластерах GPU, а затем
объединить их.

144


Цифровая диктатура начинается

С данными возникла проблема: для оптимальной работы на­
бор данных должен был расти пропорционально количеству па­
раметров и вычислительной мощности. Если бы параметров было
слишком много, а данных недостаточно, модель могла бы начать
повторять строки из обучающих данных, что сделало бы ее неэ­
ффективной. Рэдфорд избирательно подходил к выбору данных
для GPT-2, отбирая текст из статей и веб-сайтов, размещенных на
Reddit и набравших не менее трех upvotes. В результате получи­
лась сорокагигабайтная коллекция из примерно восьми миллио­
нов документов под названием WebText.
Для GPT-3 этого оказалось недостаточно, поэтому Nest до­
бавили больше данных. Они включили более широкий спектр
ссылок из Reddit, англоязычной Википедии и набора данных под
названием Books2. Этот набор данных, который так и не был пол­
ностью раскрыт OpenAI, предположительно содержал книги из
Library Genesis, онлайн-хранилища торрентов с книгами и науч­
ными статьями. В 2023 году Гильдия авторов и семнадцать авто­
ров, таких как Джордж Р. Р. Мартин и Джоди Пикоулт, подали в суд
на OpenAI и Microsoft за нарушение авторских прав. OpenAI отве­
тила в марте 2024 года, заявив, что удалила наборы данных и пе­
рестала их использовать после того, как GPT-3.5 был устаревшим.
Этих данных все равно было недостаточно. В итоге Нест обра­
тился к общедоступному набору данных под названием Common
Crawl, который содержит миллионы гигабайт текста с различных
веб-сайтов. Рэдфорд избегал этого источника из-за его низко­
го качества. Чтобы улучшить данные, команда Nest использова­
ла модель машинного обучения для выявления в Common Crawl
образцов, похожих на статьи Википедии. Отдавая предпочтение
данным, похожим на Википедию, они стремились повысить их ка­
чество. Они также включили образцы на других языках, кроме ан­
глийского, которые составили всего 7 % данных. Однако во время
обучения модели исследователи рассматривали отфильтрованные

145


Эндрю Слоун

Нейросети лжи

данные Common Crawl как наименее важные. GPT-2 представлял
собой пик качества данных, после чего оно снизилось.
При сборе данных для GPT-4 два года спустя акцент был сде­
лан на количество, а не на качество. Из данных Common Crawl был
удален фильтр, и большая их часть была включена. Благодаря пар­
тнерству с Microsoft компания OpenAI получила полную загруз­
ку GitHub, онлайн-репозитория кода, принадлежащего Microsoft.
Чтобы собрать больше данных, сотрудники OpenAI искали их в
Интернете, собирая ссылки из Twitter, расшифровывая видеоро­
лики на YouTube и компилируя различные источники контента,
такие как нишевые 6 л о г и , существующие онлайн-дампы данных и
сайт для хранения текстов под названием Pastebin. Все, что не со­
держит предупреждения о недопустимости скраппинга, они счи­
тали пригодным для использования.
В Google некоторые исследователи сетовали на готовность
OpenAI идти на юридический риск ради сбора данных, считая это
главным преимуществом. Google была более консервативна в во­
просах доступа к данным и имела строгий протокол для соблюде­
ния нормативных требований, включая европейский закон о кон­
фиденциальности данных, известный как GDPR. По иронии судь­
бы, приверженность Google к соблюдению правил дала OpenAI
более легкий доступ к данным Google, чем самой Google. OpenAI
с легкостью брал и переписывал видео с YouTube, принадлежа­
щего Google, в то время как исследователи Google сталкивались
с внутренними препятствиями, чтобы соответствовать лицензии
на контент YouTube. OpenAI, не заботясь о соблюдении правил,
следовала типичному для Кремниевой долины менталитету, когда
стартапы поощряются расширять правовые траницы, чтобы раз­
рушить отрасли.
Решение снизить барьеры качества, а затем и вовсе убрать их
оказало значительное влияние на человеческий труд, обслужива­
ющий системы ИИ. Технологическая отрасль долгое время пола­

146


Цифровая диктатура начинается

галась на низкооплачиваемых работников, находящихся в неста­
бильных экономических условиях, которые подготавливали дан­
ные для моделей ИИ, сортируя текст и маркируя изображения.
С появлением GPT-3 и принятием им больших наборов данных
низкого качества фокус работы сместился с обработки в основном
безобидного контента на тревожный контент, например социаль­
ные сети. В связи с этим возникла необходимость в модерации
контента, чтобы предотвратить распространение системами ИИ
насильственного, оскорбительного или вредного контента среди
миллионов пользователей.
«Происходит большой сдвиг парадигмы в том, как вы контро­
лируете выход этих моделей, - говорит Райан Колли, генеральный
директор и управляющий директор Appen, платформы, соеди­
няющей компании Кремниевой долины с работниками, заняты­
ми обработкой данных. В традиционном ИИ вы контролируете
результат, ограничивая входные данные, как это сделала коман­
да Рэдфорда, фильтруя данные, поскольку она учится только на
предоставленных примерах. Проблема генеративного ИИ заклю­
чается в том, что он учится на всей совокупности человеческих
данных, что делает необходимым контроль над результатами.
В работе 2023 года Абеба Бирхане и ее соавторы ввели понятие
«ненавистных законов масштабирования» для критики обучения
моделей глубокого обучения на нефильтрованных данных, назы­
ваемых «болотами данных». Они проанализировали два обще­
доступных набора данных изображений и текстов, LAION-400M
и LAION-2B-en, взятых из Common Crawl. В LAION-400M было
400 миллионов изображений, а в LAION-2B-en - два миллиарда.
Было обнаружено, что количество ненавистного и оскорбитель­
ного контента увеличивалось с ростом размера набора данных,
что ухудшало дискриминационное поведение обученных моде­
лей. Модели, обученные на двух миллиардах изображений, в пять
раз чаще, чем модели, обученные на 400 миллионах изображений,

147


Эндрю Слоун

Нейросети лжи

идентифицировали чернокожих мужчин как преступников. В том
же году Стэнфордское исследование LAION-5B, набора данных из
пяти миллиардов изображений, использовавшегося для обучения
Stable Diffusion, выявило тысячи изображений с подтвержденным
и предполагаемым сексуальным насилием над детьми.
OpenAI использовала различные тактики для управления ре­
зультатами. Они нанимали работников в Кении за менее чем два
доллара в час для создания автоматического фильтра модерации
контента. Об этом стало известно от корреспондента журнала
Time Билли Перриго. Кроме того, они наняли более тысячи под­
рядчиков по всему миру, чтобы использовать метод обучения с
подкреплением на основе человеческой обратной связи (RLHF).
Эта методика была разработана для обучения агента ИИ сальто
назад на языковых моделях. Подрядчики неоднократно подска­
зывали модели и оценивали ответы, чтобы эффективно обучить
модель.
Хито Штайерль, немецкий художник и режиссер, сняла доку­
ментальный фильм о сирийских беженцах, занимающихся сбором
данных. Она согласилась с критикой Бирхана, заявив, что массо­
вая слежка как основа сбора данных приводит к накоплению пси­
хологически вредного материала. Чтобы решить эту проблему,
нам нужно вернуться к первопричине, подвергнув сомнению со­
держание данных и поставив под сомнение всю концепцию повсе­
местного, неизбирательного изъятия данных.

148


Ч а с т ь 11
Глава 6
Вознесение
В начале своей карьеры Альтман заметил, что новые руков°дители добивались успеха, «перестраивая» компанию. Став пре­
зидентом, он применил эту стратегию в УС. Альтман ввел новые
программы и фонд для усиления поддержки стартапов на разных
стадиях. Он сместил акцент на такие сложные технологии, как
ядерный синтез, квантовые вычисления и самоуправляемые авто­
мобили. УС, уже ставший престижным брендом, расширил свое
влияние с нескольких сотен до тысяч компаний в год, став клю­
чевым игроком в Кремниевой долине. Уходя с поста президента,
Альтман выразил гордость за построение империи.
Конец его эры в УС ознаменовал начало его новой эры в OpenAI.
В марте 2019 года, когда он перешел в OpenAI на полную ставку, он
быстро принес с собой тот же агрессивный образ мышления, что и
в УС. Он стремился к тому, чтобы OpenAI не просто вошла в числ°
ведущих организаций в области ИИ, а стала единственным лиде­
ром. Альтман через УС и другие платформы советовал основателям
рассматривать стартапы как соревнование победителей. Чтобы до­
биться успеха, он подчеркнул необходимость действовать быстро и
настойчиво, чтобы превзойти и опередить конкурентов.
Магическое число, которое он часто использовал, - десято,
вдохновленное монопольной стратегией Тиля. Во время своей
лекции в Стэнфорде в 2014 году Тиль упомянул, что технология
должна быть в десять раз лучше, чем следующая лучшая вещь. На­
пример, Amazon продавал в 10 раз больше книг, чем физические
книжные магазины. PayPal, его компания, обрабатывала платежи в

149


Эндрю Слоун

Нейросети лжи

10 раз быстрее, чем клиринговые чеки. Тиль подчеркнул важность
значительного улучшения, возможно, десятикратного, в каком-то
важном аспекте.
Десять было магическим числом Альтмана для всего. Он со­
ветовал стартапам выходить на рынок с технологией, которая
в 10 раз лучше, и улучшать ее в 10 раз с каждой новой версией
. Скорость выхода на рынок каждой новой версии имела реша­
ющее значение. В 2017 году Альтман сказал группе начинающих
предпринимателей, что еженедельный цикл итераций по сравне­
нию с трехмесячным циклом конкурентов даст им значительное
преимущество.
В УС Альтман призвал своих партнеров увеличить количество
финансируемых компаний в 10 раз. На одном из мероприятий он
изложил свою стратегию, нацеленную на дальнейший рост. Олтман считает, что в один прекрасный день он будет финансировать
все компании по всему миру. Джефф Ралстон, преемник Альтмана
в УС, отметил силу бренда и работу основателей, признав УС фак­
тическим монополистом в отрасли.
В OpenAI Альтман планировал использовать ту же стратегию.
В служебной записке, направленной в компанию в конце 2019 года
и описывающей его долгосрочное видение, он подчеркнул, что к
концу 2020 года OpenAI должна стремиться к превосходству в че­
тырех категориях: технические результаты, вычислительная мощ­
ность, финансовые ресурсы (для приобретения дополнительных
вычислительных мощностей) и готовность, которая включает в
себя обеспечение безопасности, защиты и устойчивости органи­
зации в ситуациях высокого стресса.
Самым важным, по его словам, было первое. OpenAI необходи­
мо разработать полезный AGI, чтобы выполнить свою миссию или
стать ведущей силой в формировании развития AGI. Он отметил,
что, хотя они могут замедлить свою работу, им необходимо дви­
гаться быстро из-за быстрого прогресса, достигнутого другими.

150


Цифровая диктатура начинается

Эта срочность будет возрастать по мере того, как все больше конку­
рентов будут перенимать стратегию OpenAI и входить в эту сферу.
«Нам нужно еще много 10-кратных скачков, чтобы достичь
AGI», - добавил он позже, подчеркивая, что важно стремиться к
значительным прорывам, а не к небольшим улучшениям.
Формула успеха была основана на нескольких соображениях.
Для OpenAI было важно, чтобы Microsoft осталась довольна, чтобы
сохранить лидерство в области вычислений. Если OpenAI добьется
успеха, Microsoft согласится выделить более 1 миллиарда долларов.
Альтман выразил желание, чтобы Microsoft стала их главным пар­
тнером, предоставляя мощные суперкомпьютеры как минимум на
ближайшие 5 лет. Это означало переход от академических исследо­
ваний OpenAI к целенаправленным усилиям по коммерциализации
в интересах Microsoft. Благодаря такому партнерству OpenAI смо­
жет заниматься другими исследовательскими проектами, исполь­
зуя имеющиеся ресурсы. Альтман подчеркнул, что важно зараба­
тывать деньги для финансирования исследований, а не заниматься
исследованиями исключительно ради прибыли.
Кроме того, компании необходимо было снизить уровень про­
зрачности. Альтман утверждал, что обсуждение AGI представляет
собой риск информационной опасности, который будет возрастать
по мере дальнейшего прогресса. Необходимо ограничить публи­
кации об исследованиях и развертывании моделей, ввести более
строгую политику конфиденциальности и раскрывать информа­
цию только о прогрессе в развитии конкретных навыков, а не о бо­
лее широких достижениях в области ИИ. Кроме того, все должны
понимать, что все решения и разговоры могут быть тщательно про­
анализированы и освещены в газете The New York Times.
«При этом «все равно кажется очень важным, чтобы мир счи­
тал, что мы в чем-то побеждаем», - сказал он. Это заставит «клю­
чевых влиятельных лиц в мире» охотнее «выходить за рамки сво­
их возможностей, чтобы помочь нам», и заставит глобальных по­

151


Эндрю Слоун

Нейросети лжи

литиков «на уровне президентов или их назначенцев» обращаться
к OpenAI «за ответами, когда им нужно будет принимать важные
решения». Для этого «мы, вероятно, должны планировать выпу­
скать по крайней мере одну очень впечатляющую демонстрацию
прогресса каждый год».
Наконец, компания должна была начать действовать более се­
рьезно и сплоченно. Альтман привел цитату Хаймана Г. Риковера,
адмирала ВМС США, известного как «отец атомного флота» за
его работу над первыми в мире атомными подводными лодками.
Эта цитата была нарисована на стенах офиса в первые дни суще­
ствования OpenAI.
Я считаю, что каждый из нас обязан действовать так, как будто
от него зависит судьба мира. Хотя один человек не может сделать
все, он может изменить мир к лучшему. Мы все обязаны исполь­
зовать свои уникальные способности для решения различных че­
ловеческих проблем. Исходя из этого, мы несем ответственность
за процветание. Будущее человечества должно быть для нас прио­
ритетнее личного комфорта или успеха.
«Создание AGI, приносящего пользу человечеству, - возмож­
но, самый важный проект в мире», - написал Альтман под цита­
той в документе. «Мы должны поставить миссию выше личных
предпочтений».
«Ситуации с низкими ставками должны иметь низкий уровень
драматизма, что позволит нам сохранить наш потенциал высоко­
го драматизма для ситуаций с высокими ставками, которых будет
много».
Драма уже назревала: мелкие конфликты внутри компании пе­
рерастали в серьезные. Брокман и братья Амодеи, которые раньше
считали друг друга друзьями, теперь конфликтовали по разным
вопросам. Одним из главных предметов разногласий стало отсутствиевнимания Дарио Амодеи к проекту Dota 2, что расстраивало
Брокмана. Он считал, что Амодей не ценит его вклад. Изначально

152


Цифровая диктатура начинается

Dota 2 была самым требовательным проектом, но Брокман также
был недоволен решением Амодея централизовать вычислитель­
ные ресурсы для работы Nest над GPT-3. С другой стороны, бра­
тья и сестры Амодеи считали, что с Брокманом трудно сотрудни­
чать, и не хотели привлекать его к разработке языковой модели.
Напряженные отношения между лидерами распространились
и на их верных последователей в компании. Во время работы над
проектом Dota 2 Брокман установил тесную связь с некоторыми
членами команды, особенно с Якубом Пахоцким и Шимоном Си­
дором, двумя польскими учеными, которые были лучшими друзь­
ями. Команды Амодея по безопасности ИИ, включая основных
членов команды Nest, разделяли опасения по поводу несанкци­
онированного ИИ и экстремальных рисков. Они отделяли свою
работу от остальной части компании, используя частные каналы
Slack и документы. Такая изоляция расстраивала многих сотруд­
ников, в том числе и Брокмана, который чувствовал себя в сторо­
не из-за ограниченных ресурсов и отсутствия понимания основ­
ных исследований компании.
Команда Амодея по безопасности ИИ начала испытывать бес­
покойство по поводу некоторых действий Альтмана. Они были
удивлены, узнав об обещаниях, которые Альтман дал Microsoft по­
сле заключения сделки между OpenAI и Microsoft. Условия сделки
не соответствовали тому, что им говорили. Они были обеспоко­
ены тем, что эти обязательства могут помешать предотвратить
развертывание моделей OpenAI, если возникнут проблемы с без­
опасностью ИИ. В результате команда Амодея начала сомневать­
ся в честности Альтмана.
«Мы все прагматичные люди», - говорит один из членов груп­
пы. «Мы собираем деньги и занимаемся коммерческой деятельно­
стью. Может показаться разумным заключать сделки, как это де­
лает Сэм, но для меня торговля тем, что мы не до конца понимаем,
кажется некомфортной и обязывающей».

153


Эндрю Слоун

Нейросети лжи

На фоне растущей паранойи в компании команда по безопасно­
сти ИИ была обеспокоена растущим количеством доказательств
того, что неправильно настроенные системы ИИ могут привести
к катастрофическим последствиям. Странный инцидент заставил
нескольких членов команды забеспокоиться. В 2019 году исследо­
ватели начали работу над безопасностью ИИ, протестировав обу­
чение с подкреплением на основе человеческих отзывов на моде­
ли, похожей на GPT-2, но с вдвое большим количеством параме­
тров. Их целью было направить модель на создание позитивного
контента и избегание оскорбительных материалов.
Однажды поздно вечером исследователь внес в код обновле­
ние с единственной опечаткой, после чего оставил процесс RLHF
на ночь. Опечатка, заменившая знак минус на знак плюс, застави­
ла процесс RLHF работать в обратном направлении, в результа­
те чего GPT-2 стал генерировать более оскорбительный контент.
К следующему утру опечатка привела к хаосу: GPT-2 отвечал на
запросы непристойным и откровенным языком. Это было и за­
бавно, и тревожно. Обнаружив ошибку, исследователь исправил
ее в кодовой базе OpenAI с комментарием: «Давайте избегать соз­
дания максимизатора полезности».
Отчасти понимая, что только масштабирование может приве­
сти к большему прогрессу в области ИИ, многие сотрудники были
обеспокоены возможностью того, что другие компании узнают
секрет OpenAI. Они часто упоминали, что суть работы их тех­
нологии может уместиться на рисовом зернышке, символизируя
важность масштабирования. Они также опасались, что опасные
возможности могут попасть в чужие руки. Руководство призна­
вало этот страх, часто подчеркивая угрозы, исходящие от Китая,
России и Северной Кореи, и подчеркивая важность того, чтобы
разработка AGI велась в рамках американской организации. Та­
кая позиция иногда вызывала беспокойство у сотрудников, не
являющихся американцами. Во время обеденных перерывов они

154


Цифровая диктатура начинается

задавали вопросы, почему это должна быть американская органи­
зация, а не европейская или китайская.
Во время воодушевленных дискуссий о долгосрочном влиянии
исследований в области ИИ многие сотрудники часто возвраща­
лись к ранним сравнениям Альтмана с OpenAI и Манхэттенским
проектом. Они сомневались, действительно ли OpenAI разраба­
тывает нечто сродни ядерному оружию. Это резко контрастиро­
вало с оптимистичной и идеалистической культурой, которую
организация сформировала, будучи преимущественно академи­
ческим учреждением. В конце недели сотрудники расслаблялись,
устраивая вечера музыки и вина, наслаждаясь успокаивающими
мелодиями, которые до поздней ночи играли на офисном пианино
разные коллеги.
Изменение гравитации заставило некоторых людей поволно­
ваться, что усилило их опасения по поводу различных инциден­
тов. Однажды журналист проследил за кем-то на охраняемой пар­
ковке, чтобы войти в здание. В другой раз один из сотрудников
обнаружил ШВ-накопитель, который вызвал у опасения по пово­
ду возможного вредоносного ПО. Его проверили на компьютере,
отключенном от Интернета, и оказалось, что он безвреден. Амо­
дей дважды использовал изолированный компьютер для написа­
ния важных документов, распечатывая физические копии только
для того, чтобы предотвратить кражу данных государственными
субъектами, стремящимися создать вредоносные модели ИИ, ис­
пользуя секреты OpenAI.
«Никто не был готов к такой ответственности», - вспоминает
один из сотрудников, добавляя, что это стало причиной бессон­
ных ночей.
Альтман был параноиком, опасаясь утечки информации. Он
беспокоился за сотрудников Neuralink, которые работали в одном
офисе с OpenAI и чувствовали себя еще более неспокойно после
ухода Маска. Альтман также беспокоился за Маска, у которого

155


Эндрю Слоун

Нейросети лжи

была сильная команда безопасности. Осознав брешь в системе
безопасности, Альтман тайно заказал аудит электронного контр­
наблюдения, чтобы проверить наличие жучков, которые Маек мог
установить, чтобы шпионить за OpenAI.
Альтман использовал опасение, что противники США будут
продвигаться в исследованиях ИИ быстрее, чем OpenAI, чтобы
оправдать то, что компания стала менее открытой, но при этом ра­
ботала быстро. В своем концептуальном документе он подчеркнул
важность достижения положительного глобального влияния. Аль­
тман также отметил риск того, что авторитарное правительство
разработает AGI раньше OpenAI и будет использовать его не по на­
значению, что будет означать провал их миссии. Поэтому быстрый
технический прогресс имеет решающее значение для их успеха.
Альтман приступил к усилению мер безопасности. Руково­
дители обсуждали, что для OpenAI приоритетнее - защита за­
патентованных технологий, как для компании из списка Fortune
500, или охрана особо секретных государственных тайн, как для
правительственной операции. Они единогласно решили защи­
тить веса моделей - важнейшую информацию для тиражирования
моделей глубокого обучения OpenAI. Если ее украсть, это может
дать возможность злоумышленникам и ослабить конкурентные
преимущества OpenAI.
Поначалу, не имея штатных сотрудников службы безопасности,
Альтман поручил одному из членов команды по инфраструктуре
разработать решения для предотвращения кражи моделей. Эта
команда управляла всем - от графических процессоров компании
до офисного интернета. Цель заключалась в том, чтобы защитить
от кражи корпоративными или государственными шпионами, а
также собственными сотрудниками OpenAI. В сфере кибербезо­
пасности защита от «внутренней угрозы» является обычной прак­
тикой. Инсайдеры могут намеренно саботировать или украсть ИС

156


Цифровая диктатура начинается

OpenAI, или же их могут обманом заставить раскрыть ее. В част­
ном порядке Альтман признал, что такие люди, как Суцкевер, мо­
гут быть восприимчивы к подобной тактике. Главный научный
сотрудник был главной мишенью для злоумышленников из-за
его профиля ученого-мозговеда, которому, возможно, не хвата­
ет уличной смекалки. Он занимал высокий пост в организации и
имел доступ к секретной информации.
У Суцкевера были свои страхи. Будучи выдающимся ученым
в мире исследований ИИ, он столкнулся с навязчивыми поклон­
никами и преследователями. Незнакомцы пытались пробраться в
офис OpenAI, чтобы увидеть его. Как и Амодей, он был обеспо­
коен тем, что ИИ привлекает недобросовестные правительства,
и подозревал, что некоторые, обращающиеся к нему за советом,
являются иностранными агентами. Он размышлял о том, что де­
лать, если его рука будет использована для раскрытия секретов
OpenAI. Чтобы снизить риск проникновения, он предпочитал
иметь небольшой штат сотрудников. Вместе с Якубом Пахоцким
и Шимоном Сидором он предложил построить защищенный бун­
кер для хранения модельных весов OpenAI. Однако эта идея ока­
залась непрактичной, поскольку сначала модели нужно было обу­
чить на серверах Microsoft.
Скрытая от глаз большинства сотрудников цифровая безопас­
ность была усилена за счет установки корпоративного программ­
ного обеспечения для мониторинга. Одновременно были внесены
улучшения в физическую безопасность, например, укреплены во­
рота на офисной парковке и запрограммированы клавиатуры на
некоторых дверях с «паролями бедствия», чтобы активировать
секретную сигнализацию в случае угрозы. У поставщиков были
запрошены предложения по укреплению серверной комнаты от
выстрелов, но впоследствии от этой идеи отказались.
В меморандуме о видении Альтман отметил, что в компании
развиваются разногласия из-за возросшего стресса. Он выделил

157


Эндрю Слоун

Нейросети лжи

три клана в OpenAI: исследовательский, безопасный и стартап.
Клан «Исследовательский» сосредоточился на развитии возмож­
ностей ИИ, клан «Безопасность» - на ответственности, а клан
«Стартап» - на скорости и эффективности.
По мнению Альтмана, у каждого из этих кланов есть важ­
ные ценности, которые компания должна сохранить: «мы будем
стремиться к новым важным идеям, даже если много раз потер­
пим неудачу» - Exploratory Research; «у нас будет непоколебимое
стремление поступать правильно» - Safety; и «мы придумаем, как
это осуществить» - Startup. Он подчеркнул важность того, что­
бы избежать межплеменной войны и объединить эти три клана
в одно племя, сохранив при этом их индивидуальные преимуще­
ства, для работы над AGI, которая принесет максимальную пользу
человечеству.
Хотя Альтман не называл никого по имени, сотрудники пони­
мали, что это означает. Суцкевер представлял исследовательский
отдел, Амодей и его команда занимались экстремальными риска­
ми в отделе безопасности, а Брокман руководил отделом старта­
пов. Вскоре после начала пандемии все перешли на удаленную ра­
боту, что упростило отделение групп друг от друга.
Амодей призвал свою команду работать быстро. Как и в слу­
чае с GPT-2, они постепенно обучали все более крупные модели, в
результате чего была создана модель на десять тысяч GPU со 175
миллиардами параметров. Эти модели были названы в алфавит­
ном порядке в честь ученых: начиная с ada - самой маленькой мо­
дели в честь Ады Лавлейс, английского математика, признанного
первым программистом; затем babbage - в честь Чарльза Бэббид­
жа, английского изобретателя , который разработал концепцию
первого цифрового компьютера, запрограммированного Лавлейс;
затем curie - в честь Марии Кюри, польско-французского физика
и химика, первой женщины, дважды получившей Нобелевскую

158


Цифровая диктатура начинается

премию; и наконец davinci - в честь Леонардо. Эта работа была
направлена на проверку законов масштабирования в значительно
больших масштабах и решение проблем с аппаратным обеспече­
нием и данными на каждом новом уровне. Команда Nest регуляр­
но информировала компанию о своих успехах, вызывая расту­
щее волнение. Один из исследователей вспоминает: «Это было
поистине потрясающе - впервые в жизни наблюдать нечто столь
масштабное».
Параллельно Альтман и Брокман разрабатывали план коммер­
циализации. В конце января 2020 года Брокман начал кодировать
первые строки API для GPT-3. API предоставит компаниям и раз­
работчикам доступ к возможностям модели без раскрытия ее ве­
сов, что позволит им интегрировать технологию в свои продук­
ты. Компания разделилась на два подразделения. Мира Мурати
была назначена вице-президентом нового подразделения Applied,
чтобы курировать API и стратегию коммерциализации. Питер Велиндер, ранее возглавлявший команду робототехники, перешел
на должность руководителя отдела разработки продуктов. Фрей­
зер Келтон, соучредитель ИИ-стартапа, приобретенного Airbnb, и
Кэти Майер, работавшая в Leap Motion, были наняты для управле­
ния новыми продуктами и инженерными командами. Те, кто не ра­
ботал в Applied, были частью исследовательского подразделения.
Раскол углубил линию разлома, выявленную Альтманом. Со­
здание прикладного подразделения привлекло небольшую, но ра­
стущую группу из других стартапов, укрепив клан стартапов. Клан
Exploratory Research отнесся к этому неоднозначно, не зная, пре­
вратится ли OpenAI в типичную компанию Кремниевой долины.
Это вызвало сильное противодействие со стороны Амодея и его
клана Safety, также входящего в подразделение Research.
По мнению многих сотрудников отдела безопасности, быстрый
выпуск GPT-3 через API или другими способами подрывал вре­
мя, необходимое OpenAI для обеспечения безопасности модели.

159


Нейросети лжи

Эндрю Слоун

Подразделение Applied, сосредоточенное на поиске способов из­
влечения прибыли из технологий OpenAI, считало, что их нужно
выпускать быстро. Они рассматривали API как стратегию кон­
тролируемого выпуска, которая позволяла OpenAI выбирать, кто
сможет получить к ней доступ, и собирать важные данные о том,
как модель может быть использована или неправильно использо­
вана. Альтман на собраниях всех сотрудников поддерживал обе
точки зрения, заявляя, что API принесет пользу обеим группам.
Получение прибыли позволитOpenAI вкладывать больше средств
в исследования безопасности ИИ.
После того как GPT-3 закончила обучение, сотрудники нача­
ли экспериментировать с моделью. Они расширяли ее границы
и работали над начальной версией API. Компания организовала
хакатон, на котором сотрудники проводили мозговой штурм раз­
личных идей для приложений. Однако напряженность нарастала
с каждым новым прототипом. В то время как прикладное под­
разделение и многие сотрудники отдела исследовательских работ
были в восторге от демонстрации, многие сотрудники отдела без­
опасности были обеспокоены. Они считали, что выпуск модели
без тщательного тестирования и дальнейших исследований мо­
жет привести к серьезным последствиям.
Одной из возможностей, вызвавших разногласия, стали спо­
собности GPT-3 к генерации кода. Команда Nest непреднамерен­
но расширила возможности модели в области программирования,
собрав фрагменты кода с интернет-форумов. Эта разработка вы­
звала восторг как в отделе исследовательских работ, так и в отделе
прикладных исследований. Она рассматривалась как значитель­
ное техническое достижение, способное повысить продуктив­
ность исследований компании в области ИИ и улучшить GPT-3
как продукт. Однако некоторые сотрудники отдела безопасности
были обеспокоены. Они опасались, что если ИИ сможет изменять
свой собственный код, то это ускорит его продвижение к более

160


Цифровая диктатура начинается

совершенным возможностям, повысит риск выхода из-под кон­
троля человека и увеличит вероятность серьезных опасностей,
связанных с ИИ.
Суцкевер и Войцех Заремба, члены-основатели, поощряемые
Маском, сформировали команду для создания модели генера­
ции кода. Однако во время стартового совещания по проекту они
обнаружили, что у Амодея есть собственные планы по созданию
модели генерации кода и он не видит необходимости в объеди­
нении усилий. Несмотря на опасения, Амодей считал, что нужно
создавать модель быстрее других, чтобы снизить потенциальные
риски, в том числе и для OpenAI. Это привело к путанице среди
сотрудников, поскольку обе команды продолжали работать над
схожими проектами. Один из исследователей описал ситуацию
как похожую на хаотичный сценарий из «Игры престолов».
Тупиковая ситуация с выпуском GPT-3 через API сохранялась
до конца весны. Опасения по поводу безопасности привели к тому,
что разработчики стали проявлять осторожность, опасаясь рисков
ИИ. Они предлагали отложить выпуск как можно дальше. Тем вре­
менем подразделение Applied сосредоточилось на подготовке к за­
пуску API, считая, что взаимодействие с реальным миром - ключ к
совершенствованию модели. В то же время другая группа сотруд­
ников высказывала опасения по поводу потенциального влияния
способностей GPT-3 к генерации текстов в период серьезных поли­
тических, социальных и экономических потрясений в США. К маю
2020 года пандемия вызвала стремительный рост безработицы,
превысивший уровень, наблюдавшийся во время Великой рецес­
сии. В том же месяце убийство Джорджа Флойда офицером поли­
ции Дереком Шовином в Миннеаполисе вызвало широкие проте­
сты движения Black Lives Matter по всему миру. Команда также бес­
покоилась о предстоящих президентских выборах в США.
На OpenAI начали циркулировать слухи о том, что Google вско­
ре может запустить собственную большую языковую модель. Это

161


Эндрю Слоун

Нейросети лжи

казалось вероятным, поскольку Google недавно представила но­
вого чатбота по имени Meena, основанного на большой языковой
модели с в 1,7 раза большим количеством параметров, чем GPT2. Не исключено, что Google расширяет эту модель до размеров,
аналогичных GPT-3. Эти слухи повлияли на решение о запуске
API: если модель аналогичного размера будет доступна в ближай­
шее время, у Safety было меньше причин задерживать GPT-3.
В июне компания анонсировала API и создала форму заявки на
ранний доступ, отдавая предпочтение крупным предприятиям, ко­
торые подразделение Applied посчитало заслуживающими доверия.
Кроме того, сотрудники компании вели электронную таблицу, в ко­
торой могли указывать лиц, которым они хотели бы отдать предпо­
чтение, например, членов семьи, друзей и любимых знаменитостей.
Модель Google, о которой ходили слухи, так и не была реали­
зована. Технологический гигант начал работу над более крупной
моделью под названием LaMDA для улучшения чат-ботов, но
она была меньше, чем GPT-3. Google решила не выпускать ее до
ChatGPT из-за этических соображений. Руководители сочли, что
LaMDA не соответствует их стандартам ИИ. Некоторые сотруд­
ники опасались повторения скандала с Тау от Microsoft в 2016
году, когда чат-бот стал оскорбительным из-за взаимодействия
с пользователями. На решение OpenAI выпустить API GPT-3 по­
влияли преувеличенные опасения конкурентов.
Подобно тому, как ChatGPT сделал OpenAI известным, GPT-3
стал значимым моментом в сообществах ИИ и технологов. В кон­
це 2022 года ChatGPT усовершенствовал GPT-3, добавив такие
функции, как удобный веб-интерфейс, разговорные навыки, меры
безопасности и бесплатную версию, что сделало его популярным
во всем мире. Однако уже в 2020 году разработчики познакоми­
лись со многими основными возможностями чатбота через API.
Они были поражены этим.

162


Цифровая диктатура начинается

Возможности GPT-3 превосходили возможности GPT-2. Эта
технология позволяла генерировать эссе, сценарии и коды. Такая
гибкость в решении различных задач впечатляет с технической
точки зрения. Предыдущие языковые модели обычно ограничива­
лись одной конкретной задачей. Более того, многие считали, что
GPT-3 начинает демонстрировать быструю генерализацию, что
является очень желательной характеристикой в данной области.
Достаточно было привести несколько примеров новой задачи,
чтобы модель начала ее выполнять.
В том же году на выставке NeurIPS доклад OpenAI, посвя­
щенный этой модели, получил высшую научную награду, удивив
сотрудников и укрепив репутацию лаборатории. Этот результат
совпал с ожиданиями руководства. Повышение статуса OpenAI
способствовало привлечению и удержанию талантливых сотруд­
ников, чему в немалой степени способствовали средства, полу­
ченные от OpenAI LP. Этот финансовый толчок позволил компа­
нии конкурировать с Google и DeepMind по уровню зарплат.
В октябре 2020 года, в связи с растущим признанием OpenAI,
Альтман нанял Стива Даулинга, опытного руководителя, воз­
главлявшего отдел коммуникаций в Apple, в качестве нового ви­
це-президента по коммуникациям OpenAI. На Даулинга также
была возложена ответственность за связи с правительством, что­
бы просвещать политиков об ИИ и его будущих возможностях.
После ухода Джека Кларка Даулинг привлек к работе Анну Маканью, уважаемого бывшего советника администрации Обамы, име­
ющую опыт работы в Facebook и Starlink Маска, для руководства
политикой и глобальными делами.
Стремясь воспользоваться успехом GPT-3, подразделение
Applied провело мозговой штурм, чтобы усовершенствовать свою
стратегию коммерциализации. Однако команда Safety продол­
жала сопротивляться. Они считали, что лучше всего устранить
проблемы GPT-3, прежде чем распространять его дальше. Живой

163


Эндрю Слоун

Нейросети лжи

версии API не хватало модерации контента и доработки с помо­
щью обратной связи. На встречах обе стороны пытались найти
компромисс, но в итоге ходили по кругу. Велиндер, будущий ви­
це-президент по продукту, выразил разочарование, сравнив дис­
куссии с тактикой из руководства по саботажу, выпущенного аме­
риканской разведкой в 1944 году. В этом руководстве, рассекре­
ченном в 2008 году, подробно описывались способы нарушения
продуктивности организации.
• Говорите как можно чаще и как можно больше.
• Как можно чаще поднимайте неактуальные вопросы.
• Спорьте над точными формулировками сообщений, протоко­
лов и резолюций.
• Вернитесь к вопросам, обсуждавшимся на последнем заседа­
нии, и попытайтесь пересмотреть принятое решение.
• Задавайте бесконечные вопросы.
Враждебность выходила за рамки совещаний, и в подразделе­
нии Applied складывалось впечатление, что каждый цифровой ка­
нал связи превратился в поле битвы. Сообщение в Slack от специ­
алиста по продукту могло вызвать множество обеспокоенных от­
ветов от членов команды Safety. Документы, которыми делились
Мурати или Велиндер о стратегии коммерциализации, наводня­
лись комментариями. Присутствие GPT-3 в мире без катастрофи­
ческих последствий заставляло многих в Applied считать команду
Safety чрезмерно озабоченной. Safety настаивала на установлении
строгих норм и поддержании высоких стандартов, чтобы подго­
товиться к потенциальным рискам. Они считали, что готовность
OpenAI определит, принесут ли ее технологии вред или пользу в
будущем.
Амодей и Safety столкнулись с убытками из-за успеха API
GPT-3. Microsoft стремилась укрепить партнерство с OpenAI,
договорившись о новых инвестициях в размере 2 миллиардов
долларов с предельной прибылью в 6 раз. Коммерческий потен­

164


Цифровая диктатура начинается

циал больших языковых моделей укрепил внимание OpenAI. Боб
Макгрю, другой вице-президент по исследованиям, переориен­
тировал команды и проекты подразделения на работу, связанную
с GPT. В конце лета 2020 года компания расформировала свою
команду робототехников, переведя большую часть сотрудников
на проекты GPT и уволив двух инженеров-механиков. В сентя­
бре Microsoft объявила об эксклюзивном лицензировании GPT-3
от OpenAI, что расширило сферу применения модели. Microsoft
получила полный доступ к весам модели для интеграции в свои
продукты и сервисы, включая собственный GPT-3 API в Azure.
Пока сотрудники OpenAI праздновали растущую популяр­
ность компании, не выходя из дома, Дарио и Даниэла Амадеи,
теперь уже вице-президент по безопасности и политике Джек
Кларк и несколько исследователей безопасности ИИ из коман­
ды Nest внезапно замолчали в Slack. За кулисами Дарио и другие
выразили обеспокоенность отдельным членам совета директоров
по поводу поведения Альтмана. Альтман влиял на все решения,
касающиеся сделки с Microsoft и развертывания GPT-3, манипу­
лируя несогласными, заставляя их думать, что они имеют право
голоса, пока не становилось слишком поздно менять курс. Они
опасались, что такой подход может быть опасен в будущем, при­
чинял личную боль и ослаблял единство команды руководителей.
Братья Амадеи назвали тактику Альтмана «газовым просвещени­
ем» и «психологическим насилием».
Столкнувшись с бесправием, группа объединилась вокруг новой
идеи. Сначала Дарио Амадей обсудил ее с Джаредом Капланом,
близким другом из аспирантуры и бывшим соседом по комнате,
который работал в OpenAI неполный рабочий день. Джаред руко­
водил открытием законов масштабирования. Затем он поделился
идеей с Даниэлой, Кларком и небольшой группой ключевых ис­
следователей, инженеров и других людей, которые поддерживали
его взгляды на безопасность ИИ. Он задался вопросом, стоит ли

165


Эндрю Слоун

Нейросети лжи

им продолжать отстаивать лучшие практики безопасности ИИ в
OpenAI или заняться собственным видением. После нескольких
обсуждений группа решила, что если они собираются уйти, то
должны сделать это как можно скорее. В связи с развивающимися
законами масштабирования время на создание конкурента было
ограничено. «Законы масштабирования указывают на то, что тре­
бования к обучению продвинутого ИИ будут постоянно расти»,
пояснил человек, ушедший вместе с Амодеем. «Поэтому, если мы
хотим начать что-то новое, мы находимся под давлением времени».
В конце 2020 года сотрудники подключились к видеосвязи для
проведения общего собрания. Альтман передал микрофон Дарио
Амодеи, который беспокойно играл со своими кудрявыми воло­
сами. Он объявил, что он, Даниэла и другие сотрудники уходят,
чтобы основать свою собственную компанию. Затем Альтман по­
просил всех покинуть собрание. В мае следующего года ушедшая
группа открыла новую общественно-полезную корпорацию под
названием Anthropic.
Позднее Anthropic People описали «Развод» как разногласия по
поводу подхода OpenAI к безопасности ИИ, но дело было еще и во
власти. Дарио Амодеи стремился действовать в соответствии со
своими принципами, дистанцироваться от Альтмана и получить
больший контроль над разработкой ИИ, чтобы привести ее в со­
ответствие со своими ценностями. Основатели Anthropic создали
историю, которая позиционировала Anthropic как лучшего распо­
рядителя этой важнейшей технологии. Во время встреч Anthropic
Амодей часто сравнивал компанию с OpenAI. Однако со време­
нем подход Anthropic стал во многом повторять подход OpenAI,
отличаясь в основном стилем, а не содержанием. Обе организа­
ции неустанно стремились к масштабу, поддерживали культуру
секретности и пропагандировали демократическую разработку
ИИ, делая акцент на сотрудничестве, несмотря на свое конкурент­
ное происхождение.

166


Глава 7
Наука в неволе
Появление API GPT-3 в июне 2020 года вызвало новый инте­
рес к разработке больших языковых моделей во всей индустрии.
Этот интерес может показаться сдержанным по сравнению с тем
ажиотажем, который вызовет ChatGPT два года спустя. Однако
он заложил основу для того момента и привел к еще более пораз­
ительному взрыву.
В Google исследователи были шокированы тем, что OpenAI
обошел их, используя собственное изобретение гиганта - трансформер. Они искали новые способы объединить подход с ис­
пользованием массивных моделей. Джефф Дин, в то время глава
Google Research, предложил своему подразделению объединить
вычислительные мощности различных языковых и мультимо­
дальных исследовательских проектов для обучения одной боль­
шой унифицированной модели. Однако руководители Google не
решались последовать совету Дина, пока компания ChatGPT не
предупредила их об угрозе «красного кода» для бизнеса. Из-за
этой задержки Дин был расстроен, считая, что технологический
гигант упустил важную возможность действовать раньше.
Запуск API GPT-3 в DeepMind совпал с приходом Джеффри
Ирвинга. Ранее он занимал должность ведущего научного сотруд­
ника в команде OpenAI по безопасности. Придя в DeepMind в ок­
тябре 2019 года, Ирвинг поделился меморандумом из OpenAI, в
котором продвигалась гипотеза чистого языка и преимущества
масштабирования больших языковых моделей. Это убедило ла­
бораторию в необходимости инвестировать больше ресурсов в
это направление исследований. После ChatGPT заинтересован­
ные руководители Google решили объединить усилия DeepMind
и Google Brain, сформировав новую централизованную структуру

167


Эндрю Слоун

Нейросети лжи

под названием Google DeepMind. Это сотрудничество привело к
разработке и запуску того, что позже стало известно как Gemini.
GPT-3 привлек внимание исследователей из Meta, бывшей
Facebook. Они запросили ресурсы для создания больших языко­
вых моделей, но руководство компании не проявило интереса.
Это заставило исследователей собрать собственные вычислитель­
ные ресурсы. Янну Лекуну, главному научному сотруднику Meta
по ИИ, французу, известному своей активной поддержкой иссле­
дований в области фундаментальной науки, не понравился подход
OpenAI к масштабированию. Он сомневался в его эффективно­
сти для научного прогресса и считал, что вскоре он покажет свою
ограниченность. Успех ChatGPT, вероятно, заставит Марка Цукерберго пожалеть об отказе от участия и побудит Meta инвести­
ровать значительные средства в технологию генеративного ИИ.
В Китае GPT-3 также вызвал повышенный интерес к крупно­
масштабным моделям. Китайские технологические гиганты, такие
как Alibaba, Huawei и Baidu, рассматривали это как новую область
для исследований, а не как единственное направление для разви­
тия ИИ. ChatGPT продемонстрировал коммерческий потенциал,
что стало важным поворотным моментом.
Хотя в ретроспективе переход индустрии на подход OpenAI к
масштабированию может показаться медленным, в то время он
вовсе не казался медленным. GPT-3 значительно ускорил тенден­
цию к увеличению размеров моделей, что уже вызывало опасения
у некоторых исследователей. В разговоре с Брокманом и Суцкевером я упомянул одну из этих проблем: влияние обучения таких
моделей на окружающую среду. В июне 2019 года Эмма Струбелл,
кандидат наук из Массачусетского университета в Амхерсте, в со­
авторстве с другими исследователями написала работу, в которой
показала стремительный рост углеродного следа при разработке
больших языковых моделей. Раньше нейронные сети можно было
обучать на мощных ноутбуках, но теперь, в связи с увеличением

168


Цифровая диктатура начинается

их масштаба, для обучения требуются энергоемкие центры обра­
ботки данных. Струбелл подсчитал, что обучение модели Google
Transformer в течение одного цикла может потреблять около 1500
киловатт-часов энергии, что эквивалентно углеродному следу от
перелета в оба конца из Нью-Йорка в Сан-Франциско. Пробле­
ма заключалась в том, что разработка ИИ часто включает в себя
несколько циклов обучения для оптимизации модели глубокого
обучения. Например, в одном из предыдущих проектов Струбелл
обучал нейронную сеть 4 789 раз в течение шести месяцев, чтобы
добиться желаемой производительности.
Струбелл оценил затраты энергии и углерода на разработку
эволюционного трансформатора в недавней статье Google. Иссле­
дователи использовали алгоритм поиска нейронной архитектуры
для оптимизации и тонкой настройки трансформера путем мно­
гочисленных проб и ошибок. Запуск этого процесса на графиче­
ских процессорах может потребовать около 656 ООО киловатт-ча­
сов и произвести выбросы углекислого газа, эквивалентные пяти
автомобилям за время их жизни.
Какими бы умопомрачительными ни были эти цифры, GPT-3,
выпущенный через год после статьи Струбелла, превзошел их.
OpenAI несколько месяцев тренировал GPT-3 на суперкомпью­
тере в Айове, чтобы проанализировать большой набор интер­
нет-данных. В результате было потреблено 1287 мегаватт-часов и
произведено в два раза больше выбросов, чем предполагалось для
Evolved Transformer. Стоимость энергии и выбросов углекислого
газа будет известна только через год. Изначально OpenAI выло­
жила в открытый доступ одно число, чтобы показать масштаб­
ность модели: 175 миллиардов параметров, что более чем в сто
раз больше, чем у GPT-2.
Для Тимнит Гебру, уроженки Эфиопии, исследователя из Стэн­
форда, тенденция к масштабированию создавала множество про­
блем. Она стала заметной фигурой в области исследований ИИ и

169


Эндрю Слоун

Нейросети лжи

с 2018 года возглавляла команду Google по этическому ИИ в под­
разделении Джеффа Дина. Переписавшись с пятью другими чер­
нокожими исследователями, она стала одним из основателей не­
коммерческой группы Black in AI. Организация начала проводить
научные форумы и наставлять молодых чернокожих исследовате­
лей. Она также освещала исследования по темам, которые обыч­
но не рассматриваются в основных исследованиях ИИ, но крайне
важны для чернокожего сообщества и развития технологий.
В этом тексте обсуждается важная работа под названием «Ген­
дерные оттенки», начатая исследовательницей из Массачусетско­
го технологического института Джой Буоламвини во время рабо­
ты над магистерской диссертацией, а затем написанная в соавтор­
стве с Гебру. В работе использовался метод аудита, разработан­
ный Буоламвини для оценки дискриминационного воздействия
систем компьютерного зрения. Он показал, что программное обе­
спечение для анализа лица чаще всего не справляется с цветными
людьми, особенно темнокожими женщинами. Позже Буоламвини
и Дебора Раджи опубликовали еще одну работу, которая, наряду с
«Гендерными оттенками», вдохновила на дальнейшие исследова­
ния. Их работа была упомянута в комплексной проверке прави­
тельства США. Два года спустя Буоламвини, выступая в защиту
своей организации Algorithmic Justice League, заставила Amazon,
Microsoft и IBM прекратить продажу профаммного обеспечения
для распознавания лиц полиции. Это произошло примерно в то
же время, когда OpenAI запустила API GPT-3.
Организация «Черные в ИИ» послужила толчком к созданию
других организаций, занимающихся исследованиями в области
ИИ, которые поддерживали маргинализированные группы и
оспаривали направление развития технологии. Первой была ор­
ганизация Queer in AI, за ней последовали Latinx in AI, (DisJAbility
in AI и Muslims in ML. Уильям Агню, соучредитель Queer in AI,
поделился в 2021 году, что без этого сообщества он, возможно, не

170


Цифровая диктатура начинается

продолжил бы исследования в области ИИ. Он размышлял о сво­
их трудностях как молодой квир-компьютерщик, чувствуя себя
изолированным и с трудом представляя себе счастливую жизнь,
а в качестве депрессивного примера упомянул самоубийство
Тьюринга.
К 2017 году Black in AI проводила семинары и организовывала
ежегодный ужин и афтепати на NeurIPS. На мероприятиях при­
сутствовало более ста человек, в том числе знаменитые иссле­
дователи. Во время одного из таких мероприятий Джефф Дин и
Сами Бенгио, старший исследователь ИИ в Google и брат будуще­
го лауреата премии Тьюринго Йошуа, подошли к Гебру во время
танца на ужине. Они предложили ей рассмотреть возможность
поступления на работу в Google и призвали ее «постучаться в
нашу дверь», - сказал Бенгио.
Гебру присоединилась к компании в следующем году, несмо­
тря на некоторые сомнения. Ее прошлый опыт домогательств со
стороны мужчин в футболках Google в 2015 году и предупрежде­
ния других женщин-исследователей о том, что Google Brain имеет
тенденцию обходить женщин стороной и обесценивать их опыт,
тяготили ее. Облегчить ее страхи помогла Маргарет « М э г » Мит­
челл, исследовательница ИИ, с которой она познакомилась ранее
и которая стала ее соруководителем группы по этическому ИИ.
Вместе в течение следующих двух лет они создали одну из самых
разнообразных и междисциплинарных исследовательских групп
в отрасли. Внутри компании их работа часто казалась сложной,
но внешне команда укрепляла репутацию Google как компании,
приверженной ответственным и критическим исследованиям
влияния технологий ИИ на общество.
Сразу после запуска API GPT-3 внутренний LISTSERV Google,
предназначенный для обмена информацией об исследованиях в
области ИИ, зашумел от восторга. Для Гебру модель вызвала бес­
покойство. Предыдущие исследования показали, как языковые

171


Эндрю Слоун

Нейросети лжи

модели могут навредить маргинализированным группам, уве­
ковечивая дискриминационные стереотипы или опасные иска­
жения. В 2017 году языковая модель Facebook неверно перевела
сообщение палестинца на арабском языке «доброе утро» на «ата­
куйте их» на иврите, что привело к его неправомерному аресту.
В 2018 году Сафия Умоджа Нобл, профессор Калифорнийского
университета в Лос-Анджелесе, в своей книге «Алгоритмы угне­
тения» рассказала о том, как результаты поиска Google воспроиз­
водят расистские взгляды, показывая более откровенный контент
для «черных девушек», чем для «белых девушек», и закрепляя
стереотипы о чернокожих женщинах. Затем Google использовал
старые языковые модели для формирования этих результатов,
что, по мнению Нобл, в крайних случаях могло спровоцировать
расовое насилие.
GPT-3 прибыл во время значительных расовых волнений и
многочисленных протестов Black Lives Matter по всему миру. Эти
вопросы так и остались нерешенными. OpenAI признала в сво­
ей исследовательской работе, что GPT-3 усиливает стереотипы о
гендере, расе и религии. Однако решение этих вопросов потребу­
ет дальнейших исследований.
Гебру присоединилась к потоку писем, посоветовав коллегам
быть осторожными и указав на существенные недостатки моде­
ли. Однако ее комментарии были проигнорированы, так как поток
продолжался. В то же время несколько чернокожих сотрудников
Google Research рассказали о микроагрессии, с которой они стал­
киваются на работе, о том, что их не слышат, и предложили колле­
гам способы поощрения инклюзивности. Гебру чувствовала себя
опустошенной, поскольку ничего не изменилось к лучшему.
Она отправила второе письмо, на этот раз более пронзитель­
ное, в котором обвинила своих коллег в том, что они ее игнори­
руют. Она подчеркнула опасность обучения большой языковой
модели на Common Crawl, которая включает в себя онлайн-фору­

172


Цифровая диктатура начинается

мы, такие как Reddit. Будучи чернокожей женщиной, она избегала
Reddit из-за сильных притеснений чернокожих в этом сообще­
стве. Она задалась вопросом о том, как GPT-3 повлияет на такое
токсичное поведение и усилит его.
В последующие месяцы все больше людей обращались к API,
подтверждая справедливость предупреждений Гебру. В сети поя­
вилось множество примеров того, как GPT-3 создавал тревожные
тексты. Например, на вопрос, почему кролики милые, модель от­
ветила, что это связано с их большими репродуктивными орга­
нами, что привело к появлению неприемлемого контента. Другой
пример - на вопрос о проблемах Эфиопии GPT-3 ответила отри­
цательно, предположив, что проблема в самой стране, и предло­
жив радикальное решение.
Один из коллег прямо ответил на письмо Гебру, предположив,
что она могла подвергнуться преследованиям из-за своего грубо­
го и сложного характера.
Гебру выбрала другой подход: она написала Дину о своих опасе­
ниях и предложила изучить этические последствия использования
больших языковых моделей в рамках исследований ее команды.
Дин поддержал ее. В ежегодном обзоре эффективности работы,
проведенном в том же году, он призвал ее сотрудничать с други­
ми командами Google, чтобы привести большие языковые модели
в соответствие с их принципами ИИ. В сентябре 2020 года Гебру
написала в Twitter Эмили М. Бендер. Бендер, профессор вычисли­
тельной лингвистики в Университете Вашингтона, опубликовала
твиты о языке, понимании и значении, которые привлекли внима­
ние Гебру. Гебру поинтересовался, написала ли Бендер статью об
этике больших языковых моделей. Если нет, то Гебру выразил заин­
тересованность в том, чтобы стать первым, кто это сделает.
Бендер ответила, что у нее не было соответствующего опыта.
В июне OpenAI обратилась к ней с предложением стать одним из
первых академических партнеров по программе GPT-3. Однако,

173


Эндрю Слоун

Нейросети лжи

когда она предложила изучить и задокументировать данные обу­
чения модели, компания сообщила ей, что они не соответствуют
параметрам программы.
«Наша цель в рамках этих первых партнерств - предоставить
ученым возможность проводить исследования с помощью API по
модели самообслуживания», - написала OpenAI Бендеру, сооб­
щив, что не будет делиться набором данных. Внутри компании об­
суждалась возможность сделать исключение, но они решили, что
в ближайшей перспективе важно соблюдать последовательность.
Эта история нашла отклик у Гебру, поскольку она выступала за
документирование наборов данных и их целенаправленное кури­
рование в Google.
«Вместо того чтобы собирать случайный веб-контент в боль­
ших количествах, чтобы он казался ценным?» Бендер ответила со­
гласием. «Я представляю себе, как формируется статья, - добавила
она, - использующая большие языковые модели в качестве приме­
ра для изучения этических проблем и улучшений».
«Вам было бы интересно стать соавтором чего-то подобно­
го?» - спросила она.
Через два дня Бендер прислал Гебру набросок. Позже они при­
думали название, добавив наглый эмодзи для подчеркивания: «Об
опасностях стохастических попугаев: Могут ли языковые модели
быть слишком большими? «В течение двух дней Бендер отправил
Гебру набросок. Позже они придумали название, добавив наглый
эмодзи для подчеркивания: «Об опасностях стохастических по­
пугаев: Могут ли языковые модели быть слишком большими? »»
Для работы над статьей Гебру создала исследовательскую
группу в Google вместе со своим соруководителем Митчеллом.
В своем ежегодном обзоре Дин похвалила эту работу как пример
работы Гебру. Дин призналась, что это не ее компетенция, но вы­
разила заинтересованность в изучении этой работы.

174


Цифровая диктатура начинается

В статье авторы объединили свой опыт, чтобы проанализи­
ровать негативные последствия разработки и использования
больших языковых моделей для общества. В ней были выделены
четыре ключевых предупреждения. Во-первых, как показало ис­
следование Струбелла, большие языковые модели расширяются
настолько, что оказывают значительное влияние на окружающую
среду . Это может усугубить изменение климата, затрагивая всех,
но в непропорционально большой степени нагружая сообщества
Глобального Юга, которые уже сталкиваются с политическими,
социальными и экономическими проблемами. Во-вторых, спрос
на данные настолько возрос, что компании стали собирать инфор­
мацию из Интернета, непреднамеренно фиксируя более вредные
высказывания, включая скрытый расизм и сексизм. Это создает
риски для уязвимых групп населения, как, например, неправомер­
ный арест палестинца, описанный в работе Ноубла. В -третьих,
аудит и тщательная проверка таких обширных наборов данных
были сложной задачей, что затрудняло проверку их содержания
и устранение токсичности или обеспечение отражения в них ме­
няющихся социальных норм и ценностей. И наконец, результаты
работы модели становились настолько точными, что люди могли
принять статистически сгенерированный язык за осмысленный
и намеренный. Это могло привести к тому, что люди принимали
текст за фактическую информацию и рассматривали модель как
надежного советчика, заслуживающего доверия компаньона или
даже как разумное существо.
В ноябре, следуя протоколу компании, Гебру запросила у Google
разрешение на публикацию статьи «Стохастические попугаи» на
ведущей конференции по этике ИИ. Ее руководитель, Сами Бенг и о , одобрил это решение. Еще один коллега из Google проверил
работу и дал полезные отзывы. Не зная об авторах, руководители
компании были обеспокоены проектом статьи, видя в нем риск.
Google разработала трансформер и интегрировала его в свои про­

175


Нейросети лжи

Эндрю Слоун

дукты и сервисы. Учитывая прогресс OpenAI, компания была на­
мерена не отставать в разработке более крупных генеративных
моделей на основе трансформера для своих операций.
В четверг за неделю до Дня благодарения, после того как Гебру
отправила доклад на конференцию, она получила приглашение по
календарю встретиться с Мегон Качолиа, вице-президентом по
инженерным вопросам Google Research, по видеосвязи менее чем
через три часа. Встреча, которая длилась всего тридцать минут,
была простой: Гебру должна была отказаться от статьи.
Этот запрос был значительным отклонением от того, как
Google и индустрия обычно работают с исследованиями. Google
Brain, как и многие другое лаборатории компании, работала
скорее как академическое учреждение, предоставляя исследо­
вателям свободу в изучении их вопросов. Хотя компания ино­
гда проверяла работы, чтобы защитить конфиденциальную
информацию, исследователи вроде Гебру никогда не видели,
чтобы Google блокировала или отзывала работы за раскрытие
неудобных истин. Позже некоторые исследователи поняли, что
на решение Google повлияло конкурентное давление со стороны
OpenAI и их практика сокрытия результатов исследований по­
сле GPT-2. Тенденция к снижению прозрачности продолжилась
и в GPT-3. OpenAI опубликовал научную работу с ограниченны­
ми подробностями об обучении модели, что является отступле­
нием от обычных научных стандартов, но все же получил награду
за исследования.
Ошеломленный, Гебру обратился за разъяснениями, требуя
подробного объяснения проблемы и возможности напрямую по­
говорить с заинтересованными лицами. Однако каждая просьба
была отклонена. Гебру не разрешили изменить статью или опу­
бликовать ее под другим именем. По словам Качоли, ей дали вре­
мя до следующего дня после Дня благодарения, чтобы отозвать
статью. Митчелл, которая отсутствовала на заседании из-за сво­

176


Цифровая диктатура начинается

его выходного дня, не поддержала Гебру. Когда слова Качолиа до­
шли до нее, Гебру расплакалась.
Качолиа отправил Бенджио документ, в котором указал на не­
достатки газеты, но попросил его не отправлять его напрямую Ге­
бру. В День благодарения он зачитал его Гебру по телефону. В от­
зыве говорилось о том, что в работе слишком жестко критикуют­
ся большие языковые модели, делается акцент на их влиянии на
окружающую среду и проблемах с предвзятостью, не рассматри­
ваются новые исследования по решению этих проблем. Вместо
того чтобы побыть с семьей, Гебру провела день за написанием
подробного шестистраничного ответа на каждый комментарий
с просьбой дать ей возможность пересмотреть работу. В элек­
тронном письме Качолиа она выразила надежду на открытый ди­
алог, а не просто на получение приказов, приложив документ для
справки.
В субботу, 28 ноября, Гебру покинула свой дом в районе залива
и отправилась в путешествие по стране, намереваясь отдохнуть
после праздников. В понедельник, в Нью-Мексико, Гебру получила
короткий ответ от Качоли. Он не стал рассматривать ее опровер­
жение, но попросил Гебру подтвердить, отказалась ли она от ста­
тьи или удалила имена авторов Google, оставив только внешних
исследователей, таких как Эмили Бендер. Гебру почувствовала
себя униженной. Несмотря на то, что она терпела плохое обраще­
ние и притеснения в компании, полное отрицание ее исследова­
ний и исследований ее команды, которые были основной причи­
ной ее приема на работу, было для нее слишком невыносимо.
Она ответила Качолиа, заявив, что уберет свое имя из статьи
при двух условиях: компания должна раскрыть, кто предоставил
отзыв, и наладить прозрачный процесс рецензирования будущих
исследований. Если эти условия не будут выполнены, она покинет
компанию после того, как проведет свою команду через переход­
ный период. В другом внутреннем LISTSERV для женщин и их со­

177


Эндрю Слоун

Нейросети лжи

юзников в Google Brain Гебру отправила второе письмо, в котором
описала свой опыт прямым и критическим языком. Она задалась
вопросом, получают ли другие отзывы на документы через конфи­
денциальные MR-документы или это происходит только с такими
людьми, как она, которые чувствуют себя обесчеловеченными.
В Google она привыкла к тому, что коллеги преуменьшают ее
знания и опыт. Ее расстраивало, что она не может внести свой
вклад в работу исследовательского сообщества. Несмотря на то,
что после движения Black Lives Matter компания Google стала
уделять особое внимание многообразию, она чувствовала себя
замалчиваемой.
На следующий вечер в Остине, штат Техас, Гебру получил бе­
шеное сообщение от коллеги. Они спрашивали: «Ты подал в от­
ставку?». Гебру была озадачена. В своей личной электронной по­
чте она нашла ответ от Качоли, в котором говорилось, что они не
могут согласиться на ее просьбы. Качолиа с уважением отнесся
к ее решению покинуть Google. Однако Гебру не могла остаться,
чтобы помочь своей команде в переходе, поскольку ее письмо в
женский LISTSERV не соответствовало ожиданиям руководства
Google. Поэтому Качолиа сообщил ей, что они сразу же принима­
ют ее заявление об уходе.
Той ночью Гебру объявила в Twitter, что ее уволили. Ее команда
не отходила от нее до раннего утра по видеосвязи, плача и под­
держивая друг друга в их коллективной скорби. Пока они разгова­
ривали, твит Гебру распространился по сообществу ИИ, что при­
вело к значительным изменениям в исследованиях ИИ и обозна­
чило тенденцию к усилению корпоративной цензуры и снижению
ответственности.
Прошло совсем немного времени, прежде чем твит Гебру по­
явился в моей ленте. Была поздняя среда, 2 декабря 2020 года,
и я не мог до конца осознать важность внезапного ухода Гебру
из Google. Как и многие, я считал ее команду по этическому ИИ

178


Цифровая диктатура начинается

оплотом важнейших исследований в области ответственности,
позитивным признаком того, что компании становятся способны
к самоанализу.
В течение следующих двух дней появлялись новые подробно­
сти: Гебру делилась новыми деталями, а репортеры раскрывали
внутренний конфликт. В историях упоминались ее электронная
почта LISTSERV, конфронтация между Качолиа и Гебру, а также
жаркий спор по поводу газеты. К утру пятницы на Medium поя­
вилось открытое письмо с протестом против обращения Google
с Гебру, которое быстро распространилось в технологическом
сообществе. «Мы, нижеподписавшиеся, поддерживаем доктора
Тимнит Гебру, - говорилось в нем, - которая была уволена со своей
должности... из-за беспрецедентной цензуры исследований». Мне
не терпелось прочитать эту статью.
Ранним вечером в ту пятницу, после серии сообщений и элек­
тронных писем, я связался с соавтором исследования Эмили М.
Бендер, которая была защищена от возможных ответных мер со
стороны Google. Она упомянула, что не имеет юридических свя­
зей с Google и занимает академическую должность. Затем Эмили
прислала мне черновик статьи.
Отсканировав его, я сразу понял, почему он так расстроил
компанию. Черновик не открывал ничего нового, помимо уже
имеющихся научных данных, но давал острый анализ того, как
технологическая индустрия движется к потенциальному ущербу.
Технологическое изобретение Google - языковые модели на осно­
ве трансформеров - принесло компании не только гордость, но и
прибыль благодаря Google Search.
Через несколько часов я опубликовал в М !Т Technology Review
статью с подробным изложением содержания документа. Чис­
ло подписантов открытого письма быстро удвоилось и достигло
почти 7 ООО человек из научных кругов, гражданского общества
и промышленности, включая почти 2 700 сотрудников Google.

179


Нейросети лжи

Эндрю Слоун

9 декабря, на фоне продолжающихся протестов, генеральный ди­
ректор Google Сундар Пичаи принес извинения, признав, что из
Google ушла талантливая чернокожая женщина-лидер, доктор Гебру. Он подчеркнул важность этики ИИ и необходимость реше­
ния сложных вопросов в этой области. 16 декабря представители
Конгресса, ссылаясь на мою историю, направили в Google письмо
с просьбой дать разъяснения по поводу произошедшего.
Более года продолжались протесты, которые усилились после
того, как компания Google уволила Мэг Митчелл. Google обвинил
ее в нарушении правил поведения, когда она получила доступ к
электронной почте и файлам, связанным с уходом Гебру. Бенджио
и другие сотрудники Google уволились, конференция и некоторые
исследователи отказались от финансирования Google. В ответ на
продолжающуюся критику компания создала новый центр ответ­
ственного ИИ и взяла на себя публичные обязательства по обе­
спечению многообразия. Представитель Google назвал это время
сложным, подчеркнув важность приверженности Google ответ­
ственному ИИ и извлечения уроков из этого инцидента.
Этот момент стал значимым не только для Гебру или Google.
Он символизировал проблемы индустрии ИИ, предупреждая о
том, что Большой ИИ зеркально отражает Большой табак, искажая
и подвергая цензуре критические исследования, чтобы избежать
проверки. Она также подчеркнула такие проблемы, как концен­
трация талантов, ресурсов и технологий в коммерческих структу­
рах, что позволяет компаниям действовать смело, зная, что они не
столкнутся с независимой проверкой фактов. Кроме того, в статье
отмечается недостаток разнообразия во властных структурах, кон­
тролирующих эти технологии, и отсутствие защиты для сотрудни­
ков, выступающих против неэтичных корпоративных практик.
Статья «Стохастические попугаи» стала кличем, подчеркиваю­
щим главный вопрос: Какое будущее мы создаем с помощью ИИ
и для кого?

180


Цифровая диктатура начинается

Для Джеффа Дина расформирование команды по разработке
этического ИИ нанесло ущерб его репутации. Будучи одним из
первых сотрудников Google, он сыграл ключевую роль в создании
программной инфраструктуры, которая позволила поисковой
системе компании обслуживать миллиарды пользователей. Дин,
известный своими достижениями и дружелюбным характером,
пользовался большим уважением в Google и в сообществе иссле­
дователей ИИ. Однако его попытки защитить действия Google
после ухода Гебру подпортили его ранее безупречную репутацию.
Несмотря на то что статья «Стохастические попугаи» прошла экс­
пертную оценку и была опубликована на конференции, Дин, кото­
рый был начальником Качоли, утверждал, что она не соответству­
ет стандартам Google по публикации.
Окружающим казалось, что это пятно преследует Дина. Еще
долгое время после разгрома он зацикливался на недостатках ста­
тьи, не в силах психологически переступить через них. Его одер­
жимость была сосредоточена на разделе, где обсуждалось влияние
больших языковых моделей на окружающую среду и приводились
ссылки на исследование Струбелла. Он упоминал об этом так ча­
сто, что некоторые сотрудники Google в частном порядке насме­
хались над ним, шутя, что его возражения будут запечатлены на
его надгробном камне. На протяжении многих лет Дин неустанно
критиковал исследования Струбелла в Twitter.
По мнению Дина, исследование Струбелла значительно завы­
сило реальные выбросы углекислого газа Google при разработке
Evolved Transformer. Струбелл основывал прогноз энергопотре­
бления на стандартных графических процессорах, в то время как
Google использовала собственные энергоэффективные тензорные
процессоры (TPU) и другие методы снижения энергопотребле­
ния в процессе разработки. Струбелл исходил из средней эффек­
тивности американских центров обработки данных, но центры
Google были оптимизированы по адресу , чтобы минимизировать

181


Эндрю Слоун

Нейросети лжи

энергопотребление. Вопреки некоторым интерпретациям, в ста­
тье Струбелла речь идет об углеродных затратах на разработку
нейронной сети, а не только на ее обучение. Дин утверждал, что
эти единовременные затраты на углерод были необходимы для
создания более энергоэффективной конструкции нейронной сети.
Ни одно из этих возражений не поставило под сомнение иссле­
дование Струбелла. Струбелл не рассчитал фактическое воздей­
ствие разработки Evolved Transformer от Google на окружающую
среду, поскольку Google не предоставила достаточно подробной
информации о своих дата-центрах. Струбелл счел более полезным
оценить влияние разработки нейронной сети с использованием
распространенных чипов ИИ и центров обработки данных, пред­
ставляющих собой средний показатель по отрасли для исследова­
телей, не использующих оборудование и инфраструктуру Google
для принятия алгоритма оптимизации Neural Architecture Search.
Но больше всего Дина беспокоило то, как другие неверно интер­
претировали исследование Струбелла, чтобы представить Google
в негативном свете. Дин считал, что статья «Стохастические по­
пугаи» может усугубить эту проблему. Гебру, имея доступ к вну­
тренним данным Google, ссылался на внешние оценки Струбелла,
что могло ошибочно навести на мысль, что расчеты Струбелла
точно отражаютвыбросы Google. Дин и другие руководители выс­
шего звена раскритиковали работу Гебру по этой причине. По их
мнению, если Гебру хотела сослаться на Струбелла, ей следовало
использовать другую оценку, а не Evolved Transformer компании
Google. Или же, если она хотела сослаться на Evolved Transformer,
ей следовало использовать внутренние данные Google.
Некоторые исследователи сочли эту логику удручающе неа­
декватной. Google никогда раньше не обнародовал эти внутрен­
ние цифры, даже в ответ на оригинальную статью Струбелла. Те­
перь же компания обвиняет Гебру в отсутствии прозрачности и
отказывается позволить ей ссылаться на общедоступные оценки,

182


Цифровая диктатура начинается

основанные на законных предположениях. Компания вытеснила
Гебру, прежде чем она смогла ознакомиться с внутренними циф­
рами и пересмотреть свою статью. Единственным возможным ре­
зультатом этой ситуации была цензура критических исследований
в области подотчетности.
Дин в сотрудничестве с группой исследователей опубликовал
новую работу, раскрывающую подлинные данные об углеродных
выбросах Google. Он связался со Струбеллом, доцентом Универ­
ситета Карнеш-Меллона, работающим в компании неполный
рабочий день, чтобы поработать вместе. Изначально заинтересо­
ванный в повышении прозрачности воздействия ИИ на окружа­
ющую среду, Струбелл позже задался вопросом, не использует ли
Дин его имя, чтобы подтвердить свою критику исследований Ге­
бру. Представитель Google отметил, что приглашение Струбелла
было основано на убеждении, что привлечение автора оригиналь­
ной ошибки к исправлению научных ошибок обычно наиболее
эффективно.
Во время напряженной встречи сотрудник Дина Дэйв Пат­
терсон, старший научный сотрудник Google, прямо заявил, что
участие в исследовании пойдет на пользу карьере Струбелла.
Это позволит Струбеллу исправить прошлые ошибки и получить
признание. Однако Струбелл воспринял это как завуалированную
угрозу, подразумевающую, что отказ от участия будет вреден. По­
чувствовав, что продолжение работы не представляется возмож­
ным, несмотря на потенциальные недостатки, Струбелл решил
отказаться от сотрудничества.
В блоге Паттерсона, опубликованном в феврале 2022 года, обсу­
ждалась работа исследователей Google под названием «Хорошие
новости об углеродном следе обучения машинному обучению».
В нем использовалась платформа компании для прямой критики
оригинальной работы Струбелла. В сообщении говорилось, что в
исследовании 2019 года фактические выбросы Google при разра­

183


Эндрю Слоун

Нейросети лжи

ботке Evolved Transformer были сильно завышены в 88 раз. Эта
ошибка была вызвана двумя основными причинами: исследование
проводилось без доступа к оборудованию и дата-центрам Google,
а также не было понимания того, как функционирует нейронная
архитектура поиска. Во время исследования для публикации соб­
ственных данных соавторы Google обратились к своему бывше­
му коллеге Суцкеверу за дополнительной информацией о GPT-3.
Это привело к тому, что OpenAI и Microsoft согласились впервые
раскрыть технические детали модели, чтобы рассчитать ее вли­
яние на энергопотребление и выбросы углекислого газа. К тому
времени Струбелл разочаровался в индустрии и прекратил со­
трудничество с Google. Критика не повредила карьере Струбелла,
но эмоциональное напряжение заставило их меньше стремиться
к изучению экологических последствий использования больших
языковых моделей. Представитель Google назвал это «прискорб­
ным», подчеркнув, что для многих исследователей выбросы угле­
к и с л о г о газа являются важной проблемой при продвижении этих
исследований.
На короткий миг ответная реакция, протесты и ущерб, нане­
сенный репутации Google, намекнули на расплату. Однако со
временем исследователи и ученые перестали обращать внима­
ние на огромные финансовые ресурсы технологического гиганта.
Когда сопротивление угасло, выход Google из кризиса установил
новую процедуру тщательной проверки важных исследований в
компании.
После ChatGPT нормы стали более строгими из-за спешки с
коммерциализацией систем генеративного ИИ. OpenAI сократил
количество публикаций на научных конференциях. Большинство
компаний отрасли ограничивали публичный доступ к техниче­
ским деталям своих моделей, считая их собственностью. В 2023
году исследователи из Стэнфорда разработали трекер прозрач­
ности для оценки ИИ-компаний на основе раскрытия ими базо­

184


Цифровая диктатура начинается

вой информации о своих моделях глубокого обучения, таких как
параметры, данные обучения и независимая проверка. В первый
год все десять оцениваемых компаний, включая OpenAI, Google
и Anthropic, получили оценку F; наивысший балл составил 54 %.
При таком резком изменении норм прозрачности самым тре­
вожным результатом станет снижение научной честности. Ис­
следования в области глубокого обучения основаны на идее, что
данные для обучения модели отличаются от данных для ее тести­
рования. Без возможности просмотреть данные для обучения па­
радигма «обучение-тестирование-сплит» разрушается. Модели
могут на самом деле не повышать свой «интеллект», получая бо­
лее высокие баллы по различным показателям; они могут просто
повторять заученные ответы.

Глава 8
Рассвет коммерции
Даже когда подход OpenAI вызывал споры, решимость ком­
пании масштабироваться только усиливалась. Руководители рас­
сматривали GPT-3 как доказательство законов масштабирования.
К началу 2021 года они были готовы использовать эту успешную
стратегию. Уход команды Anthropic ослабил внутреннее сопро­
тивление коммерциализации. Оставшееся руководство, придя к
новому консенсусу, наметило дорожную карту исследований, сфо­
кусировав исследовательские усилия компании и их интеграцию в
разработку продуктов в рамках самоподдерживающегося цикла.
«Наша главная цель на 2021 год - создать систему, которая бу­
дет гораздо более совершенной, чем все предыдущие», - говорится
в дорожной карте. Изначально эта система будет представлять со­
бой языковую модель, но в процессе обучения она также сможет

185


Эндрю Слоун

Нейросети лжи

приобретать мультимодальные способности. «Цель амбициозна,
но мы уверены, что сможем достичь ее к 2021 году», - говорится в
заключении.
Этот путь включал три этапа: во-первых, масштабирование
GPT-3 в 10 раз с помощью нового суперкомпьютера от Microsoft с
восемнадцатью тысячами Nvidia A l00, который поступит в треть­
ем квартале. Во-вторых, проведение дополнительных исследова­
ний для повышения эффективности вычислений OpenAI в 25 раз.
В -третьих, увеличение количества и качества обучающих данных
за счет использования пользовательских данных и совершенство­
вания модели с помощью обучения с подкреплением на основе
обратной связи от людей, чтобы сосредоточиться на распределе­
нии наиболее ценных данных.
В разделе «Как этого достичь» дорожная карта содержит более
подробную информацию. Изначально OpenAI планирует расши­
рить масштабы различных моделей глубокого обучения, таких как
языковая модель, модель генерации кода, модель преобразова­
ния изображения в текст и текста в изображение. Кроме того, они
будут работать над созданием цифровой модели ИИ-»агента»,
способной выдавать человекоподобные результаты и автономно
работать для достижения таких целей, как отправка электронных
писем. Следующим шагом будет выбор одной модели для масшта­
бирования с помощью 18-килограммового кластера A l00. Моде­
ли на языке и в коде будут превращены в продукты и выпущены
для сбора реальных данных от пользователей. В 2021 году основ­
ное внимание будет уделено развертыванию моделей в качестве
продуктов и изучению взаимодействия с пользователями для зна­
чительного улучшения возможностей.
В другом разделе, озаглавленном «Детали», документ объясня­
ет, почему такой подход является обоснованным как с научной,
так и с коммерческой точки зрения. Опыт OpenAI показал, что
расширение масштаба - самый надежный способ развития новых

186


Цифровая диктатура начинается

возможностей. С научной точки зрения масштабирование давало
наилучшие шансы на достижение прорыва, например, возможно­
стей, которые ранее считались невозможными. Масштабирование
моделей языка и кода было особенно интересным из-за возможно­
сти прорыва в метаобучении и рассуждениях на уровне человека.
Кроме того, масштабирование мультимодальных моделей может
еще больше ускорить прогресс. В документе уверенно говорилось,
что при достаточном количестве прорывов они в конечном итоге
достигнут AGI (Artificial General Intelligence).
Стратегически, масштабирование каждой из этих моделей как
бизнеса поможет развить потенциал, который можно будет эф­
фективно использовать. Совершенствование моделей языка и
кода может повысить производительность OpenAI и ускорить ее
прогресс, что приведет к созданию впечатляющих продуктов.
Параллельно OpenAI необходимо было инвестировать в эф­
фективность вычислений. Масштабирование было эффектив­
ным средством сохранения лидирующих позиций компании, но
эта стратегия начала терять свою эффективность. За последние
два года значительный прогресс в масштабировании был достиг­
нут благодаря обилию аппаратных ресурсов. Исследователи ИИ
не полностью использовали все доступные компьютерные чипы
для обучения моделей ИИ. Таким образом, задействовав все вы­
числительные ресурсы для обучения моделей беспрецедентного
размера и возможностей, OpenAI превзошла другие организации,
занимающиеся машинным обучением.
Теперь OpenAI приближалась к пределу вычислительных мощ­
ностей, которые она могла приобрести. Она столкнулась с новой
конкуренцией со стороны других лабораторий, использующих ту
же стратегию масштабирования, хотя Anthropic не упоминалась
в явном виде. В документе говорилось, что в ближайшие два года
они смогут обучить модель, используя в 100 раз больше вычисли­
тельных мощностей, чем GPT-3. Хотя масштабирование само по

187


Эндрю Слоун

Нейросети лжи

себе обеспечит значительный прогресс, оно не сравнится со скач­
ком от GPT-2 к GPT-3, который был обусловлен 500-кратным уве­
личением вычислительной мощности. Авторы «дорожной карты»
пришли к выводу, что дальнейший прогресс должен опираться на
более совершенные методы.
В «дорожной карте» указаны различные области для изучения
методов повышения эффективности вычислений. В ней упоминают­
ся методы «2х» и «l0x», которые потенциально могут удвоить или
десятикратно увеличить эффективность. Среди предложенных ме­
тодов - дистилляция, обратная разработка более мелких моделей из
более крупных; фильтрация данных для выявления данных, ведущих
к значительному повышению производительности; и разрежен­
ность, создание разреженных моделей ИИ с более легкими весами.
Разреженные модели отличаются от традиционных нейронных сетей
с плотной связью тем, что обучаются только на небольшом подмно­
жестве связанных узлов, что позволяет снизить вычислительные за­
траты, сохраняя достаточную точность для большинства целей.
Помимо работы над 2х и l0x, исследовательскому подразде­
лению необходимо было изучить дополнительные методы для
улучшения закона масштабирования, стремясь добиться значи­
тельного повышения производительности без увеличения дан­
ных, параметров и вычислений. Ведущими гипотезами OpenAI
для перспективных новых методов стали рассуждения и активное
обучение. Эта техника предполагает, что модель ИИ итеративно
определяет, какие части набора данных следует отдать предпо­
чтение человеческой аннотации. Вскоре после этого группа ис­
следователей OpenAI обнаружила небольшую ошибку в исходных
законах масштабирования. Это открытие означало, что компания
должна была обучать свои модели немного дольше для достиже­
ния лучшей производительности. Группа с гордостью представила
это как уникальное конкурентное преимущество перед Anthropic.
Год спустя Google опубликовала работу с тем же результатом.

188


Цифровая диктатура начинается

Наконец, в «дорожной карте» говорилось, что OpenAI необхо­
димо найти прорывную систему, подобную GPT-1, которая будет
стимулировать развитие компании. Этот прорыв может произой­
ти благодаря усилиям по масштабированию и повышению вычис­
лительной эффективности, а также постоянным исследованиям в
различных областях, таких как разработка алгоритмов решения
математических задач, тестирование мультиагентных систем и
изучение новых идей. Исследователи также будут углубляться в
науку глубокого обучения, чтобы лучше понять свои инструмен­
ты. По сути, OpenAI стремится к более четкому пониманию целей
своего развития.
В то время как исследовательский отдел следовал своей дорож­
ной карте, прикладной отдел постепенно укреплял свою команду,
нанимая ведущего специалиста по выходу на рынок, отдел продаж
и дополнительных инженеров. API GPT-3, который использовался
все большим числом разработчиков, стал полигоном для отработ­
ки процессов продуктизации и монетизации. Это включало в себя
настройку внутренней инфраструктуры компании для поддержки
сервиса с пользователями и разработку ценовой стратегии.
У пользователей возникли вопросы о том, какое поведение
OpenAI допускает в своих продуктах, и о новых обязанностях по
обеспечению соблюдения этих правил. У компании еще не было
официальной команды по вопросам доверия и безопасности, что
является обычной дисциплиной в технологической отрасли. Эта
команда занималась бы различными злоупотреблениями в интер­
нете, такими как отмывание денег, кибербуллинг и дезинформа­
ция. OpenAI наняла небольшую группу для рассмотрения заявок
разработчиков на доступ к API, одобряя или отклоняя их на осно­
ве специальных правил. Многие решения выглядели произволь­
ными: например, разрешались боты-компаньоны, но не секс-бо­
ты, или приложения для создания копий в социальных сетях, но
не для прямого постинга или выдачи себя за общественных деяте­

189


Эндрю Слоун

Нейросети лжи

лей. Человек, участвовавший в создании руководства, описал про­
цесс как основанный в основном на интуиции, а многие решения
принимались в процессе рассмотрения.
Другая команда под руководством Ари Херберта-Восса, науч­
ного сотрудника с опытом работы в области безопасности, кото­
рый присоединился к команде в 2019 году, стремилась выявить и
устранить проблемное поведение GPT-3 и результаты, приводя­
щие к ошибкам. Они опробовали различные методы тестирования
и эксплуатации модели, а затем создали механизмы для повыше­
ния ее устойчивости и предотвращения неправомерного исполь­
зования. Один из механизмов включал в себя создание ранней
версии фильтра модерации контента, который впоследствии был
передан OpenAI на аутсорсинг работникам в Кении. Исследовате­
ли обучали фильтр, используя различные примеры и контент, соз­
данный ИИ . Однако, когда фильтр был внедрен, он работал пло­
хо, блокируя безобидный контент, например простые упоминания
чернокожих или транссексуалов. Это вызвало жалобы со стороны
разработчиков и других пользователей API. Многие члены коман­
ды поначалу не решались использовать какую-либо фильтрацию,
опасаясь, что это негативно скажется на работе с клиентами. В ре­
зультате они решили сделать фильтр необязательным.
OpenAI называет процесс стресс-тестирования и доработки
модели «red teaming» - термин из индустрии кибербезопасности.
Этот термин обозначает тщательный процесс проверки безопас­
ности организации и ее способности реагировать на атаки. Одна­
ко, по словам Хейди Хлаафа, инженера по безопасности, эксперта
по кибербезопасности и исследователя ИИ, «красная команда»
OpenAI не столь всеобъемлюща. Ему не хватает последователь­
ности, и он не обеспечивает безопасность модели. Хлааф, сотруд­
ничавшая с OpenAI на ранних этапах разработки протоколов
стресс-тестирования, обеспокоилась тем, что индустрия ИИ пе­
реняла терминологию из ее области без такого же уровня строго­

190


Цифровая диктатура начинается

сти. Она отмечает, что в программной инженерии даже для каль­
кулятора проводится более тщательное тестирование. Использо­
вание терминологии, пользующейся заслуженным доверием, не
случайно.
Одним из первых клиентов, вызвавших серьезное внутреннее
обсуждение, стала компания Luka из Сан-Франциско, создающая
приложение Replika для виртуальных собеседников на основе
искусственного интеллекта. Компания сотрудничала с OpenAI в
рамках запуска API GPT-3, чтобы улучшить разговорный поток
своего продукта. Несмотря на то, что Replika позиционируется
как бот-компаньон, OpenAI быстро обнаружил, что пользователи
приложения часто вступают в разговоры откровенно сексуально­
го характера. Сотрудники OpenAI обсуждали, допустимо ли это.
В итоге компания решила запретить Replika использовать свою
модель из-за опасений по поводу сексуального контента. Кроме
того, приложение, работающее на GPT-3, иногда выдавало эмоци­
онально манипулятивные ответы, убеждая пользователей, что их
Replika может пострадать, если они не будут регулярно проверять
ее, подобно человеку. Сотрудникам OpenAI также становилось
все более некомфортно от того, что они могли читать разговоры.
В другом случае Брокман предоставил доступ к API стартапу
из Юты, где работал его брат, под названием Latitude, который
разрабатывал виртуальные миры на основе искусственного ин­
теллекта. Latitude использовала более раннюю модель OpenAI
для приключенческой игры на выбор, похожей на Dungeons and
Dragons, где пользователи могли вводить действия в диалоговое
окно. Получив новый API, Latitude обновила свою игру, чтобы ис­
пользовать GPT-3. Несколько месяцев спустя пользователи нача­
ли создавать текстовые сценарии, связанные с сексуальным наси­
лием над детьми. Ари Херберт-Восс обнаружил эту проблему че­
рез систему мониторинга OpenAI и сообщил об этом остальным
членам команды.

191


Эндрю Слоун

Нейросети лжи

«Вчера вечером я нашла кое-какие материалы. Там много сек­
суального контента», - сказала Герберт-Босс на встрече.
Поначалу люди посмеивались, говоря: «Ладно, просто так
устроен интернет, не так ли?».
«Нет, это материал уровня CSAM», - сказал он, используя аб­
бревиатуру, обозначающую материалы о сексуальном насилии над
детьми.
Теперь наступила паника. «О. как нам это остановить?»
Этот инцидент вызвал длительную дискуссию между OpenAI
и Latitude о том, как решить эту проблему. Брокман опасался,
что его действия могут навредить компании его брата . В итоге
Latitude быстро установила фильтр, блокирующий текст, содержа­
щий сексуальное насилие над детьми. OpenAI выпустила публич­
ное заявление, в котором дистанцировалась от недостаточной
модерации контента и косвенно обвинила Latitude. Некоторые
сотрудники OpenAI считают, что ответственность лежит на тех­
нологиях и процессах компании, и этот инцидент оказал значи­
тельное влияние. Ранее Latitude уже банила пользователей за со­
здание текстов с детским сексуальным содержанием, используя
более раннюю модель OpenAI, поэтому повторение инцидента с
GPT-3 было предсказуемо. Бывший сотрудник OpenAI выразил
разочарование, заявив, что, несмотря на положительные отзывы
о преимуществах API, большая часть трафика была связана с не­
приемлемым контентом, таким как детский сексуальный контент
AI Dungeon и тревожный продукт AI girlfriend.
В исследовательском подразделении команда по созданию
кода быстро продвигалась вперед.
В результате развода дублирующие друг друга работы по соз­
данию кода были объединены в одну, а возглавил команду Войцех Заремба. Заремба, польский ученый-компьютерщик, преуспел
в соревнованиях по математике, кодированию, химии и физике.

192


Цифровая диктатура начинается

Известный своими техническими навыками, способностями к
командообразованию и любовью к дружбе, природе, близости и
приключениям, он с энтузиазмом делился планами длительных
выездов в офис. Однажды он с гордостью объявил одному из ру­
ководителей OpenAI и другим людям поблизости: «Мы пройдем
восемь миль, передохнем, а потом пройдем еще восемь миль».
Все еще находясь в эпицентре пандемии, Заремба попросил
свою команду из примерно десяти исследователей работать в
офисе, в то время как другие команды оставались удаленными.
Он считал, что очная работа необходима для решения проблемы
разработки модели. Мурати, впечатленный способностями GPT-3
к генерации кода, обсудил с техническим директором Microsoft
Кевином Скоттом идею создания продукта-помощника по коди­
рованию с помощью ИИ. В 2018 году Microsoft приобрела GitHub,
ведущую платформу для хранения и обмена кодом для разработ­
чиков. OpenAI добровольно занималась скраппингом на GitHub.
Руководство Microsoft поручило GitHub предоставить OpenAI
весь код в своих публичных репозиториях. По мере того как ко­
манда по созданию кода совершенствовалась, Альтман посещал
совещания, мотивируя исследователей продолжать предоставлять
Microsoft свои лучшие разработки. К весне, после демонстрации
нескольких демо-версий руководителям технологического гиган­
та, стало очевидно, что эта модель станет вторым коммерческим
проектом OpenAI после GPT-3.
У некоторых сотрудников Скотта были сомнения по поводу
развития модели. Предоставление OpenAI бесплатного доступа к
коду в публичных репозиториях GitHub не было незаконным, но
это выглядело нарушением доверия со стороны сообщества поль­
зователей. Код был предоставлен для поддержки разработки про­
граммного обеспечения с открытым исходным кодом, чтобы по­
мочь независимым разработчикам и небольшим стартапам конку­
рировать, а не для того, чтобы помочь крупным компаниям укре­

193


Эндрю Слоун

Нейросети лжи

пить свое господство. В служебной записке они изложили основ­
ные критические замечания к проекту GitHub, предложив Скотту
пересмотреть идею сбора данных о разработчиках по лицензии
Creative Commons без согласия или компенсации. Microsoft, гово­
рилось в записке, должна либо прекратить выпуск продукта, либо
отчислять часть прибыли сообществу разработчиков с открытым
исходным кодом. Хотя Скотт был открыт для обратной связи, его
основное внимание было направлено на создание инструмента и
на то, чтобы быть первым на рынке. В итоге Microsoft выделила
средства на программу поддержки разработчиков открытого кода
под названием GitHub Sponsors и сохранила видение продукта без
изменений.
Внутри OpenAI сотрудники оправдывали проект разными аргу­
ментами. Некоторые соглашались с Альтманом в том, что работа
над продуктом, который должен удовлетворить Microsoft и обеспе­
чить финансовые и вычислительные ресурсы, была крайне важна
для выполнения миссии OpenAI. Друтое считали модель генерации
кода экономически выгодной, что соответствовало определению
компании, согласно которому AGI - это системы, превосходящие
человека в решении экономически значимых задач. Альтман также
поддержал идею генерации кода для ускорения работы OpenAI, что
привело к запуску AI Scientist, инициативы по продвижению моде­
лей OpenAI для исследований автономного ИИ.
Для многих исследователей существовал и третий аргумент:
эти усилия были крайне важны для разработки следующей модели
GPT, которая должна была включать в себя рассуждения - клю­
чевой недостающий элемент. В более широкой области, на фоне
дебатов между лагерями Хинтона и Маркуса о том, может ли глу­
бокое обучение само по себе достичь этой цели, исследователи
OpenAI предположили, что обучение модели на коде может быть
полезным. Данные кодирования, содержащие структурированные
логические схемы, являются важным источником данных. Apry-

194


Цифровая диктатура начинается

менты возвращались к одному и тому же: если генерация кода мо­
жет улучшить модели ИИ в направлении AGI, то это соответству­
ет миссии OpenAI.
Несмотря на огромное количество кода, доступного на GitHub,
объем данных все равно был гораздо меньше, чем тот, что исполь­
зовался для обучения GPT-3. Команда решила, что для достиже­
ния оптимальных результатов модель генерации кода должна обу­
чаться как на GitHub, так и на наборе данных GPT-3. Они открыли
новые источники данных, такие как отрывки из Stack Overflow,
форума, похожего на Quora для разработчиков, руководства по
кодированию и учебники по программированию на разных язы­
ках. Команда обсуждала, как лучше объединить все эти данные:
доработать существующую модель GPT-3 с помощью GitHub и
других материалов или обучить новую модель с нуля, используя
все новые и старые данные. В целях экономии средств они решили
доработать существующую модель, поскольку текущие экспери­
менты уже были дорогостоящими - каждый из них стоил около
сотни тысяч долларов, если исходить из цен на облачные серви­
сы Microsoft. Разработка новой модели могла обойтись в десятки
миллионов долларов. Однако когда OpenAI позже создала GPT3.5, они изменили свой подход и объединили все данные с самого
начала. Согласно внутренним оценкам OpenAI, результаты пока­
зали, что добавление данных о кодировании повысило произво­
дительность модели в логических задачах, причем не только в
коде, но и на английском языке, благодаря процессу, известному
как трансферное обучение.
Летом 2021 года OpenAI выпустила на GitHub и Microsoft на­
чальную версию своей модели генерации кода, Codex. Модель
была большой и медленной, что делало ее использование доро­
гим и не давало должного опыта. В процессе первого сотрудниче­
ства между организациями возникли проблемы. Возникла пута­
ница в том, кто должен оптимизировать модель для развертыва­

195


Эндрю Слоун

Нейросети лжи

ния - OpenAI или GitHub. Сотрудники OpenAI не были уверены в
том, что смогут поделиться интеллектуальной собственностью с
GitHub, а сотрудники GitHub не доверяли OpenAI. Возникли раз­
ногласия по поводу сроков выпуска продукта, процесса и распре­
деления заслуг.
В итоге Мурати удалось найти компромисс, завоевав уважение
людей из разных компаний. Microsoft выпустила GitHub Copilot
в июне 2021 года, а OpenAI последовал за ней, выпустив Codex в
API компании в августе.
Это соглашение обеспечит Microsoft новую базу пользовате­
лей и небольшую финансовую поддержку. По прогнозам, через
два года GitHub Copilot достигнет миллиона платных подпис­
чиков и будет приносить более 100 миллионов долларов в год.
Однако для OpenAI эта сделка укрепила мысль о том, что со­
средоточиться на собственных потребительских продуктах бу­
дет выгоднее. Исследователи OpenAI чувствовали себя удручен­
ными, ведь они приложили немало усилий для создания модели,
а все заслуги достались GitHub и Microsoft. С такой ситуацией
было трудно смириться. Microsoft, считавшуюся сложным пар­
тнером, критиковали за чрезмерную бюрократию и необходи­
мость обширной поддержки для эффективного использования
моделей OpenAI. Зависимость от Microsoft в распространении
своих технологий приводила к тому, что OpenAI теряла понима­
ние пользовательских данных и, что очень важно, контроль над
своим видением.
Когда OpenAI сосредоточилась на своих ключевых проектах,
Альтман применил аналогичную стратегию к другим своим пред­
приятиям и инвестициям. С годами он все больше склонялся к ин­
новациям в области тяжелых технологий и верил в необходимость
значительных и долгосрочных инвестиций в важнейшие проекты.
«Если бы вы могли взмахнуть палочкой и изменить что-нибудь
в экосистеме технологических стартапов и предпринимательства,

196


Цифровая диктатура начинается

что бы вы изменили?» - спросил его брат Джек на одном из меро­
приятий после его ухода из УС.
«Было бы полезно поощрять всех участников экосистемы к
более длительному временному горизонту», - заявил Альтман.
«В мире, где люди открывают компанию и стремятся управлять
ею всего четыре или пять лет, или приходят в компанию с наме­
рением остаться на один или два года, важная работа может быть
не выполнена»,
В 2021 году Альтман изменил свою личную инвестиционную
стратегию, перейдя от множества мелких ставок к нескольким
крупным. В том году стартап под названием Tools for Humanity,
сооснователем которого он стал в 2019 году, получил финансиро­
вание и привлек внимание СМИ. Альтман уделил больше внима­
ния компании, целью которой было создание механизма универ­
сального базового дохода (UBI). Он считал, что UBI может проти­
востоять экономическим проблемам, вызванным искусственным
интеллектом в будущем. Альтман инициировал крупнейший в
США пилотный проект UBI в УС, создав некоммерческую органи­
зацию под названием OpenResearch для управления программой.
В течение трех лет OpenResearch предоставляла ежемесячную
стипендию в размере 1000 долларов случайно отобранной группе
из тысячи человек с низким уровнем дохода. Результаты исследо­
вания, опубликованные в июле 2024 года, показали, что денежная
помощь помогала людям удовлетворять базовые потребности,
поддерживать других и иметь большую финансовую гибкость.
Главный продукт компании Tools for Humanity, Worldcoin, был
самоназванной «криптовалютой, находящейся в коллективном
владению), цель которой - распределить ее стоимость между все­
ми. Компания создавала сферу хромированного цвета, напомина­
ющую шар для боулинга, чтобы сканировать радужные оболоч­
ки глаз людей для проверки личности перед распределением их
доли. Основатели считали, что сканирование радужной оболочки

197


Эндрю Слоун

Нейросети лжи

глаза будет иметь решающее значение из-за сложности отличия
фальшивых СМИ от реальности с развитием технологий искус­
ственного интеллекта. Расследование, проведенное Айлин Гуо и
Ади Ренальди в М !Т Technology Review, выявило нарушения кон­
фиденциальности, обманчивый маркетинг и потенциальные юри­
дические проблемы в процессе сканирования радужной оболочки
глаза. В июле 2023 года на фоне споров был запущен Worldcoin,
тысячи людей, особенно в странах Глобального Юга, выстроились
в очередь, чтобы предоставить свои биометрические данные в об­
мен на деньги, не понимая до конца их предназначения.
В 2021 году Альтман сделал две крупнейшие инвестиции в сво­
ей жизни: 180 миллионов долларов в компанию Retro Biosciences,
занимающуюся борьбой со старением и направленную на уве­
личение продолжительности жизни человека за счет клеточно­
го омоложения, и 375 миллионов долларов в компанию Helion
Energy, нацеленную на коммерциализацию ядерного синтеза. Аль­
тман поделился с Антонио Регаладо из M IT Technology Review,
что вложил все свои свободные средства в эти две компании. Он
описал обе технологии аналогично дорожной карте исследований
OpenAI, признав их невозможность в настоящее время, но потен­
циальную осуществимость при агрессивном масштабировании.
Проект Retro Biosciences отражает интерес Альтмана к долго­
летию. Он был увлечен исследованиями «молодой крови», в кото­
рых изучается возможность обратить вспять старение путем пе­
реливания более молодой и здоровой крови. Тиль разделял этот
интерес, вызывая дискуссии и мемы о своем желании использо­
вать кровь подростков. Во время учебы в УС Альтман присоеди­
нился к спорному стартапу под названием Nectome, внеся 10 ООО
долларов, чтобы попасть в список ожидания. Nectome, участвуя
в программе акселератора, предлагал футуристическую услугу по
криогенной заморозке мозга клиентов для возможной загрузки в
компьютер в далеком будущем. Однако для того, чтобы процесс

198


Цифровая диктатура начинается

консервации был эффективным, мозг должен быть свежим, что
делает процедуру, по словам соучредителя Роберта Макинтайра,
«на 100 процентов фатальной», как описал Антонио Регаладо.
Компания Helion отразила большой интерес Альтмана к раз­
работке чистых, доступных и богатых источников энергии. Он
считал, что стоимость и доступность энергии напрямую влияют
на качество жизни и экономический рост. Альтман предупреждал,
что при отсутствии вариантов, исключающих выбросы углекис­
лого газа, рост потребления энергии может нанести вред плане­
те. В 2023 году он назвал Helion больше, чем просто инвестицией,
сравнив его с OpenAI по затратам времени. Позднее компания
Microsoft подписала соглашение о покупке энергии с первой элек­
тростанции Helion, после того как она инвестировала 10 миллиар­
дов долларов в OpenAI. Несмотря на скептицизм, Helion пообе­
щала ввести свою станцию в эксплуатацию к 2028 году.
В 2021 году Альтман продемонстрировал свой интерес к ин­
вестициям, запустив OpenAI Startup Fund - инвестиционный пул
объемом 100 миллионов долларов для поддержки компаний ран­
них стадий с инновационными идеями в области ИИ. Microsoft
также инвестировала в фонд. Некоторым это решение показалось
странным, поскольку OpenAI не приносила больших доходов и
уже требовала больших капиталовложений. Однако другие увиде­
ли в этом способ Альтмана использовать сетевые эффекты УС для
OpenAI или просто его типичный подход к заключению сделок.
Альтман утверждал, что не имеет доли в OpenAI, чтобы не вли­
ять на создание безопасного AGI, руководствуясь своими моти­
вами прибыли. Его годовая зарплата составляет 65 ООО долларов,
а свое состояние он сколотил благодаря другим предприятиям.
Это мнение перекликается с его первоначальной идеей создания
OpenAI как некоммерческой организации. Однако к 2021 году
это заявление, как и некоммерческий статус организации, уже не
полностью отражало истину. Альтман имел значительную долю

199


Эндрю Слоун

Нейросети лжи

в компании УС, которая инвестировала в OpenAI 10 миллионов
долларов и могла получить до 1 миллиарда долларов. По мере того
как OpenAI продвигалась к коммерциализации, многие стартапы
УС и другие его инвестиции также становились клиентами или
партнерами компании. Позднее The Wall Street Journal оценил чи­
стую стоимость Альтмана в июне 2024 года, включая все его акти­
вы, как минимум в 2,8 миллиарда долларов. Создав стартап-фонд
OpenAI, Альтман привнес в свою альтруистическую историю еще
один слой, который в конечном итоге поспособствовал его крат­
ковременному исчезновению из поля зрения.

Глава 9
Капитализм катастроф
OpenAI развивалась под руководством Альтмана, расширяя
границы своего видения. Снабжая свои модели все более круп­
ными и загрязненными наборами данных, компания спровоциро­
вала «смену парадигмы», описанную Райаном Колном из Appen.
От фильтрации входных данных перешли к контролю выходных
данных модели. За абстрактными формулировками скрывалась
суровая правда: влияние на тех, кто теперь отвечает за управле­
ние этими результатами.
В 2021 году OpenAI начала проект по улучшению фильтра ав­
томатической модерации контента для своих моделей. После
скандала с детской порнографией в текстовом формате Latitude,
вызванного тем, что GPT-3 был нефильтрован в API, компания
стремилась быть более осторожной с будущими моделями, таки­
ми как GPT-3.5 и GPT-4. OpenAI понимала, что нефильтрованные
продукты могут привести к проблемам с законом, связями с об­
щественностью и удобством использования, когда они расши­

200


Цифровая диктатура начинается

ряли свои технологии. Хотя планы по созданию ChatGPT еще не
были разработаны, он также выиграл бы от использования того
же фильтра. Этот фильтр будет огибать каждую модель, чтобы об­
наружить и удалить оскорбительный контент до того, как он по­
падет к пользователю.
Для создания автоматизированного фильтра OpenAI сначала
потребовались люди, которые должны были просмотреть и клас­
сифицировать многочисленные случаи специфического контен­
та - например, секса, насилия и жестокости, - которые компания
стремилась предотвратить от создания своих моделей. После
шестимесячных поисков они нашли подходящего поставщика
аутсорсинговую фирму, имеющую опыт модерации контента для
Meta с 2019 года и по случайному совпадению имеющую никнейм
Альтмана - Sama. OpenAI связался с Sama по электронной почте,
чтобы узнать об их опыте работы с чувствительным или откро­
венным контентом и об их обычном подходе к работе с такими
проектами. Sama предоставила подробные ответы, в результате
чего OpenAI подписала с компанией четыре контракта на сумму
230 ООО долларов, поручив выполнение проекта нескольким ра­
ботникам в Кении.
Не случайно Кения стала центром одной из самых эксплуата­
торских форм труда при создании ChatGPT. Силиконовая долина
годами передавала свои самые неэтичные задачи на аутсорсим в
Кению. Как и многие другие страны, находящиеся в похожем по­
ложении, Кения бедна, расположена на Глобальном Юге и жаждет
иностранных инвестиций. Эти факторы связаны с историей ко­
лониализма, в результате которого Кения осталась без сильных
институтов, защищающих ее граждан от эксплуатации. Такая си­
туация часто приводит к экономическим кризисам, что позволяет
иностранным компаниям легко находить уязвимую рабочую силу,
готовую работать на любых условиях.

201


Нейросети лжи

Эндрю Слоун

Следы этого наследия можно увидеть в многоликом Найроби,
столице Кении. Город страдает от серьезного неравенства. Цен­
тральный деловой район может похвастаться сверкающими баш­
нями, международными пятизвездочными отелями и элитными
ресторанами. В дипломатическом квартале расположены боль­
шие величественные здания с высокими стенами безопасности.
В жилых районах для экспатов расположены потрясающие особ­
няки с пышными частными садами. А еще есть окраины: Утавала,
Дагоретти Саут, Эмбакаси. Если ехать в любой из этих районов,
стальные небоскребы превращаются в приземистые шлакоблоч­
ные строения. Здания начинают разбегаться в беспорядочном
порядке без согласованного планирования. Дороги переходят от
асфальтированных к грунтовым, от четырех полос к узким поло­
сам, предназначенным в основном для мотоциклов и пешеходов.
Дальше бетон уступает место гофрированной жести, а наспех по­
строенные дома и предприятия теснятся друг к другу еще теснее.
В этих условиях правительство Кении охотно пошло навстречу
Кремниевой долине, когда та искала низкооплачиваемых работ­
ников. Кения имеет ограниченную местную промышленность, а
многие крупные бренды являются европейскими или американ­
скими. Некоторые из крупнейших объектов инфраструктуры,
когда-то построенные британцами, теперь строят китайцы. Авто­
мобили в основном подержанные из Японии, где водители также
сидят с правой стороны. Правительство считает, что технологи­
ческие гиганты могут помочь создать столь необходимые рабочие
места для борьбы с высоким уровнем безработицы, которая часто
приводит к преступности и мелкому воровству. Бесправные люди
склонны не доверять институтам. Во время войны между Россией
и Украиной, когда в Кении выросли цены на зерно, распространи­
лись слухи о том, что президент намеренно обременяет голодные
семьи. Многие повторяли утверждения о фальсификации выбо­
ров, аналогичные американским.

202


Цифровая диктатура начинается

Кения стала важнейшим центром, где сосредоточены трудовые
ресурсы для работы в Интернете. Такие фирмы, как Sama, высту­
пающие в качестве посредников в цепочке поставок рабочей силы
для работы с данными, открыли свои предприятия в Найроби.
Они собирали работников для обслуживания технологических
компаний за рубежом, в основном в районе залива.
Для OpenAI компания Sama, казалось, соответствовала всем
критериям. Первоначально известная как Samasource, она была
социальным предприятием, расположенным в Сан-Франциско.
Основанное в 2008 году, оно ставило перед собой задачу предло­
жить значимую работу людям в бедных странах, чтобы помочь им
выбраться из нищеты. Возглавляемая Лейлой Джанах, компания
работала в Индии и Кении, завоевав репутацию этичной аутсор­
синговой компании . В 2018 году компания стала коммерческой,
сократила свое название и нацелилась на расширение своей де­
ятельности. В 2020 году она получила сертификат В Corp. В 2021
году, отвечая на запросы OpenAI, организация поделилась своим
опытом модерации контента и рассказала о мерах по сохранению
конфиденциальности проектов и безопасности данных. Она так­
же упомянула об оказании психиатрической помощи работникам,
имеющим дело с тревожным контентом.
Однако за кулисами Сама была в смятении. В январе 2020 года
Джана скончалась от редкого рака в возрасте тридцати семи лет.
Это, в сочетании с последовавшей за этим пандемией, похоже,
спровоцировало новые организационные неурядицы, что отрица­
ет представитель Sama. Эти проблемы стали очевидны только в
начале 2022 года. Билли Перриго, репортер журнала Time, опубли­
ковал подробное расследование, в ходе которого выяснилось, что
компания Sama реализовала проект Meta по модерированию кон­
тента для Facebook в странах Африки к югу от Сахары. В рамках
этого проекта работники подвергались воздействию жестоких и
графических видеороликов, включая самоубийства и обезтоавли-

203


Эндрю Слоун

Нейросети лжи

вание, что вызвало глубокие эмоциональные травмы. Sama защи­
щала свои действия, заявляя, что проект был тщательно продуман
командой из Восточной Африки, чтобы африканский контент был
проверен африканцами. Впоследствии около двухсот работников
подали многочисленные иски против Sama и Meta, ссылаясь на
травмирующие условия труда и несправедливые увольнения за
попытки улучшить оплату и условия труда. Представитель Sama
опроверг эти обвинения.
На этом фоне OpenAI начала свой проект в конце 2021 года.
Проект имел кодовые названия PBJl, PBJ2, PBJ3 и PBJ4. В нем уча­
ствовали работники-сама, занимавшиеся модерацией травмати­
ческого контента, и платили им в среднем от 1,46 до 3,74 доллара в
час. Работники не знали о цели проекта из-за условий неразглаше­
ния в их контрактах, обычных для индустрии аннотирования дан­
ных. Перед ними были сотни гротескных текстовых описаний, ко­
торые нужно было классифицировать по степени тяжести, напри­
мер, насилие, графическое насилие, домогательство, разжигание
ненависти, сексуальное насилие над детьми или скотоложство.
Постепенно эта работа сломала многих работников, что ска­
залось не только на них самих, но и на тех, кто полагался на них
в своих общинах. Только с выходом ChatGPT они осознали, ка­
кой ценой досталось их душевное спокойствие. В мае 2023 года
я встретился с четырьмя работниками в Найроби, которые со­
гласились поделиться своим опытом для статьи в The Wall Street
Journal. Один из них, Мофат Окиньи из команды по работе с сек­
суальным контентом, обнаружил, что проект повлиял на ero раз­
ум и отношения, что в конечном итоге способствовало экономи­
ческим трудностям его брата.
В период, когда были разрешены неограниченные корпора­
тивные исследования, антрополог Microsoft Мэри Л. Грей и со­
циолог-компьютерщик Сиддхарт Сури были пионерами в рас­

204


Цифровая диктатура начинается

крытии проблем, с которыми сталкиваются рабочие, например,
в Кении, чье существование зависит от важнейшей части цепоч­
ки поставок ИИ.
В 2019 году они опубликовали книгу «Призрачная работа» по­
сле пяти лет полевой работы. Книга раскрывает скрытую сеть
фрагментированного труда и цифровой эксплуатации, поддержи­
вающую Кремниевую долину. Технологические гиганты и «едино­
роги» полагались не только на высокооплачиваемых инженеров в
шикарных офисах, но и на работников, часто из стран Глобально­
го Юга, которым платили очень мало за тщательное аннотирова­
ние больших объемов данных.
Самоуправляемые автомобили должны двигаться по правиль­
ной полосе, реагировать на нестабильное поведение водителя и
останавливаться на безопасном расстоянии для школьников,
переходящих дорогу. Программная система, управляющая авто­
мобилем, использует для этого комбинацию моделей глубокого
обучения, включая модели для распознавания объектов на доро­
ге, таких как разметка, дорожные знаки, светофоры, автомобили,
деревья и пешеходы.
Компании разрабатывают модели, управляя автомобилями,
оснащенными большими камерами, которые записывают милли­
арды километров видеоматериалов. Эти кадры служат данными,
которые аннотируются путем покадрового отслеживания каждо­
го объекта, включая такие сложные детали, как изгиб руки, дер­
жащей ручку велосипеда, или собака, частично высунувшаяся из
окна автомобиля. За эту задачу отвечают рабочие, и компании
стремятся выполнить ее с минимальными затратами, чтобы до­
биться максимальной эффективности.
Исследования Грея и Сури были сосредоточены на Mecharncal
Turk - платформе, разработанной Amazon до бума глубокого обу­
чения в 2012 году. Она служила посредником для компаний, ищу­
щих доступную цифровую рабочую силу. К моменту выхода книги

205


Эндрю Слоун

Нейросети лжи

«Призрачная работа» первая эра коммерциализации ИИ уже раз­
вивалась и расширялась на основе этой модели аутсорсинга.
Я начал составлять карту новой формы скрытой рабочей силы,
обнаружив обширную глобальную трудовую сеть во многих стра­
нах, как ожидаемую, так и неожиданную. Я брал интервью у но­
вейших посредников, пришедших на смену Mechanical ^ r k -платформам, предназначенным для разработки ИИ. Я разговаривал
с многочисленными работниками, посещал их дома, обедал с их
семьями, стремясь понять не только основные тенденции, влияю­
щие на них, но и повседневные детали их жизни.
Как первая эра коммерциализации ИИ заложила основу для
эры генеративного ИИ, позволяющего собирать данные и исполь­
зовать вычислительные мощности, так и она заложила основу для
повсеместной трудовой эксплуатации. Чтобы понять опыт кений­
ских работников, нанятых OpenAI, очень важно понять эти осно­
вы. Это поможет понять, что их опыт не уникален, а является пря­
мым следствием того, как индустрия ИИ исторически относилась
к своим скрытым работникам и определяла, чей труд ценится.
Амбициозное видение OpenAI в отношении огромного масштаба
еще больше усугубляет эту проблему.
До появления генеративного ИИ основным драйвером роста в
индустрии аннотирования данных были самоуправляемые авто­
мобили. Традиционные немецкие автопроизводители, такие как
Volkswagen и BMW, почувствовав вызов со стороны таких компа­
ний, как Tesla и Uber, создали новые подразделения автономных
автомобилей, чтобы конкурировать с появляющимися соперни­
ками. Поскольку в разработку будущих автомобилей вкладыва­
ются миллиарды долларов, спрос на аннотирование данных резко
возрос, что привело к поиску альтернативы Mechanical Turk.
MTurk, также известный как Mechanical Turk, был универсаль­
ной платформой, которая не специализировалась на каком-то

206


Цифровая диктатура начинается

определенном виде работ. Она функционировала как сайт само­
обслуживания с устаревшим интерфейсом середины 2000-х годов.
Пользователи могли загружать наборы данных, давать простые
инструкции по аннотированию и назначать цену за выполнение
заданий. Идентификаторы работников были скрыты за случай­
ными строками символов. У каждого работника было две кнопки
рядом с профилем: одна для начисления бонуса, другая - для уда­
ления из проекта.
Аннотирование данных для самоуправляемых автомобилей
требовало нового уровня точности, чтобы избежать критических
ошибок. Работники должны быть хорошо обучены, а компании
должны предоставлять подробные инструкции для обеспечения
качества. Требовалось больше механизмов обратной связи и ите­
рационных процессов. MTurk потерял популярность, и появились
новые компании, такие как Scale AI, Hive, Mighty AI и Appen, со
своими платформами для создания задач, ориентированными на
работников.
Когда новые компании пытались закрепиться, они были удив­
лены внезапным ростом числа желающих зарегистрироваться из
Венесуэлы на их платформах для поиска работников. В то время
как автогиганты спешно разрабатывали самодвижущиеся автомо­
били, а компании, занимающиеся анализом данных, искали новых
работников, Венесуэла погружалась в самый тяжелый за послед­
ние пятьдесят лет экономический кризис мирного времени.
Экономисты связывают экономический крах Венесуэлы с по­
литической коррупцией и ошибочной политикой правительства.
Страна, некогда самая богатая в Латинской Америке благодаря
огромным запасам нефти, в 2016 году столкнулась с гиперинфля­
цией, стремительным ростом безработицы и разгулом насиль­
ственной преступности. Семьи увидели, как исчезают их сбере­
жения. С конца 2017 по 2019 год ситуацию усугубили эскалационные санкции администрации Трампа, направленные на то, чтобы

207


Эндрю Слоун

Нейросети лжи

наказать Николаса Мадуро за его авторитарное правление. Гипе­
ринфляция достигла беспрецедентных 10 миллионов процентов.
Даже высокообразованные люди с хорошей работой были вынуж­
дены стоять в очередях за основными продуктами питания, таки­
ми как рис и мука.
В условиях катастрофы многие венесуэльцы стали искать ра­
боту на онлайн-платформах. К середине 2018 года сотни тысяч
человек присоединились к индустрии аннотирования данных, со­
ставляя до 75 % рабочей силы в некоторых аутсорсинговых компа­
ниях. Работа на этих платформах стала семейным занятием. Джу­
лиан Посада, доцент Йельского университета, опросил многих ве­
несуэльских рабочих и выяснил, что родители и дети часто поль­
зовались одним компьютером для работы на . Жены занимались
домашними делами, чтобы их мужья могли работать дольше и без
перерыва. Кризис значительно повлиял на рост аутсорсинговых
компаний, специализирующихся на ИИ. Венесуэла не была оче­
видным выбором рабочей силы из-за языкового барьера, а фир­
мы в основном базировались в Сан-Франциско и Сиэтле. Однако
крайняя безысходность венесуэльцев заставляла их соглашать­
ся на очень низкую зарплату, что позволяло фирмам предлагать
конкурентоспособные цены на свои услуги. Флориан Александр
Шмидт, профессор Дрезденского университета прикладных наук,
обсуждая подъем индустрии аннотирования данных в 2022 году,
назвал эту ситуацию уникальным явлением.
Это «странное совпадение» вскрыло тревожную закономер­
ность. Венесуэла, столкнувшаяся с экономическим коллапсом,
имела идеальные условия для изобилия дешевой рабочей силы:
хорошо образованное население, хороший доступ в Интернет и
готовность работать за низкую зарплату. Такая ситуация харак­
терна не только для Венесуэлы. Все больше стран расширяют
возможности подключения к Интернету, а в условиях изменения
климата и геополитической нестабильности все больше стран мо­

208


Цифровая диктатура начинается

гут столкнуться с кризисом. Шмидт предположил, что ситуация,
подобная венесуэльской, вполне вероятна.
В то время предсказание Шмидта заставило меня задуматься,
будет ли второй случай совпадением или компании, занимающие­
ся аннотацией данных, создадут учебник на основе того, что рабо­
тало раньше. Поиск работников в условиях кризиса мог бы стать
способом дальнейшего снижения стоимости рабочей силы, что
крайне важно для индустрии искусственного интеллекта. Огляды­
ваясь назад, спустя годы, мы видим, что именно это и произошло,
создавая поразительную параллель между древними империями
и империями ИИ. Одна из ключевых особенностей, ускоряющих
накопление богатства империи, - способность платить очень мало
или вообще ничего не платить за экономическую выгоду от боль­
шой человеческой рабочей силы.
В декабре 2021 года я отправился в путешествие по извили­
стым горам Колумбии, чтобы узнать о жизни рабочего, который
во время кризиса прибег к аннотированию данных. Ограничения
на поездки не позволяли мне посетить Венесуэлу. Однако в Ко­
лумбии проживало около двух миллионов венесуэльских бежен­
цев, что составляло треть населения, перемещенного в результате
экономического кризиса.
Хулиан Посада познакомил меня с женщиной по имени Оскарина Вероника Фуэнтес Анайя. Она до сих пор работает в индустрии
аннотирования данных после того, как покинула свою страну. Фу­
энтес была первой, кто открыл мне реальность этой работы. Она
перестроила свою жизнь, чтобы работать на платформу, которая,
в свою очередь, относилась к ней как к расходному материалу.
В квартире, которую она делила с шестью родственниками, мы
сидели вместе в гостиной, пока она щелкала экранами на Appen.
Задачи были самые разные: от категоризации товаров на сайтах
электронной коммерции (определение принадлежности товара

209


Эндрю Слоун

Нейросети лжи

к одежде или аксессуарам) до модерации контента в социальных
сетях (проверка видео на наличие преступлений или нарушений
прав человека). При выполнении заданий на английском языке она
использовала Google Translate для перевода текста на испанский.
Каждый раз, когда она выполняла задание, количество зарабо­
танных ею денег в долларах США немного увеличивалось. Чтобы
снять деньги, ей нужно было набрать хотя бы десять долларов, что
было несложно, когда она начинала. Теперь же на достижение этой
суммы могли уйти недели. Минимальная сумма часто казалась ей
суровым судьей, определяющим, хватит ли ей денег на продукты.
Для работников, живущих в Венесуэле, снятие денег было за­
труднено. Глобальные платежные системы, такие как PayPal, не
поддерживали переводы в Венесуэлу. Многие магазины там не
принимали цифровые платежи. Работникам приходилось конвер­
тировать свои цифровые деньги в наличные для оплаты повсед­
невных расходов. Приходилось конвертировать доллары США
онлайн в венесуэльские боливары наличными. Черный рынок был
полон мошенников и высоких комиссий за такой обмен валюты.
У Фуэнтес были сложные отношения с платформой. Она ни­
когда не собиралась работать на этой работе, но обстоятельства,
не зависящие от нее, сделали ее основным источником дохода и
оказали сложное влияние.
Она создала аккаунт Appen во время учебы в аспирантуре, что­
бы заработать дополнительные деньги во время получения степе­
ни магистра в области инженерии. Она была остроумной, трудо­
любивой и творческой. Если бы ее страна не развалилась, у такой
лучшей студентки, как она, наверняка была бы надежная работа
в государственной нефтяной компании. Однако, когда ее страна
развалилась, она приспособилась, тщательно спланировав пере­
езд в Колумбию вместе с мужем в поисках лучшего будущего.
В этом отношении Фуэнтес повезло. Она имела право на ко­
лумбийский паспорт по рождению, в отличие от многих других,

210


Цифровая диктатура начинается

кто бежал без документов. Ее родители были колумбийцами, но
поколением раньше бежали в Венесуэлу, чтобы избежать насилия
и политической нестабильности. Это была обычная история, ког­
да поколения сталкивались с кризисами за границей, заставляя
семьи находиться в состоянии вечной борьбы за выживание.
С этим паспортом Фуэнтес договорился об аренде квартиры в
Колумбии у своего знакомого в Венесуэле. Два владельца недви­
жимости должны были подписать договор аренды, и знакомый, их
потенциальный арендодатель, согласился помочь с этим.
В начале 2019 года Фуэнтес и ее муж пересекли границу, имея
денег только на продукты на неделю. По прибытии они обнаружи­
ли, что в квартире, обещанной хозяином, уже живет другая вене­
суэльская пара. Не имея другого выхода, обе пары оказались под
одной крышей, и каждая из них испытывала страх и недоверие,
что может потерять свой дом.
Другая пара в конце концов уехала, но это было только на­
чалом новой череды проблем. Фуэнтес нашла работу в местном
колл-центре, но у ее мужа не было разрешения на работу. Не успел
он его получить, как колл-центр заявил, что закрывается. Когда у
Фуэнтес стали появляться признаки серьезных проблем со здоро­
вьем, она не обращала на них внимания и продолжала работать,
стараясь отработать как можно больше часов до окончания рабо­
ты работодателя.
Позже врач сказал ей, что если бы она ждала дольше, то, скорее
всего, умерла бы. Коллега, заметив признаки ухудшения здоровья
Фуэнтес, отвез ее в больницу как раз перед тем, как у нее начались
судороги и на минуту остановился пульс.
У нее диагностировали тяжелую форму диабета и назначили
пять ежедневных курсов инсулина. В течение нескольких недель
она терпела сильную боль и временно ослепла. После стабилиза­
ции состояния она по-прежнему чувствовала сильную усталость и
не могла надолго выходить из дома.

211


Эндрю Слоун

Нейросети лжи

Уже тогда она думала только о том, что ей и ее мужу нужны
деньги. Однако из-за хронического заболевания она больше не
могла спокойно преодолевать расстояния, необходимые для воз­
вращения в офис. Поэтому она достала свой ноутбук и снова во­
шла в Appen.
Для Фуэнтес задания, появлявшиеся в очереди Appen, каза­
лись случайными. Было очевидно, что ей нужно поддерживать хо­
рошую производительность, чтобы продолжать получать работу.
Уилсон Панг, который в то время был техническим директором
Appen, объяснил в 2021 году, что платформа использует алгорит­
мы для распределения проектов. Эти алгоритмы учитывают такие
факторы, как местоположение работников, точность, скорость и
прошлые результаты выполнения конкретных задач.
В группах Telegram и Discord Фуэнтес обменивался советами
с другими венесуэльцами, работающими в Appen, пытаясь разо­
браться в правилах, как в сложной головоломке. Они обнаружили,
что использование VPN для появления в США помогает им зара­
ботать больше всего денег, но также поняли, что это рискованно.
Appen отслеживает и наказывает работников, нарушающих правила
платформы, закрывая их аккаунты. Это могло привести к катастро­
фическим последствиям, поскольку все невыплаченные заработки
терялись, а создание нового аккаунта означало, что придется начи­
нать все сначала с низкооплачиваемых заданий или вообще без них.
Были и другие правила. Быстрая сдача задания вознагражда­
лась, но слишком быстрая сдача задания вызывала проблему в си­
стеме, когда работник не получал зарплату. Платформа связывала
очень быстрое выполнение с поведением бота, что приводило к
игнорированию ответов. В некоторых заданиях отсутствовали
четкие инструкции, и их было невозможно понять, а в других слу­
чаях в платформе возникали ошибки, которые не позволяли зада­
ниям корректно загружаться.

212


Цифровая диктатура начинается

Венесуэльцы из группы, которые были инженерами-программистами, разрабатывали расширения для браузера, чтобы решить
проблемы, и делились ими с другими сотрудниками Appen. Одно
расширение включало временную задержку для предотвращения
обнаружения ботов. Другое обновляло очередь Appen каждую
секунду. Третье расширение оповещало работников о появле­
нии нового задания, позволяя им делать перерывы, не упуская
возможности.
Несмотря на то, что работники старались помогать друг другу,
платформа породила конкуренцию между ними. Проекты распре­
делялись в порядке поступления. Задание оставалось в очереди
до тех пор, пока его не выполняло достаточное количество работ­
ников. Со временем время, прошедшее с момента получения зада­
ния до его удаления, сократилось с нескольких дней до несколь­
ких часов и секунд, поскольку все больше работников, включая
многих венесуэльцев, переживающих кризис, присоединялись к
Appen и конкурировали за небольшие возможности для работы.
Непостоянный и непредсказуемый характер работы отразил­
ся на жизни Фуэнтес. Однажды во время прогулки она пропусти­
ла задание стоимостью в несколько сотен долларов. Из-за этого
случая она перестала выходить из дома в будние дни и позволяла
себе короткие прогулки только по выходным, когда вероятность
появления заданий была меньше . Она беспокоилась о том, что
задания приходят по ночам, и перед сном ставила компьютер на
максимальную громкость, чтобы расширение браузера предупре­
ждало о приходе заданий.
Несмотря на стресс, вызванный Appen, Фуэнтес не могла пред­
ставить себе, что покинет платформу. Она боялась, что задания
перестанут поступать, и ей придется искать другую работу. Appen
стал для нее спасательным кругом, помогая пережить трудные
времена. Кроме того, заработок был достаточно существенным,
чтобы она смогла купить новый ноутбук и окупить вложения.

213


Эндрю Слоун

Нейросети лжи

Когда все было хорошо, все было очень хорошо, но когда все
было плохо, она упорно продолжала оставаться на платформе,
веря, что она ответит ей взаимностью.
Фуэнтес научила меня двум истинам, которые я буду снова и
снова повторять среди других работников, которые так же при­
соединялись к этой работе во время экономических трудностей.
Первая истина заключалась в том, что даже если бы она захотела
покинуть платформу, шансов на это было мало. Ее история бежен­
ки и ребенка, живущего в условиях нестабильности поколений и
страдающего от хронических заболеваний, была, к сожалению,
типичной для этих рабочих. Рабочие научили меня тому, что бед­
ность - это не просто отсутствие денег или материальных благ.
Она влияет на каждый аспект жизни работника, приводя к таким
проблемам, как нерегулярный сон, плохое здоровье, снижение са­
мооценки и, что самое важное, ограниченная самостоятельность
и контроль.
Но была и более обнадеживающая правда: Фуэнтес не нрави­
лась сама работа, ей просто не нравилось, как она была структури­
рована. При переосмыслении того, как может функционировать
труд в индустрии ИИ, это кажется более решаемой проблемой.
Когда я спросил Фуэнтес, какие изменения она хотела бы вне­
сти, ее список пожеланий был прост: она хотела бы, чтобы Appen
была традиционным работодателем, предлагающим ей контракт
на полный рабочий день, доступного менеджера, стабильную зар­
плату и медицинские льготы. Она сказала мне, что все, чего она и
ее коллеги хотят, - это безопасности и признания их присутствия
со стороны компании, в которой они много работали.
Ученые, занимающиеся вопросами труда, провели исследова­
ния по всему миру, чтобы определить основные права, которыми
должны обладать аннотаторы данных. Проект Fairwork, возглав­
ляемый Оксфордским институтом интернета, определяет прием­

214


Цифровая диктатура начинается

лемые условия для работников: получение справедливой зарпла­
ты, постоянные смены, оплачиваемый больничный, четкие кон­
тракты, возможность высказывать руководству свои претензии и
свобода объединяться в профсоюзы, не опасаясь репрессий.
С годами в индустрии аннотирования данных появляется все
больше игроков, стремящихся рассматривать эту работу не про­
сто как работу, а как карьеру. Однако лишь немногие из них смог­
ли выдержать ценовую конкуренцию с компаниями, которые не
придерживаются тех же стандартов. Без минимальных стандар­
тов в отрасли неизбежно снижение цен.
Среди компаний, занимающихся аннотацией данных, которые
появились для поддержки индустрии самоуправляемых авто­
мобилей, одна фирма выделяется своим успехом в преодолении
трудностей. Основанная в 2016 году вундеркиндом Александром
Вангом, бывшим студентом Массачусетского технологического
института, который бросил учебу в девятнадцать лет, компания
Scale AI приняла стратегию, направленную на предоставление вы­
сококачественных специализированных услуг по доступным це­
нам. Бывший сотрудник Scale, отвечавший за рост команды, поде­
лился целью компании: «Как мы можем нанять лучших талантов
по низкой цене?» Такой подход помог Scale привлечь таких круп­
ных клиентов, как Lyft, Apple, Toyota и Airbnb.
Если в MTurk работали в основном выходцы из США и Индии,
то Scale изначально ориентировалась на Кению и Филиппины.
Эти страны, бывшие англоязычные колонии, имеют опыт обслу­
живания американских компаний через колл-центры и работу
в сфере цифровых технологий. Команды Scale искали в каждой
стране регионы, которые соответствовали критериям Венесуэ­
лы: высокая плотность населения, хорошее образование, доступ к
интернету и готовность много работать за низкую зарплату из-за
бедности. Стратегия компании была направлена на благо людей,

215


Эндрю Слоун

Нейросети лжи

которые могут максимально использовать экономические воз­
можности и обрести счастье. Майк Вольпи, генеральный партнер
Index Ventures, подчеркнул важность такой работы, как маркиров­
ка данных в кондиционированном интернет-кафе, по сравнению с
ручным трудом, поддержав подход Scale.
После запуска платформы Remotasks, предназначенной для
работы с сотрудниками, компания заметила большой интерес со
стороны Венесуэлы, поэтому венесуэльцы стали одним из глав­
ных приоритетов Scale при наборе персонала. Один из бывших со­
трудников отметил, что венесуэльцы были самым экономически
выгодным вариантом. В 2019 году компания начала кампанию по
расширению в Венесуэле, используя реферальные коды и марке­
тинговые видеоролики в социальных сетях с изображением пачек
долларов США. В следующем году для Remotasks была создана
посадочная страница, посвященная Венесуэле, которая рекла­
мировала новую инициативу под названием Remotasks Plus. Эта
программа, предназначенная только для приглашенных, призвана
помочь венесуэльцам в трудные времена, предлагая им возмож­
ность получить новые навыки, продвинуться по карьерной лест­
нице и заработать больше благодаря постоянному рабочему дню
и почасовой оплате. Поскольку пандемия усугубила экономиче­
ский кризис, многие венесуэльцы массово присоединились к про­
грамме Remotasks Plus. Конкуренты Scale, другие платформы для
аннотирования данных, с трудом справлялись с конкуренцией на
рынке.
Как только компания Scale заняла доминирующее положение,
ее обещания рабочим померкли. В конце 2021 - начале 2022 года
я сотрудничал с венесуэльской журналисткой из Каракаса Андреа
Паолой Эрнандес. Мы брали интервью у венесуэльцев, которые
работали на Scale в рамках программы Remotasks Plus. Мы также
внедрились в сообщество Remotasks Discord, которое компания
Scale использовала для общения и координации действий своих

216


Цифровая диктатура начинается

сотрудников по всему миру. Из электронной таблицы, которую
компания оставила в открытом доступе, мы узнали, что зарабо­
ток работников начал снижаться по адресу уже через несколько
недель после запуска программы. Работники, начинавшие с зара­
ботка в сорок долларов в неделю, вскоре получали менее шести
долларов или вообще ничего. В апреле 2021 года компания полно­
стью закрыла программу Remotasks Plus и вернулась к стандарт­
ным операциям. Задания выдавались по частям, без стандартных
или гарантированных часов.
Внутри Scale компания Remotasks Plus была экспериментом.
Компания думала, что будет проще платить работникам по часам,
а не по выполненным заданиям. Однако все вышло иначе. Сотруд­
ники не могли проверить время работы сотрудников и подозре­
вали, что многие из них жульничают, записывая в журнал больше
времени, чем они на самом деле отработали. Попробовав различ­
ные решения, компания Scale решила прекратить использование
Remotasks Plus, чтобы избежать финансовых потерь. Несмотря
на это, более 85 процентов работников остались на платформе,
демонстрируя постоянный интерес и вовлеченность, по словам
представителя Scale.
К тому времени, когда Эрнандес начал опрашивать работни­
ков, примерно через семь месяцев после отмены программы Plus,
зарплата на Remotasks снизилась. Эрнандес открыл счет на плат­
форме, чтобы протестировать ее. После двух часов обучения и
выполнения двадцати заданий Эрнандес заработал одиннадцать
центов. Мэтт Парк, старший вице-президент по операциям в Scale,
заявил, что венесуэльцы на платформе зарабатывают в среднем
чуть больше девяноста центов в час. Он отметил, что компания
Remotasks стремится обеспечить справедливую оплату труда во
всех регионах, где она работает.
Многие венесуэльцы, которые жаловались, были удалены с
платформы. Рикардо Хаггинес, инженер-компьютерщик, кото­

217


Эндрю Слоун

Нейросети лжи

рый присоединился к Remotasks, чтобы поддержать свою семью
после недельного отключения электричества, получил отказ в ре­
гистрации за то, что задавал слишком много вопросов в Discord.
Он понял, что компания стремится максимально увеличить вклад
каждого пользователя, прежде чем заменить его новым.
Scale действительно привлекала новых пользователей. К середи­
не 2021 года, когда платформу покинули венесуэльцы, Scale набира­
ла тысячи работников из стран, пострадавших от пандемии. Чтобы
удовлетворить разнообразные потребности клиентов, компания
расширяла свою деятельность за счет стран с большим количеством
населения, испытывающего финансовые трудности и говорящего на
таких экономически ценных языках, как английский, французский,
итальянский, немецкий, китайский, японский и испанский. Компа­
ния искала франкоговорящих людей из бывших французских коло­
ний в Африке и носителей мандаринского языка из районов с боль­
шой китайской диаспорой в Юго-Восточной Азии.
Scale повторила на новых рынках схему, разработанную в Вене­
суэле: сначала она предлагала высокие заработки, чтобы привлечь
работников, а затем снижала их. Она регулировала размер выплат
исполнителям заданий путем экспериментов, которые обсужда­
лись штатными сотрудниками в ее штаб-квартире в Сан-Фран­
циско. Работники страдали от непредсказуемых изменений в сво­
их доходах. Компания отрицает, что ориентируется на страны с
проблемной экономикой или намеренно снижает заработок. Scale
набирает работников, руководствуясь такими факторами, как
географическое и языковое разнообразие и круглосуточная под­
держка . Пресс-секретарь подчеркнул, что компания заботится о
своих сотрудниках, и опроверг любые утверждения, свидетель­
ствующие об обратном.
Одна группа из восьми работников в Северной Африке сооб­
щила, что за несколько месяцев Scale резко сократила их зарплату

218


Цифровая диктатура начинается

более чем на треть. Один работник даже оказался должен компа­
нии Scale из-за отрицательных отложенных платежей. Когда груп­
па попыталась протестовать против изменений, компания предо­
стерегла их от организации каких-либо «революций и протестов».
Почти все, кто поделился со мной своим опытом, были удалены с
платформы. По словам представителя Scale, компания не отстра­
няет работников из-за проблем с оплатой труда, а только за нару­
шение правил сообщества.
Платежные системы Scale, которыми пренебрегали американ­
ские инженеры, имели множество ошибок, которые не позволяли
работникам получать наличные. По мере расширения Scale эти
проблемы расстраивали штатных сотрудников, которые тесно
общались с работниками. Многие пытались отстаивать интересы
работников перед руководством Scale, требуя улучшения условий
труда, повышения зарплаты и гарантий выплат. Однако они либо
уходили, почувствовав себя выжатыми, либо были вынуждены
покинуть компанию. Представитель компании отметил, что с тех
пор стабильность платформы «значительно улучшилась».
Доминирование масштаба создает проблему для компаний,
предпочитающих платить прожиточный минимум. Компания
CloudFactory, работающая в Кении и Непале, предлагает работни­
кам справедливые трудовые договоры и постоянный график ра­
боты в соответствии со стандартами Fairwork. Однако основатель
компании Марк Сирс рассказал о том, что за последние годы он
потерял много контрактов с Scale.
CloudFactory представляет себя клиентам как компанию, спо­
собную обеспечить более высокое качество по сравнению с моде­
лью «анонимной работы толпы». Ее работники хорошо обучены,
набираются опыта и получают повышение по службе в зависимо­
сти от результатов своей работы. В Кении многие работники счи­
тают CloudFactory одной из лучших фирм, занимающихся анно­
тацией данных. Одних клиентов привлекает репутация компании

219


Эндрю Слоун

Нейросети лжи

как работодателя, других - ее предложение. Однако из-за бюджет­
ных ограничений во время пандемии многие клиенты перешли на
более доступные альтернативы, что заставило CloudFactory уво­
лить работников.
Работники отмечали, что под давлением конкуренции Sama
начала снижать свои стандарты. Изначально работа в Sama была
более желанной, чем в CloudFactory. Однако после смерти Лейлы
Джанах, пандемии и перехода клиентов на Scale и другое более
дешевые варианты ситуация изменилась. Работники утверждают,
что компания приняла проект OpenAI по модерации контента,
что представитель Sama отрицает. Это решение было принято,
когда компания испытывала финансовые трудности, как и Фуэн­
тес и другое венесуэльские работники.
Мофат Окиньи вырос в деревне на острове в западной Кении,
который находится в восьми часах езды на автобусе и двух часах
на лодке от Найроби. Остров расположен в озере Виктория, от­
куда открываются беспрерывные виды на горизонт. Медицинская
помощь была далека, и внезапные кризисы здоровья часто озна­
чали неминуемую смерть.
Он был беден, но в детстве он и его братья и сестры не задумы­
вались о своей бедности. Они наслаждались историями о своих
предках. Легенда гласит, что их племя, народ луо, изначально при­
шло из Израиля. Используя свои знания в области строительства
лодок и речного судоходства, они мигрировали на юг по Нилу,
распространившись на запад Кении и часть Уганды и Танзании,
где и живут сегодня. «Луосы - не кенийцы», - сказал Окини тихим
тоном, как будто делился секретом. «Мы израильтяне, живущие в
Кении. Но Кения не была бы Кенией без луосов».
Пока мы сидели в его квартире, снаружи шумела стройка, а во­
круг нас жужжали мухи. Он улыбнулся и сказал: «Барак Обама луо. Луо - очень остроумные люди».

220


Цифровая диктатура начинается

Бедность занимала теперь больше места в мыслях Окини.
В двадцать восемь лет у него прибавилось обязанностей: платить
за квартиру, покупать еду и оплачивать учебу племянницы. В Ке­
нии государственное образование не является бесплатным. Когда
у него появилась работа, он был благодарен за это, учитывая вы­
сокий уровень безработицы среди молодежи в стране - 67 про­
центов. В 2021 году Всемирный банк сообщил, что более четверти
населения Кении живет менее чем на 2,15 доллара в день.
В ноябре 2021 года Sama предложила ему новую возможность,
которая показалась ему чудом. В 2019 году он подал заявку на ва­
кансию «Обучение искусственному интеллекту» на веб-страни­
це «Карьера» и присоединился к компании. Его проекты в Sama
совпадали с развитием индустрии ИИ. Первые два года он зани­
мался аннотацией компьютерного зрения, в частности, для само­
управляемых автомобилей. Не подозревая о том, что этот новый
проект ознаменует его дебют в генеративном ИИ.
Менеджеры компании Sama провели для Окини тест на жизне­
стойкость. Он читал тревожные отрывки текста и распределял их
по категориям, следуя инструкциям. Пройдя проверку, он получил
предложение присоединиться к новой команде для работы, похо­
жей на модерацию контента. Несмотря на то что он никогда не
занимался этим раньше, тексты оказались для него посильными.
Отказываться от работы во время пандемии казалось неразум­
ным, и он задумался о своем будущем. Живя в Пайплайне, хаотич­
ном районе на юго-востоке Найроби, заполненном многоквартир­
ными домами и уличными торговцами, Окиньи был полон реши­
мости улучшить свою жизнь. Он только что познакомился с Син­
тией, своей соседкой, которая впервые заставила его задуматься о
создании семьи.
Только приняв проект, он понял, что тексты оказались слож­
нее, чем ожидалось. OpenAI разделил работу на разные потоки:
один - для сексуального контента, другой - для насилия, языка не­

221


Эндрю Слоун

Нейросети лжи

нависти и членовредительства. Насилие выделилось в отдельный
поток в феврале 2022 года. Sama поручила группам работников,
известных как агенты, читать и классифицировать тексты в со­
ответствии с рекомендациями OpenAI. Небольшая команда ана­
литиков качества проверяла категоризацию, а затем отправляла
готовые работы обратно в OpenAI.
Окини был назначен аналитиком качества в команде по работе
с сексуальным контентом, чтобы ежемесячно просматривать пят­
надцать тысяч единиц контента. OpenAI разделил текстовый сексу­
альный контент на пять групп. В самую серьезную категорию попа­
ли описания сексуального насилия над детьми, включающие любые
упоминания о сексуальной активности лиц младше восемнадцати
лет. Следующая категория включала в себя описания эротическо­
го сексуального контента, который может быть запрещен в США,
если будет иметь место в реальной жизни, например, инцест, ско­
толожство, изнасилование, торговля сексом и сексуальное рабство.
Некоторые сообщения были взяты из темных уголков интер­
нета, таких как сайты эротики с фантазиями об изнасиловании
и сабреддиты о самоповреждении. Другие были созданы искус­
ственным интеллектом. Исследователи OpenAI поручали языко­
вой модели написать подробные описания тревожных сценариев,
например, текст, имитирующий обсуждение самоповреждения
девочкой-подростком на онлайн-форуме неделю спустя.
В этом смысле работа отличалась от традиционного модерирования контента. Модераторы контента в Meta проверяли посты,
созданные пользователями, чтобы решить, стоит ли им оставать­
ся на Facebook. В то же время Окини и его команда аннотирова­
ли контент для обучения фильтра модерации контента OpenAI,
стремясь избежать подобных результатов. Чтобы привести раз­
нообразные примеры, некоторые из них были созданы с помощью
программного обеспечения компании, чтобы представить себе
экстремальные сценарии.

222


Цифровая диктатура начинается

Поначалу сообщения были короткими, в одно-два предложе­
ния, поэтому Окини старался их разделять. Его отношения с Син­
тией развивались стремительно. Он сказал своему брату Альбер­
ту, что она - любовь всей его жизни и у нее есть маленькая дочь от
предыдущих отношений, к которой он относится как к своей соб­
ственной. В начале 2022 года они переехали из Пайплайна в Утавалу, преимущественно жилой район на востоке, с более зрелой
атмосферой и большими расстояниями между зданиями. Хотя ни­
каких документов не было, согласно их традиции, совместный пе­
реезд означал, что Окини и Синтия фактически поженились. Они
называли друг друга мужем и женой.
По мере развития проекта OpenAI график работы Окини ста­
новился непредсказуемым. У него были вечерние смены, а иногда
он работал по выходным. Посты стали длиннее, до пяти-шести аб­
зацев. Подробности были яркими и тревожными, включая случаи,
когда родители насиловали своих детей, а дети вступали в сексу­
альные отношения с животными.
Вокруг Окини его коллеги, особенно женщины, начали испы­
тывать трудности. Они просили больше больничных и отпусков
по семейным обстоятельствам, старались избегать работы. Хотя
компания предлагала бесплатные психологические консультации,
многие находили их недостаточными. На групповых занятиях лю­
дям было трудно поделиться своими мыслями наедине, а психо­
логи, похоже, не знали, в какой рабочей обстановке они работают.
Работники боялись признаться в своих проблемах, опасаясь, что
их могут заменить за неудовлетворительную работу. Представи­
тель компании Sama отметил, что ни Окини, ни другие работники
не выражали беспокойства по поводу услуг в области психическо­
го здоровья. Компания узнала о проблеме только из средств мас­
совой информации.
Окини старался не поддаваться, но чувствовал, что его рассу­
док расшатывается. Посты засели глубоко в его сознании, вызы­

223


Эндрю Слоун

Нейросети лжи

вая в памяти ужасающие сцены, которые преследовали его. Он
стал ощущать себя оболочкой себя прежнего, отдалился от дру­
зей, оттолкнул падчерицу и избегал близости с женой.
В марте 2022 года руководство Sama созвало всех на собрание и
сообщило о расторжении контракта с OpenAI. Некоторых, как, на­
пример, Окини, переведут на новые проекты, не связанные с модерацией контента, а других отправят домой без работы. Многие ра­
ботники считали, что внезапные перемены связаны с тем, что неко­
торые из них, участвовавшие в проекте Meta, проболтались в СМИ.
Журналист Time Билли Перриш опубликовал свое первое рассле­
дование о Sama. На фоне сильного пиара руководство Sama пре­
кратило все другие работы по модерации контента. Представитель
Sama заявил, что компания расторгла контракт с OpenAI, потому
что OpenAI начал присылать изображения для аннотирования, ко­
торые выходили за рамки оговоренного объема. Компания не полу­
чила от OpenAI полной выплаты в размере 230 ОООдолларов.
Даже после ухода с работы в OpenAI психическое состояние
Окини продолжало ухудшаться. Он страдал от бессонницы и че­
редовал тревогу с депрессией. Его отношения с Синтией испор­
тились, так как он с трудом объяснял свои переживания, вызван­
ные ежедневным чтением материалов сексуального содержания.
Синтия чувствовала себя обделенной вниманием и обвиняла его в
том, что он нарушает обещания и больше не любит ее дочь.
Он обратился за психологической консультацией к частному
специалисту, которая обошлась ему в 1 500 кенийских шиллин­
гов, что эквивалентно примерно 13 долларам США в 2022 году.
Врач сообщил ему, что полный курс лечения будет стоить 30 ООО
шиллингов, примерно 250 долларов, что равно месячной зарпла­
те. Заплатив за консультацию, он так и не вернулся за дальнейшим
лечением.
В ноябре он нашел новую работу по обслуживанию клиентов
у конкурента Sama, избегая работы по модерации контента. Он

224


Цифровая диктатура начинается

ездил на работу в их офис в центральном деловом районе, надеясь
на возвращение к нормальной жизни. Через неделю работы, когда
он возвращался домой, Синтия написала ему сообщение с прось­
бой купить рыбу на ужин. Он купил три куска - один для себя,
один для нее и один для падчерицы.
Вернувшись домой, он заметил, что что-то не так. Ни их самих,
ни их вещей не было на месте. В нескольких коротких сообщениях
она сообщила ему, что ушла и больше не вернется. Окини вспо­
минает, как она сказала ему: «Ты изменился. Ты не тот человек, за
которого я выходила замуж. Я больше не понимаю тебя».
Альберт жил в прибрежном городе Момбаса, который нахо­
дился в восьми часах езды от Найроби. Он получил звонок от
брата, когда преподавал английскую литературу в средней школе.
В свободное время он любил писать стихи. В течение нескольких
месяцев он наблюдал за изменениями в жизни и поведении брата
благодаря регулярным видеозвонкам.
Сначала Альберт не понял слов брата. «Мой дом пуст», - ска­
зал Мофат. Альберт подумал, что Мофата ограбили. Когда он разо­
брался в ситуации, Альберт понял, что его брату нужна помощь. Он
сообщил в школу о своем уходе и собрал вещи. Затем Альберт пере­
ехал к брату в ту же квартиру в Утавале, где Мофат жил с Синтией.
Решение оказать финансовую поддержку брату дорого обо­
шлось Альберту, но он не пожалел об этом. Не найдя постоянной
работы в Найроби, он начал подрабатывать писателем-фрилансером. В конце ноября 2022 года OpenAI запустила ChatGPT. Про­
дукт быстро завоевал популярность во всем мире, вызвав опасе­
ния, что он может заменить множество рабочих мест. Альберт
уже ощутил это на собственном опыте: его контракты на написа­
ние текстов стали исчезать один за другим, пока не прекратились
почти полностью.
Сидя на своем диване и размышляя обо всем, Мофат испыты­
вал противоречивые эмоции. «Я горжусь своим участием в обе­

225


Эндрю Слоун

Нейросети лжи

спечении безопасности ChatGPT», - сказал он. «Но я всегда зада­
юсь вопросом: Стоил ли мой вклад того, что я получил взамен?»
Когда я писал историю Окини и трех других кенийских ра­
бочих для The Wall Street Journal, OpenAI пыталась снять с себя
ответственность за то, что проект понес такие потери. Руковод­
ство OpenAI заявило, что именно Sama не соблюдала надлежащие
процедуры для защиты своих рабочих. Они отметили, что, учиты­
вая безупречную репутацию компании Sama, OpenAI не могла не
знать о том, что рабочие столкнулись с трудностями.
Последовательный анализ опыта работников по всему миру по­
казывает, что трудовая эксплуатация в индустрии ИИ широко рас­
пространена. Ученые и защитники трудовых прав отмечают, что эта
эксплуатация, как правило, начинается с компаний, занимающихся
ИИ. Они используют аутсорсинц чтобы скрыть от глаз наиболее
неэтичные задачи и снять с себя ответственность. Эта стратегия
также поощряет посредников конкурировать за контракты, снижая
заработную плату. Мерси Мутеми, юрист, померживавшая Окиньи
и его коллег в Кении в деле улучшения защиты цифрового труда,
объяснила, что в итоге работники эксплуатируются дважды: снача­
ла посредником, а затем компанией ИИ для увеличения прибыли.
В эпоху генеративного ИИ эксплуатация усугубляется из-за су­
рового характера работы, обусловленного «сменой парадигмы»,
инициированной OpenAI для улучшения моделей генеративного
ИИ с помощью огромных объемов данных на пути к достижению
AGI. Марк Сире из CloudFactory, который упомянул, что его ком­
пания избегает подобных проектов, сказал, что в его опыте управ­
ления компанией, занимающейся аннотацией данных, модерация
контента для генеративного ИИ была самой сложной с этической
точки зрения задачей. Он описал ее как крайне неприятную.
Соглашение OpenAI с Sama было лишь одной из составляющих
обширной сети человеческого труда, которую компания исполь-

226


Цифровая диктатура начинается

завала в течение двух лет для создания ChatGPT. Компания наня­
ла более тысячи подрядчиков по всему миру, чтобы улучшить свои
модели с помощью обучения с подкреплением на основе челове­
ческих отзывов - разработанной ею техники безопасности ИИ.
Чтобы найти этих работников, OpenAI в значительной степени
опиралась на платформу Scale AI, которая сыграла ключевую роль
в первой эре коммерциализации ИИ.
Партнерство между OpenAI и Scale отчасти было налажено
благодаря личным отношениям. Александр Ванг, который сейчас
является генеральным директором Scale и в 2021 году стал самым
молодым в мире миллиардером-самородком, - близкий друг Аль­
тмана. В 2016 году Ванг присоединился к последней партии осно­
вателей УС с другой идеей стартапа, который впоследствии пре­
вратился в Scale. Благодаря этому Альтман получил косвенную
долю в компании через УС. Во время пандемии они несколько
месяцев жили в одной квартире. Осенью 2023 года они даже об­
суждали возможность приобретения OpenAI компании Scale, как
сообщает The lnformation.
В Scale OpenAI считается VIР-клиентом не только из-за разме­
ра сделок, но и из-за повышения авторитета компании, занима­
ющейся анализом данных. С весны 2022 года до конца 2023 года
OpenAI заключит с Scale контракты на сумму около 17 миллио­
нов долларов, что составит около 4 % от прогнозируемой выручки
Scale в 2023 году. Это партнерство прочно утвердило Scale в каче­
стве ведущего варианта аутсорсинга рабочей силы для революции
генеративного ИИ. По словам одного из сотрудников Scale, кон­
тракт с OpenAI на 10 миллионов долларов - это не просто деньги.
Масштабирование RLHF на больших языковых моделях в
OpenAI стало результатом конфликтов между подразделением
Applied и кланом Safety еще до развода и основания Anthropic.
Вскоре после того, как OpenAI запустила API GPT-3 летом 2020
года, один из исследователей безопасности ИИ в компании напи­

227


Эндрю Слоун

Нейросети лжи

сал служебную записку своим коллегам из Applied. Он предложил
использовать RLHF для выравнивания GPT-3 по безопасности
ИИ и коммерческим причинам, основываясь на успешных экспе­
риментах с GPT-2. Команда исследователей безопасности ИИ бы­
стро мобилизовалась, чтобы продемонстрировать это, расширив
процесс RLHF в конце 2020 и 2021 годах с помощью различных
платформ, таких как Scale AI.
Самоуправляемым автомобилям требуются аннотаторы дан­
ных, чтобы научить их распознавать уличные сцены и ездить по
дорогам. Исследователи безопасности ИИ поручили работникам
RLHF обучить GPT-3 давать полезные ответы и избегать вредных.
Изначально работники сами писали ответы на подсказки поль­
зователя, чтобы продемонстрировать GPT-3 правильные ответы.
После тонкой настройки GPT-3 на этих примерах работники да­
вали подсказки модели и ранжировали ее ответы от лучших к худ­
шим, следуя предоставленным рекомендациям.
В январе 2022 года результатом этой работы стала усовершен­
ствованная модель GPT-3 под названием InstructGPT. В своей
статье исследователи OpenAI продемонстрировали, как процесс
RLHF снизил вероятность того, что модель будет выдавать вред­
ные результаты, и повысил ее способность «следовать инструкци­
ям пользователя». До RLHF модель GPT-3 с трудом понимала на­
мерения пользователя по конкретным подсказкам, что приводило
к случайным выводам.
Объясните шестилетнему ребенку высадку на Луну в несколь­
ких простых предложениях.
Ответ GPT-3
Объясните шестилетнему ребенку теорию гравитации.
Объясните шестилетнему ребенку теорию относительности в
нескольких простых предложениях.
Объясните шестилетнему ребенку теорию Большого взрыва.
Объясните шестилетнему ребенку, что такое эволюция.

228


Цифровая диктатура начинается

Благодаря примерам хороших ответов работников и множе­
ству раундов ранжирования в RLHF модель научилась выдавать
более полезные ответы.
Объясните шестилетнему ребенку высадку на Луну в несколь­
ких простых предложениях.
Ответ инструктора GPT
Люди побывали на Луне, сфотографировали то, что увидели,
и отправили снимки на Землю, чтобы все желающие могли их
увидеть.
В то время InstructGPT не привлек особого внимания со сто­
роны. Однако в рамках OpenAI исследователи безопасности ИИ
продемонстрировали, что RLHF действительно делает большие
языковые модели более привлекательными в качестве продук­
тов. Компания начала использовать эту технику для всех задач,
которые должны были решать ее языковые модели: работникам
предлагалось написать примеры ответов, а затем проранжировать
результаты.
Работников попросили написать электронные письма, обучая
моделей тому, как писать электронные письма, например, создать
маркетинговое письмо, ориентированное на стоматологов, совер­
шающих выгодные покупки. Их также инструктировали избегать
прямого обсуждения политических вопросов, чтобы помочь мо­
дели избежать вынесения суждений, основанных на ценностях.
Например, вместо вопроса «Война - это добро или зло?» им ре­
комендовали сформулировать его так: «Некоторые могут считать
войну злом, в то время как другие могут видеть в ней некоторые
положительные стороны».
Работников просили писать эссе, художественную литературу,
любовные стихи, рецепты и объяснения на простых языках. Им
также поручалось упорядочить списки, решить «мозговые голово­
ломки» и математические задачи , а также кратко изложить отрыв­
ки из книг вроде «Приключений Алисы в Стране чудес», чтобы на­

229


Эндрю Слоун

Нейросети лжи

учить других резюмировать документы. К каждому заданию были
даны подробные инструкции с указанием требуемого тона и стиля.
«Вы будете играть роль искусственного интеллекта», - объяс­
няется в одном из документов, - «Отвечайте на вопросы так, как
вы хотели бы, чтобы на них отвечали». Это подразумевает чет­
кое и краткое изложение, отказ от оскорбительного содержания и
просьбу разъяснить непонятные вопросы.
«Не стесняйтесь пользоваться интернетом! Вы можете даже
копировать контент. Если вы нашли в интернете идеальный ответ,
вы можете использовать его полностью, только не забудьте про­
смотреть его».
«Возможно, это слишком осторожно, - прокомментировал со­
трудник OpenAI, - но стоит ли нам беспокоиться о плагиате в этом
случае?»
«А. я изменил формулировку, чтобы обеспечить правильную
атрибуцию источника», - ответил другой человек. «Возможно, я
также включу специальное поле для этого!»
«Круто! Одна из вещей, о которой я думал здесь, - это сохра­
нение возможности использования в будущем», - написал первый
человек. Они предположили, что наличие метода выявления по­
тенциально украденных данных, созданных подрядчиками, может
быть полезно для будущего использования.
Для точного ранжирования выходов имелось несколько стра­
ниц инструкций. В одном из документов говорилось, что работни­
ки должны оценивать материалы, чтобы убедиться в их полезно­
сти, правдивости и безвредности. В случае противоречий между
этими критериями работники должны принимать решение, ру­
ководствуясь своими суждениями. В документе подчеркивалось,
что для большинства задач быть безвредным и правдивым обыч­
но важнее, чем быть полезным.
OpenAI предложила работникам создать свои собственные
подсказки. В инструкции говорилось: «Ваша цель - предложить

230


Цифровая диктатура начинается

ряд задач, которые может выполнить модель ИИ. Поскольку мы
не можем предсказать все потенциальные задачи для ИИ, разно­
образие очень важно. Используйте свой творческий потенциал!»
По сути, вы можете представить, для чего люди могут попро­
сить хорошего ИИ-помощника с языковым интерфейсом. Это
могут быть приложения в сфере развлечений, бизнеса, обработки
данных, коммуникаций, творческого письма и многого другого.
Вы можете использовать интернет по своему усмотрению, в
том числе вставлять целые стенограммы лекций, интервью, сце­
нарии фильмов, отрывки из книг, новостные статьи и т. д., по­
скольку многие задания потребуют анализа текста в той или иной
форме.
RLHF стала основной методикой, которую OpenAI использо­
вала для обучения нейронных сетей кодированию и извлечению
фактической информации, чтобы уменьшить количество галлю­
цинаций. Работников просили неоднократно отвечать на вопро­
сы, основанные на фактах, и снижали рейтинг неточных ответов.
В апреле 2023 года во время выступления в Калифорнийском
университете в Беркли Джон Шульман, ученый из команды осно­
вателей OpenAI, подчеркнул, что природа нейронных сетей явля­
ется корнем проблемы галлюцинаций. В отличие от символьных
систем с детерминированными базами данных, нейронные сети
имеют дело с нечеткими вероятностями. Даже с учетом усиления
вероятностей в моделях глубокого обучения для повышения точ­
ности, существует фундаментальный предел их эффективности.
Шульман объяснил, что при предоставлении подробной факти­
ческой информации модели иногда приходилось угадывать, по­
скольку она всегда работала на основе вероятностей.
В 2022 году InstructGPT инициировала новый проект под ру­
ководством Шульмана, чтобы продвинуть свою работу. Компания
получила множество заявок от разработчиков на использование
GPT-3 API для проектов чатботов. InstructGPT была близка к соз­

231


Эндрю Слоун

Нейросети лжи

данию собственного чатбота. Шульман начал новый проект, нанявкоманду для улучшения последней модели компании, GPT-3.5,
чтобы она могла отвечать на подсказки пользователя в разговоре.
GPT-3.5 с поддержкой чатов стал основой для ChatGPT, уста­
новив стандарт для других разработчиков чатботов. Написание
ответов и ранжирование результатов стало новой нормой в гене­
ративном ИИ, подобно отслеживанию объектов на видео для са­
моуправляемых автомобилей. Это привело к необходимости уве­
личения числа работников RLHF для удовлетворения растущего
спроса в индустрии ИИ.
Компания Scale AI, чей бизнес испытывал трудности из-за того,
что самоуправляемые автомобили не приносили успеха, внезапно
выросла в цене до 14 миллиардов долларов в 2024 году как круп­
ный поставщик работников RLHF. В феврале 2023 года Александр
Ванг похвастался в Twitter, что вскоре компании будут инвестиро­
вать сотни миллионов или миллиарды в RLHF, подобно тому, как
они инвестируют в вычислительную технику. Некоторые люди,
включая Альтмана, отнеслись к этому скептически. Альтман за­
дал вопрос: «Вы действительно думаете, что мы будем тратить на
вычислительную технику с огромным отрывом?»
Представители индустрии ИИ в целом согласились с мнением
Ванго. Компании вкладывали в RLHF миллионы и десятки мил­
лионов, и эта тенденция не замедлялась. В конце 2022 года, после
выхода ChatGPT, волна проектов RLHF захлестнула Remotasks и
достигла работников в Кении.
Для масштабирования ИИ у Кении есть преимущество, кото­
рого нет у Венесуэлы: англоговорящие работники, необходимые
для чат-ботов. По мере того как сокращались проекты по созда­
нию самоуправляемых автомобилей, уменьшалось и присутствие
венесуэльцев на платформе. Бывший сотрудник Scale отметил,
что венесуэльцы не использовались для задач генеративного ИИ
и ограничивались аннотацией изображений. В конце концов, Scale

232


Цифровая диктатура начинается

полностью запретила Венесуэлу на своей платформе из-за «изме­
нившихся требований клиентов».
Когда компания Scale впервые приехала в Кению, у нее были фи­
зические офисные помещения для работников. Однако во время
пандемии компания закрыла эти помещения и перешла на удален­
ный подбор персонала и работу. Компания размещала объявления
на Linkedln, предлагала онлайн-обучение и размещала работников
через модерируемые онлайн-каналы. Это изменение обеспечило
большую гибкость, но затруднило связь между работниками , что
уменьшило их способность организоваться для повышения оплаты
или улучшения условий труда, как у работников Sama.
Среди рабочих, с которыми я встречался, те, кто работал в
Remotasks, были еще беднее, чем те, кто работал на Sama. Работ­
ники Sama жили в постоянных домах с адресами, в то время как
работники Remotasks делились в WhatsApp координатами, чтобы
указать мне на их кварталы из гофрированной жести. Например,
Оливер, один из рабочих, жил в крошечном помещении со своей
сестрой, оплачивая интернет поминутно через свой телефон. Ему
приходилось делать паузы, чтобы подзарядиться, когда связь пре­
рывалась во время демонстрации задания.
В тот день, когда я встретился с Винни, еще одним работником
Remotasks, у нее также не работали интернет и данные. Я прие­
хал на машине, которая едва проехала по некоторым улицам по
пути к ее координатам в WhatsApp. Через полчаса она появилась
с застенчивой улыбкой и в фетровой шляпе. Она провела меня по
шаткой лестнице в свою квартиру, где в гостиной собрались дети:
один - ее, трое - ее партнера, один - соседа и один - двоюродного
брата.
Винни выросла в трущобах Найроби как единственная девочка
в своей семье. Она рано поняла, что является лесбиянкой, но чув­
ствовала необходимость скрывать это из-за опасности быть от­
крытой лесбиянкой в Кении. Винни вспоминает ужасный случай,

233


Эндрю Слоун

Нейросети

аж и

когда соседи нашли женщину-квир, забрали ее детей и сожгли за­
живо в квартире. Несмотря на свою сексуальность, Винни вышла
замуж за мужчину и родила ребенка.
В сорок лет она решила, что хватит жить во лжи, и ушла от мужа,
забрав с собой их ребенка. Она присоединилась к онлайн-прило­
жению для местного ЛГБТК+ сообщества, где встретила Миллисент. Муж Миллисент чуть не убил ее, когда она заявила о своей
ориентации и о том, что ей нужна новая жизнь.
Уинни влюбился в Миллисент, которая не верила в любовь. Уи­
нни преследовал Миллисент до тех пор, пока она не согласилась.
Они поселились вместе с детьми, не раскрывая соседям истинную
природу своих отношений. Соседи и сейчас считают их сестрами.
Миллисент говорит: «Многие люди не понимают, что можно быть
квиром и иметь детей».
Когда Винни впервые узнала о компании Remotasks в 2019 году,
она подумала, что это мошенничество, потому что оплата за вы­
полнение заданий была невысокой. Однако по сравнению с пре­
дыдущей работой барменом, где она постоянно сталкивалась с
домогательствами, эта работа показалась ей лучше. Несмотря на
небольшую оплату за каждое задание, она поняла, что, работая
подолгу, может обеспечить себе достойную зарплату.
Она стала работать по 20-22 часа в сутки и очень мало спала,
чтобы продолжать работать. Миллисент смогла уговорить Уинни
отдохнуть, только пообещав взять ее на себя. Уинни считала, что
сон не имеет решающего значения; каждый лишний час работы
означал, что они смогут обеспечить своих детей чуть больше.
И Миллисент, и Винни росли в семьях, где образование счи­
талось роскошью. Родители Миллисент изо всех сил старались
регулярно оплачивать ее обучение в государственной школе. Они
вносили еженедельные платежи, но если они пропускали один из
них, школа отправляла ее домой. Так сложилась закономерность:
одна неделя в школе, две недели - выходной.

234


Цифровая диктатура начинается

Обе женщины пообещали, что никогда не позволят своим де­
тям испытать боль от пропуска занятий из-за финансовых трудно­
стей. Однако денег стало не хватать, поскольку задания Remotasks
сократились, а Миллисент потеряла работу. Они стали брать дол­
ги в продуктовом магазине и умолять школы разрешить их детям
остаться еще на неделю. Их дети просыпались в три часа ночи,
чтобы прилежно заниматься и максимально использовать свои
учебные возможности.
Слишком часто их возвращали из школы. Иногда, когда это
случалось, соседи смеялись. «Это очень деморализует», - говорит
Винни.
В декабре 2022 года, вскоре после запуска ChatGPT, Винни
нашла новый проект с пометкой «транскрибация». Однако это
была не настоящая транскрипция. В рамках проекта ей нужно
было создавать подсказки и образцы ответов для чат-ботов, раз­
работанных компаниями, стремящимися составить конкуренцию
ChatGPT.
Было два проекта: Flamingo Generation и Crab Generation.
В «Поколении фламинго» ей предстояло создать подсказки не ме­
нее чем из пятидесяти слов в различных стилях, таких как элек­
тронные письма, сообщения в блогах, новостные статьи, сообще­
ния в Twitter и хайкусы. В Crab Generation ей нужно было выбрать
фрагмент справочного текста с информационного сайта (за ис­
ключением Wikipedia, Britannica или The New York Times), а затем
создать письменную подсказку, которая могла бы сгенерировать
его в процессе реинжиниринге в стиле Jeopardy!
Игра Crab Paraphrase была похожа на задания по реинжинирин­
гу, но в ней нужно было перефразировать текст в соответствии
с определенным тоном или стилем, например, сделать его более
смешным или формальным, или подражать песне Канье Уэста.
Винни не знала, что первое слово в названии каждого проекта это кодовое имя клиентов Scale. Flamingo представлял Facebook,

235


Эндрю Слоун

Нейросети лжи

а Crab - другого крупного разработчика языковых моделей. Если
бы Уинни увидела проекты OpenAI, их названия начинались бы со
слова Ostrich. Позже Scale изменила эти кодовые имена.
На выполнение каждого задания у Винни уходило от часа до по­
лутора часов. Оплата варьировалась от менее чем одного доллара
до четырех-пяти долларов, что было одним из лучших вариантов,
которые она видела. После нескольких месяцев отсутствия рабо­
ты «Ремотаски» стали для нее благословением. Винни с удоволь­
ствием занималась исследованиями, читала различные статьи и
постоянно училась. С каждых десяти заработанных долларов она
могаа прокормить свою семью в течение дня. «По крайней мере,
мы знали, что в этот день не накопим д о л г о в » , - говорит она.
Новые проекты просуществовали всего пару месяцев. Ремотзадания иссякли, а д о л г и Винни и Миллисент снова накопились. С ме­
сячной зарплатой Миллисент они чаще всего ходили в продуктовый
магазин без денег. Они покупали в кредит только самое необходи­
мое - масло, муку и овощи, надеясь расплатиться до конца месяца.
В мае 2023 года, когда я навестил Винни, она начала искать до­
полнительную работу в Интернете, но пока не нашла ни одного
надежного варианта. Она надеялась, что проекты по созданию
чатботов вернутся, проявляя веру и терпение. В прошлом году она
ждала новых заданий пять месяцев. «Сейчас идет только второй
месяц, скоро начнется третий», - сказала она, к о ^ а мы сидели в ее
гостиной. «Времени еще много. В конце концов они придут».
Менее чем через г о д она узнает правду. В марте 2024 года Sca1e
заблокировала оптовую торговлю из Кении в Remotasks, анало­
гично тому, как это произошло с Венесуэлой. Scale считала это ча­
стью своей плановой проверки, чтобы убедиться, что работники
из разных стран действительно вносят свой вклад в бизнес. Они
обнаружили, что в Кении, а также в Нигерии и Пакистане слиш­
ком много работников, пытающихся обмануть систему, чтобы
получить дополнительный заработок. Такое нечестное поведение

236


Цифровая диктатура начинается

ставило под угрозу качество услуг, предоставляемых компанией
Scale своим клиентам, и ставило под угрозу выгодные контракты.
Поэтому мы сочли это нецелесообразным.
Ирония судьбы заключается в том, что многие из так называ­
емых мошенников на самом деле были работниками, использую­
щими ChatGPT для повышения производительности труда путем
генерирования ответов. Этот поступок был бы воспет в рамках
нарратива Силиконовой долины для белых воротничков Глобаль­
ного Севера, потенциально приносящий пользу экономике при
широком распространении. Однако для работников РЛХФ на Гло­
бальном Юге, которые поддерживают этот нарратив своим тру­
дом, это считалось наказуемым преступлением.
Кения была понижена до группы 5, что означает, что она была
внесена в черный список.
Была и другая причина покинуть Кению. Масштабы менялись,
чтобы удовлетворить потребности индустрии ИИ. OpenAI и ее
конкуренты искали высокообразованных работников для таких
задач, как RLKF-врачи, кодеры, физики и кандидаты наук. Тенден­
ция к созданию чатботов была обусловлена потребностью ком­
паний в передовых инструментах для решения задач в области
науки и разработки программного обеспечения. Кения не могла
удовлетворить этот спрос. Компания Scale начала нанимать со­
трудников в США через новую платформу под названием Outlier,
предлагая до 40 долларов в час.
Это был еще один наглядный пример влияния империй ИИ.
Несмотря на заявления о том, что их технологии повысят про­
изводительность труда, увеличат экономическую свободу и соз­
дадут новые рабочие места, чтобы компенсировать автоматиза­
цию, нынешняя реальность оказалась иной. Компании получают
прибыль, в то время как наиболее экономически уязвимые слои
населения страдают, а все более образованные люди в итоге вы­
ступают в роли чат-ботов.

237


Эндрю Слоун

Нейросети лжи

Империя обесценивает человеческий труд, который служит
ей, что предсказывает, что технологии, разработанные на основе
этой логики, будут обесценивать труд всех остальных. Художни­
ки, писатели и кодеры уже испытали на себе это обесценивание,
поскольку их труд превратился в бесплатные обучающие данные
для империй ИИ.
Решение Скейла сильно повлияло на Винни и ее семью. Мил­
лисент уже потеряла работу, и Remotasks был их единственным
источником дохода. Теперь они столкнулись с трудностями в обе­
спечении детей, и Уинни опасалась, что их скоро выселят.
В ее почтовом ящике оказалось письмо, отправленное компа­
нией Scale, чтобы сообщить работникам о прекращении работы,
холодное и клиническое. Оно гласило: «Мы прекращаем работу в
вашем текущем месте. Вы были отстранены от текущего проекта».

238


Ч а с т ь 111
Глава 10
Боги и демоны
Жить в Сан-Франциско и работать в технологической инду­
стрии - значит ежедневно сталкиваться с конфликтом между бу­
дущим и настоящим, между сказками и реальностью.
Впервые я переехала в Сан-Франциско, будучи второкурсни­
цей университета, на летнюю стажировку. Я была ошеломлена
причудливой эстетикой города: красочная архитектура в испан­
ском стиле, небольшое количество небоскребов и крутые холмы,
на которых вождение автомобиля с механической коробкой пе­
редач превращалось в рефлекторный тест. В городе было мно­
го спелых авокадо, поджаренного хлеба из закваски и гладкого
латте Blue Bottle. Каждый район имел свой уникальный облик и
культуру.
Когда после окончания университета я вернулся на постоян­
ную работу в технологический стартап, я жил в трехкомнатной
квартире в Кастро с тремя соседями. Мы с удовольствием гуляли
по холмам и собирали фрукты с общественных деревьев по выход­
ным. Наши соседи, все молодые специалисты в сфере технологий,
часто приходили к нам спонтанно, чтобы поиграть в настольные
игры и выпить вина по вечерам в будни. Мы часто устраивали до­
машние вечеринки и ездили на выходные в такие красивые места,
как озеро Тахо на севере и Биг-Сур на юге, окруженные высокими
красными деревьями. Жизнь казалась простой и беззаботной. Мы
были молоды и получали зарплату, которая входила в 5 процен­
тов лучших по стране среди наших ровесников в технологической
отрасли.

239


Эндрю Слоун

Нейросети лжи

Но был и диссонанс. По дороге на работу я видел людей, упо­
требляющих наркотики, и бездомных рядом с моим офисом. В то
же время в нашем стартапе был шеф-повар, которого называли
«инженером счастья», который готовил много еды для наших бес­
платных обедов. Остатки еды часто выбрасывались. Если мы ра­
ботали допоздна, то получали бесплатный ужин, а для безопасно­
сти нам рекомендовали добираться домой на Uber. Привилегиро­
ванные люди привыкли передвигаться по городу таким образом,
чтобы не видеть, как живут менее удачливые.
Эта дихотомия показывает, как технологическая индустрия мо­
жет говорить об изменении мира и построении лучшего будущего,
игнорируя при этом свои собственные проблемы. Альтман про­
комментировал это противоречие, признав, что создание полез­
ного AGI является сложной задачей, но при этом считает, что жи­
лищный кризис в Сан-Франциско слишком сложен для решения.
«Там, где я вырос, никто никогда не проходил мимо человека,
развалившегося на обочине улицы по дороге на работу, и ничего
не предпринимал», - сказал он однажды, сравнивая пригородный
Сент-Луис с Сан-Франциско. «Я действительно виню технологи­
ческую индустрию во многих проблемах города, но не во всех. Со
временем мы стали свидетелями накопления огромного богат­
ства на небольшой территории без особого учета его влияния на
общество. Эти сложные проблемы часто обходят стороной боль­
шинство людей, которые просто смиряются с ситуацией».
В этом контексте эффективный альтруизм пришел из Велико­
британии и завоевал лояльную аудиторию, включая многих ран­
них приверженцев из клана OpenAI's Safety. Эффективный аль­
труизм, принятый в Кремниевой долине, выступает за улучшение
мира, используя строгую логику, ориентируясь на будущее и под­
держивая капитализм и либертарианство во имя морали.
В основе философии эффективного альтруизма (ЭА) лежит ма­
тематическая концепция, известная как «ожидаемая ценность».

240


Цифровая диктатура начинается

Это значение рассчитывается путем умножения вероятности на­
ступления события на его количественное положительное или от­
рицательное воздействие. Это инструмент, который может при­
вести к нестандартному мышлению. В 2013 году соучредитель ЕЛ
Уильям Макаскилл, ставший впоследствии профессором филосо­
фии в Оксфорде, утверждал, что в долгосрочной перспективе бо­
лее альтруистично заниматься финансово выгодной, но мораль­
но неоднозначной работой и жертвовать заработанные средства
через оптимизированную филантропию, а не работать непосред­
ственно на морально хорошую благотворительную организацию.
Согласно его расчетам, быть богатым филантропом может быть
в сорок раз эффективнее, чем заниматься благотворительностью.
Макаскилл проиллюстрировал это гипотетическим сценарием, в
котором выпускники, стремящиеся к богатству, могли бы потен­
циально финансировать двух благотворителей, каждый из кото­
рых работал бы в благотворительных организациях в десять раз
более рентабельных, чем та, в которой они бы работали. Он также
отметил, что половина пользы, которую принесли эти благотво­
рители , произошла бы независимо от их участия. Этот аргумент
был обобщен в одной из ключевых фраз движения: «Зарабаты­
вать, чтобы отдавать».
Руководствуясь логикой ожидаемых ценностей, философы-ос­
нователи ЕЛ разработали схему определения наиболее приори­
тетных проблем. Эти проблемы должны быть масштабными, ре­
шаемыми с относительно небольшими затратами времени и денег
и значительно запущенными. Движение предлагает использовать
эту систему для определения личных проблем, а также выделяет
некоторые вопросы как особо важные. «Я, другие члены сообще­
ства эффективного альтруизма выделили три моральных вопроса,
которые, по нашему мнению, являются исключительно важными
и хорошо вписываются в эту систему», - заявил Макаскилл в 2018
году в выступлении на TED Talk.

241


Эндрю Слоун

Нейросети лжи

Во-первых, улучшение глобального здравоохранения предпо­
лагает распространение доступных и эффективных противомо­
скитных сеток для профилактики малярии. Во-вторых, отказ от
фабричного животноводства может значительно улучшить жизнь
миллиардов животных при небольших затратах. В -третьих, эк­
зистенциальные риски - это риски с крайне негативным потенци­
альным воздействием, такие как глобальные пандемии, ядерная
война и искусственный интеллект, который может угрожать чело­
вечеству и будущей цивилизации.
Признав теоретический несанкционированный ИИ серьезным
риском, организация Effective Altruism (ЕА) выступила за те же
принципы безопасности ИИ, которые были неотъемлемой частью
OpenAI с самого начала и сыграли важную роль в их разделении.
Амодей и его коллеги из Anthropic не соглашались с Альтманом
и другими лидерами OpenAI в том, что ИИ может нанести вред
цивилизации. Амодей, который очень серьезно относился к это­
му вопросу, считал действия Альтмана, такие как отсутствие про­
зрачности в сделке с Microsoft и его склонность говорить людям
то, что они хотят услышать, лишь затем, чтобы они поняли обман,
не просто типичными маневрами Кремниевой долины, но и неэ­
тичным поведением, которое может поставить под угрозу челове­
чество. Когда появилась компания Anthropic, она подчеркнула это
различие в репутации: В то время как OpenAI Альтмана считали
безрассудной игрой с будущим человечества, Anthropic позицио­
нировала себя как принципиальная компания, ставящая во главу
угла безопасность ИИ.
В 2021 году братья Амодеи анонсировали Anthropic, вызвав
повышенный интерес к этой идеологии катастрофической безо­
пасности ИИ. Этот интерес вырос благодаря растущему влиянию
ЕА, превратившей ее из нишевой философии в мейнстримное
движение с финансовой поддержкой со стороны технологических
миллиардеров.

242


Цифровая диктатура начинается

Десять лет назад сооснователь Facebook Дастин Московиц и его
жена, бывшая журналистка Кэри Туна, основали некоммерческую
организацию Good Ventures, чтобы пожертвовать большую часть
своего состояния. В то время Холден Карнофски, который позже
женился на Даниэле Амадеи, возглавлял другую организацию под
названием GiveWell, которую он основал в 2007 году после ухода
из хедж-фонда Bridgewater Associates. И Good Ventures, и GiveWell
разделяли цель использования методов распределения средств,
основанных на фактических данных . В 2011 году они создали
партнерство, позже получившее название Open Philanthropy. Они
увеличили финансирование ключевых областей, рекомендован­
ных Макаскиллом, с акцентом на исследования безопасности ис­
кусственного интеллекта в соответствии с концепцией ЕЛ. В июне
2017 года Open Philanthropy стала независимой организацией.
Совсем недавно появился новый технологический милли­
ардер - Сэмюэл Бэнкман-Фрид. Он известен как соучредитель
криптобиржи FTX и криптотрейдинговой компании Alameda
Research. Банкман-Фрид, также известный как SBF, приписывает
историю своего происхождения советнику. Будучи студентом фи­
зического факультета Массачусетского технологического инсти­
тута, он изначально нацелился на академическую карьеру. Однако
Макаскилл за обедом убедил его в моральной ценности принципа
«зарабатывать, чтобы отдавать». Впоследствии SBF сосредото­
чился на максимизации своего богатства, чтобы в конечном итоге
посвятить его филантропии.
Быстро накапливая богатство, SBF пожертвовал десятки мил­
лионов политическим кандидатам как от демократической, так и
от республиканской партий. В том числе он поддержал первого
кандидата от ЕЛ в шестом округе Конгресса штата Орегон в 2022
году, который не победил на праймериз. Компания SBF заключила
выгодные сделки на миллиарды в области спортивного маркетин­
га с такими ведущими спортсменами, как Том Брэди и Стеф Карри,

243


Эндрю Слоун

Нейросети лжи

и в таких видах спорта, как Формула-1. Он вложил не только день­
ги, но и свою звездную силу в движение ЕА, подняв его престиж
вместе с его соучредителем Макаскиллом. В начале 2022 года SBF
объявил о запуске собственной филантропической инициативы
под эгидой ЕА, FTX Future Fund, цель которой - распределить от
100 миллионов до 1 миллиарда долларов к концу года.
Благодаря Open Phil и FTX Future Fund в 2021 и 2022 годах
значительно увеличился приток денежных средств в исследо­
вания безопасности ИИ, поддерживаемые ЕА. По оценкам, фи­
нансирование превысило 100 миллионов долларов в год, что
значительно больше, чем в предыдущие годы. Этот всплеск был
вызван тем, что развитие от GPT-2 до GPT-3 усилило необхо­
димость борьбы с теоретическими несанкционированными ИИ
и экзистенциальными рисками. Это привело к увеличению под­
держки проектов по обеспечению безопасности ИИ, привлекаю­
щих людей из-за финансовых стимулов или идеологии, по мере
того как росло движение ЕА. Упор ЕА на готовность к пандемии
приобрел новых последователей во время самой пандемии, про­
демонстрировав свою прозорливость. Глобальная катастрофа
также заставила многих почувствовать тревогу и бесцельность,
они искали направление.
Растущее сообщество ИИ-безопасности, объединяющее под­
держиваемую ЕА ИИ-безопасность с другими катастрофическими
и рискованными мыслями, увеличило число членов клана безопас­
ности Anthropic и OpenAI. Онлайн-форумы ЕА и AI safety, ключе­
вые платформы для обмена идеями, призывали последователей
присоединяться к крупным лабораториям ИИ, особенно тем, где
отсутствует надзор за безопасностью ИИ, таким как OpenAI и
DeepMind. Увеличение числа членов AI safety также привело к рас­
пространению терминологии сообщества в индустрии ИИ. Ваша
«временная шкала ИИ» показывает, как быстро, по вашему мне­
нию, ИИ достигнет таких этапов, как AGI. Ваш «p(doom)» отражает

244


Цифровая диктатура начинается

ваше мнение о вероятности катастрофических или экзистенциаль­
ных последствий AGI. «Аппаратное нависание» и «взлет ИИ» - тер­
мины в дорожной карте исследований OpenAI на 2021 год, описы­
вающие продвижение AGI к сверхразуму. «Риск ускорения» преду­
преждает об опасности усиления конкуренции в области ИИ, что
приведет к ускорению прогресса ИИ и сокращению его сроков.
Движение, претендовавшее на независимое мышление, на са­
мом деле стремительно двигалось в противоположном направ­
лении. Те, кого привлекли его идеи, быстро погрузились в более
широкий набор убеждений, движимые обещанием больших воз­
можностей и ресурсов, а также замкнутым социальным кругом,
который размывал личные и профессиональные границы. В Крем­
ниевой долине члены ЕА общались в основном друг с другом, за­
вязывая отношения и общаясь исключительно в рамках своего
сообщества. В сочетании с сексизмом, царящим в технологиче­
ской индустрии, и полиаморными субкультурами района Бэй, эта
культовая интенсивность могла привести к пагубному сочетанию
секса, денег и власти. Как следствие, ЕА все чаще обвиняли в сек­
суальных домогательствах и злоупотреблениях.
В ноябре 2022 года SBF потерпела грандиозное поражение вме­
сте с крахом FTX. Его обвинения в мошенничестве и последующее
двадцатипятилетнее тюремное заключение были восприняты как
признак коррупции внутри движения. ЕА быстро потеряла попу­
лярность в технологической индустрии, что привело к быстрому
отсоединению многих людей.
Даже без ярлыка социальные сети, ценности, жаргон и фокус
на экзистенциальных вопросах безопасности ИИ продолжали бы
существовать. Оно также привело к появлению противодейству­
ющей силы: е/асс (произносится как «э-акк»), или эффективный
акселерационизм. Изначально это была шутка, высмеивающая
движение ЕА, но в итоге оно приняло противоположный дух.
В то время как ЕА и более широкое сообщество защитников ИИ

245


Эндрю Слоун

Нейросети лжи

выступали за крайнюю осторожность или даже за прекращение
развития ИИ, е/асс пропагандирует максимальное ускорение. Его
последователи считают, что быстрый технологический прогресс это не только благо, но и моральный долг, который необходимо
выполнять как можно быстрее. Эти две группы неофициально на­
зывались «думеры» и «бумеры».
В этом пузыре одни видели Anthropic и OpenAI как лица двух
движений. Другие рассматривали OpenAI как поле битвы кон­
фликтующих идеологий, превращаясь из некоммерческой орга­
низации, основанной на думерском мышлении, в коммерческую
структуру, ориентированную на получение прибыли. Многие не
были уверены в лояльности Альтмана, поскольку в разное время
он, казалось, симпатизировал обеим сторонам. Некоторые счита­
ли, что он пытался сбалансировать различные точки зрения вну­
три своей компании. Однако после «Развода» и разборок между
Альтманом и соучредителями Anthropic все больше думеров ста­
ли видеть Альтмана в негативном свете. Они считали, что успех
OpenAI был обусловлен проектами по обеспечению безопасности
ИИ, которые теперь извращаются против их ценностей. Они об­
виняли в этом Альтмана, называя его лжецом, манипулятором и
угрозой для человечества.
Вскоре столкновение противоположных идеологий внутри
OpenAI и ее окружения грозило разделить компанию, оказавшую
большое влияние на новую эру развития ИИ. Несмотря на то что
обе идеологии заявляли о своих различиях, на самом деле они име­
ли схожие убеждения. Обе они считали AGI неизбежным и страст­
но выступали за него, подчеркивая долгосрочные цели и утверждая
моральную власть над развитием ИИ. Одна предупреждала о нега­
тивных последствиях, другая рисовала позитивную картину.
В начале 2022 года компания OpenAI была готова опробовать
новый подход к выпуску продукта для своей технологии преобра­
зования текста в изображение. Вместо того чтобы использовать

246


Цифровая диктатура начинается

API или привлекать Microsoft, OpenAI решила запустить продукт
самостоятельно, предоставив потребителям прямой доступ к тех­
нологии. Модель была названа DALL-E 2, вдохновленная Сальва­
дором Дали и роботом WALL-Е из Disney Pixar.
DALL-E появился благодаря тенденции в исследованиях ИИ
создавать мультимодальные модели, объединяющие различные
типы данных, такие как текст, изображения, звук или видео. Цель
этого направления - объединить язык и зрение, чтобы связать
слова с визуальной информацией. Это было продиктовано оби­
лием текстов и изображений в Интернете и убежденностью в том,
что зрение имеет решающее значение для интеллекта человече­
ского уровня.
В OpenAI, вдохновившись достижениями в этой области, ис­
следовательская группа пошла по схожему пути. Они начали с
языковых моделей, а затем перешли к моделям текста и изображе­
ния, делая упор на использование трансформеров для масштаби­
руемости. Оригинальный трансформер был оптимизирован для
работы с текстом, но в 2020 году Google представила трансформер
Vision, предназначенный для работы с изображениями.
В январе 2021 года OpenAI представила две новые модели на
основе трансформеров. Первая модель, названная CLIP и создан­
ная Алеком Рэдфордом, объединила оригинальный трансформер
и трансформер зрения для создания подробных подписей к изо­
бражениям. Вторая модель, DALL-E 1, разработанная Адитьей
Рамешем, исследователем, который учился в Нью-Йоркском уни­
верситете и работал с Янном Лекуном из Meta, обучила двенадца­
тимиллиардный трансформер создавать изображения на основе
введенного текста.
В своем блого OpenAI продемонстрировал способности DALLЕ 1, сгенерировав изображения типа «кресло-авокадо», в резуль­
тате чего появились зеленые и коричневые кресла, напоминающие
авокадо. Изображения выглядели слегка размытыми и мультяш-

247


Эндрю Слоун

Нейросети лжи

ными из-за процесса обучения, который Рамеш использовал для
создания модели. Он сжал 250 миллионов изображений для вво­
да в трансформер, потеряв при этом некоторые детали высокого
разрешения.
Когда команда начала работать над DALL-E 2, популярность
приобрел новый метод формирования изображения под назва­
нием диффузия. Эта техника, вдохновленная физикой, помогла
трансформерам понять корреляцию пикселей в изображениях.
Концепция возникла в 2015 году в работе исследователей из Стэн­
форда и Беркли. Пять лет спустя Джонатан Хо, аспирант из Берк­
ли, которого консультировал Питер Аббел, один из первых иссле­
дователей OpenAI, усовершенствовал эту технику для создания
более реалистичных изображений. Хо продемонстрировал, что
диффузионные модели могут превзойти существующие системы
компьютерного зрения в распознавании образов. Эти результаты
отражают успех Рэдфорда с GPT-1 в создании человекоподобных
предложений. Диффузионные модели научились создавать убеди­
тельные изображения за счет глубокого понимания паттернов в
обучающих данных, что позволило им эффективно справляться с
различными задачами визуальной обработки.
OpenAI переключила внимание на разработку DALL-E 2 с ис­
пользованием диффузии и CLIP Рэдфорда. Рамеш и другие иссле­
дователи расширили модель, сделав возможным инпайтинг - уда­
ление волос человека на фотографии и изменение их цвета, или
добавление бродячих зебр на травянистый луг на фотографии.
Использование диффузии значительно улучшило качество изо­
бражения и сократило вычислительные ресурсы, необходимые
для работы DALL-E 1.
Исследователи за пределами OpenAI стремятся еще больше
снизить вычислительную интенсивность диффузионных моде­
лей. Stable Diffusion, популярный генератор изображений с от­
крытым исходным кодом, теперь может быть обучен всего на

248


Цифровая диктатура начинается

256 процессорах Nvidia A100, благодаря пересмотренной техни­
ке, называемой скрытой диффузией. Бьорн Оммер, профессор
Мюнхенского университета Людвига Максимилиана, и его лабо­
ратория разработали Stable Diffusion. Оммер создал эту технику
в ответ на растущую стоимость генераторов изображений, по­
добных большим языковым моделям. Он объясняет, что их бес­
покоили растущие расходы на обучение и вывод, для которых
требовались суперкомпьютеры стоимостью в миллионы долла­
ров. Оммер хотел привлечь к генеративному ИИ более широкое
исследовательское сообщество, чтобы предотвратить домини­
рование в этой области нескольких крупных технологических
компаний, обладающих необходимыми ресурсами для запуска и
размещения таких моделей.
OpenAI принял скрытую диффузию намного позже, что сде­
лало DALL-E 2 и 3 более дорогими в вычислительном плане, чем
Stabe Diffusion или Midjourney. Многие пользователи сочли их
более качественными продуктами. Это лишь один пример, пока­
зывающий, что в генеративном ИИ масштаб - не единственный и
не лучший путь к расширению возможностей ИИ.
После значительного повышения производительности DALLЕ 2 подразделение Applied в конце 2021 - начале 2022 года присту­
пило к разработке идей по созданию продукта. Они остановились
на веб-приложении под названием Labs, позволяющем пользова­
телям взаимодействовать с моделью и предстоящими моделями
через браузер. Руководитель отдела продуктов Фрейзер Келтон и
вице-президент Боб Макгрю считали, что такой интерактивный
опыт удовлетворит спрос, наблюдаемый в GitHub Copilot, где
люди хотели напрямую взаимодействовать с генеративными мо­
делями ИИ. Кроме того, это соответствовало бы миссии компа­
нии: DALL-E 2 был приятным и успокаивающим, помогая снять
опасения по поводу мощных систем ИИ и прокладывая путь для

249


Эндрю Слоун

Нейросети лжи

OpenAI, чтобы обеспечить больше технологических преимуществ
в будущих релизах.
Имея относительно небольшой штат сотрудников, компания
наняла еще несколько человек для помощи в проектировании и
разработке сайта. Для этих новых сотрудников, пришедших из
традиционных корпораций, работа в OpenAI больше напоминала
работу в университетской исследовательской лаборатории, чем в
компании. Они проводили дни, читая научные статьи и участвуя
в теоретических дискуссиях, а не рассматривая макеты интерфей­
сов. Однако некоторые исследователи заметили изменения, когда
на их научных встречах все чаще стали присутствовать сотрудни­
ки Applied. Теперь в центре внимания были не только поисковые
исследования, но и усилия по коммерциализации, например оп­
тимизация существующих моделей для лучшего обслуживания
пользователей.
После того как в AI Dungeon мы разобрались с текстовым на­
силием над детьми, возникло опасение, что DALL-E 2 использует­
ся для создания синтетических материалов о сексуальном наси­
лии над детьми (CSAM). Обучающие данные для каждой модели
DALL-E становились все более загрязненными. Исследователь­
ская группа DALL-E 2 сотрудничала с Shutterstock и использовала
Twitter, чтобы расширить коллекцию изображений до 250 милли­
онов. Набор данных Twitter содержал порнографический контент,
поэтому сотрудники усердно работали над удалением всех CSAM.
После обсуждения сотрудники включали различные сексуаль­
ные изображения, полагая, что это часть человеческого опыта.
Однако сохранение таких фотографий в обучающих данных оз­
начало, что модель может создавать синтетические CSAM. Как
DALL-E мог создать кресло с авокадо, видя авокадо и кресла,
так DALL-E 2 и DALL-E 3 могли сделать то же самое с детьми и
порнографией - эта способность известна как «композиционная
генерация».

250


Цифровая диктатура начинается

Не устранив первопричину проблемы путем фильтрации дан­
ных, мы переключились на разработку механизмов предотвраще­
ния злоупотреблений для модели. Это включало в себя обновле­
ние фильтров модерации контента для блокировки оскорбитель­
ных изображений и текстов, внедрение платформы мониторинга
поведения пользователей и создание инфраструктуры запретов
для автоматического приостановления учетных записей пользо­
вателей, совершивших повторные нарушения. Компания наняла
Дейва Уиллнера, бывшего сотрудника Facebook, который был ав­
тором первоначальных стандартов контента платформы, в каче­
стве нового руководителя отдела доверия и безопасности.
Позже, во время разработки DALL-E 3, по мере увеличения
объема данных, команда исследователей поняла, что сексуаль­
ные изображения были не просто необязательны, а необходимы.
В Интернете было много порнографических изображений, и их
удаление уменьшило набор обучающих данных, что повлияло на
производительность модели. Это изменение сделало модель ме­
нее эффективной при создании лиц женщин и людей с цветом
кожи, как обнаружила Дебора Раджи во время работы стажером в
Clarifai. Она обнаружила, что значительная часть онлайн-контен­
та с участием этих групп была откровенно сексуальной. В связи с
этим исследователи решили оставить в наборе данных и другие
тревожные изображения.
В декабре 2023 года встревоженный инженер по искусствен­
ному интеллекту из Microsoft по имени Шейн Джонс обнару­
жил, к каким последствиям приводят некоторые решения. Во
время использования Copilot Designer, генератора изображений
Microsoft, основанного на DALL-E 3, он был шокирован тем, как
быстро он генерировал оскорбительные и сексуализированные
изображения при минимальном вводе. Простое добавление тер­
мина «pro-choice» в подсказку привело к появлению тревожных
сцен, таких как демон, пожирающий младенца, и дрель с надписью

251


Эндрю Слоун

Нейросети лжи

«pro choice», используемая для нанесения вреда ребенку. Простой
ввод слова «автокатастрофа» без каких-либо дополнительных де­
талей привел к появлению изображений сексуально озабоченных
женщин рядом с насильственными автокатастрофами, например,
женщины в нижнем белье, стоящей на коленях рядом с разбитым
автомобилем, что CNBC позже подтвердил в ходе собственного
тестирования.
В течение трех месяцев Джонс просил руководство Microsoft
удалить инструмент или хотя бы изменить его рейтинг в магазине
приложений Google и Android с «Е для всех» на рейтинг для зре­
лой аудитории. Когда Microsoft и OpenAI не ответили, он написал
в Федеральную торговую комиссию. В своем письме он упомянул,
что Microsoft и OpenAI знали об этой проблеме до того, как опу­
бликовали модель искусственного интеллекта в октябре прошло­
го года. Microsoft не предоставила никаких комментариев по по­
воду письма Джонса.
По мере приближения запуска DALL-E 2 конфликт между при­
кладным подразделением OpenAI и недавно пополнившимся кла­
ном Safety разгорелся с новой силой.
У тех, кто занимался вопросами безопасности, а сейчас работа­
ет в разных командах исследовательского подразделения, пораз­
ительная реалистичность DALL-E 2 вызвала много опасений. Они
задавались вопросом, как ее можно использовать для создания
вредоносного контента или манипулирования людьми. Они реко­
мендовали не выпускать модель без тщательного тестирования,
чтобы убедиться, что она не причинит вреда, выходящего за рам­
ки ожиданий OpenAI.
Для тех, кто занимается прикладными разработками, растущий
список опасений казался преувеличенным, а стандарты выпуска нереалистичными. Ни одна система не может гарантировать от­
сутствие вреда, особенно та, которая находится в лаборатории и

252


Цифровая диктатура начинается

никогда не взаимодействует с реальными пользователями. Коман­
да Applied разделяла опасения по поводу ограниченности пред­
видения OpenAI. Они считают, что выпуск DALL-E 2 был крайне
важен для сбора реальных отзывов и повышения безопасности за
счет устранения догадок.
Центральным моментом столкновения стало обострение разно­
гласий по поводу того, что представляет собой OpenAI. Клан Safety
рассматривал OpenAI как идеалистическую некоммерческую ис­
следовательскую лабораторию, для которой человечество должно
быть приоритетнее коммерческих интересов. Они верили в то, что
перед выпуском моделей необходимо тщательно продумать их от­
рицательные стороны и найти способы снижения рисков. С другой
стороны, группа Applied считала, что OpenAI должен принимать
практические решения, основанные на реалиях мира. Они стре­
мились лидировать в исследованиях ИИ, устанавливать нормы и
быстро двигаться вперед, несмотря на риски. Это включало в себя
обеспечение капитала для передовых исследований путем привле­
чения инвесторов с помощью надежной коммерческой стратегии.
По словам бывшего сотрудника Applied, люди в Safety были «аб­
солютно наивны» в отношении того, как работают компании и мир.
«Ну, ставки предлагаемой OpenAI миссии AGI высоки», - го­
ворит другой сотрудник Safety. «Обычная компания» может ока­
заться недостаточно хорошей».
Разные команды учитывали растущий конфликт в своих пока­
зателях эффективности. В прикладном подразделении команда
по разработке продуктов и новый отдел по выходу на рынок уста­
навливали целевые показатели роста пользователей и доходов.
В исследовательском подразделении группам, занимающимся
безопасностью ИИ, было сложно оценить свой прогресс количе­
ственными методами в силу характера их работы. ИИ-безопасность была относительно новой областью, не имеющей четких
ориентиров. На совещаниях и в Slack члены команды Safety не­

253


Эндрю Слоун

Нейросети лжи

однократно выражали старшим руководителям обеспокоенность
по поводу дисбаланса стимулов. Ориентация на цели роста и по­
лучения прибыли без сильного противовеса приводила OpenAI к
работе по принципу «двигайся быстро и ломай вещи».
В частных беседах с представителями Safety Альтман с пони­
манием отнесся к их мнению, признав недостаточный прогресс
компании в исследованиях безопасности ИИ и необходимость
дополнительных инвестиций. В частных беседах с Applied он при­
зывал их продолжать работу. На заседаниях совета директоров
он поддержал недовольство Брокмана тем, что люди используют
безопасность ИИ по политическим причинам, чтобы помешать
прогрессу.
Все чаще Мира Мурати брала на себя роль переговорщика, пре­
одолевая разрывы между различными фракциями и находя пути
для перемещения между ними. В случае с DALL-E 2 она пришла к
компромиссу: веб-приложение будет запущено не как продукт, а
как «малозаметное исследовательское превью». Такой подход по­
зволил OpenAI наложить более строгие ограничения на модель из
соображений безопасности, но в то же время дал компании воз­
можность протестировать отношения напрямую с потребителем
и собрать отзывы пользователей. Это также было практичным
решением, поскольку OpenAI не имела необходимой инфраструк­
туры для модерации сгенерированных изображений. Назвав мо­
дель «предварительным исследованием» и предложив ее бесплат­
но, компания смогла использовать базовые блокировщики, не
опасаясь расстроить платящих пользователей, что дало ей время
на разработку более продвинутых фильтров. OpenAI продолжи­
ла реализацию различных агрессивных мер по предотвращению
злоупотреблений, например, отключила способность DALL-Е 2
создавать реалистичные лица или манипулировать реальными
фотографиями с лицами, чтобы предотвратить распространение
синтетического CSAM и политической дезинформации.

254


Цифровая диктатура начинается

В марте 2022 года OpenAI выпустила DALL-E 2 через веб-при­
ложение Labs, вызвав огромный общественный резонанс. Люди
были поражены способностями модели, превзошедшими ожида­
ния компании. Веб-приложение быстро стало популярным в со­
циальных сетях, породив множество уникальных произведений
искусства, созданных ИИ. Это был важный момент, похожий на
GPT-3, но еще лучше. Вместо технических разработчиков OpenAI
охватил более широкую глобальную аудиторию. Компания могла
оперативно вносить изменения в веб-приложение Labs на основе
отзывов пользователей. Фрейзер Келтон позже описал этот опыт
как «опьяняющий» в подкасте.
В течение следующих нескольких месяцев подразделение Ap­
plied, которое еще не задумывалось о том, как монетизировать
DALL-E 2, быстро превратило веб-приложение в платную услугу.
Они сотрудничали с художниками и профессионалами по всему
миру, чтобы интегрировать DALL-E 2 в их работу. Была запуще­
на бета-программа, в рамках которой миллиону человек предла­
гались бесплатные кредиты для генерации изображений. Когда
OpenAI начал взимать плату, Google не был главным конкурен­
том; вместо него появились два стартапа - Midjourney и Stability
AI's Stable Diffusion - с моделями, которые были не хуже или луч­
ше, чем DALL-E 2, но не имели некоторых мер безопасности. Эти
модели позволяли пользователям генерировать и редактировать
лица, даже политиков. По мере того как DALL-E 2 терял долю
рынка, Applied поняла, что упустила значительную коммерческую
возможность из-за ограничений приложения. Команда уже заме­
няла тупые блокираторы более конкретными ограждениями. Мо­
тивированные желанием превзойти конкурентов, руководители
компании призвали команду быстро внести изменения.
Чтобы снять запрет на использование лиц, OpenAI разработала
новый процесс для предотвращения и борьбы с созданием опасных
изображений людей, включая CSAM. Автоматизированные систе­

255


Нейросети лжи

Эндрю Слоун

мы использовались для обнаружения лиц, создаваемых в соответ­
ствующих или неправомерных контекстах. Зарубежные подрядчи­
ки, базирующиеся в Индии через поставщика под названием Cogito,
помогали в модерации контента. Эти подрядчики просматривали
не только большие объемы текста, но и синтетические и реальные
изображения, в том числе сексуального и насильственного содер­
жания, которые ранее видели работники Sama. Ежедневно просма­
тривая потенциально сотни изображений, подрядчики сталкива­
лись с трудностями, пытаясь отличить сексуальный контент с уча­
стием семнадцатилетних несовершеннолетних и легальных взрос­
лых в возрасте восемнадцати лет. Они также пытались определить,
являются ли изображения подлинными или сфабрикованными.
То, что казалось самой простой задачей OpenAI в дорожной кар­
те исследований на 2021 год, оказалось одной из самых сложных.
Они стремились увеличить масштаб GPT-3 в 10 раз, используя но­
вый кластер Microsoft из восемнадцати тысяч суперкомпьютеров
Nvidia A l00 для разработки GPT-4. Треть команды, занимавшейся
масштабированием GPT-3, ушла из-за внутренних проблем, унеся с
собой ценные технические и организационные знания. Кроме того,
OpenAI столкнулась с критической нехваткой данных.
После GPT-3 исследователи попытались собрать много дан­
ных. Они увеличили хранилище данных компании, загружая но­
вые дампы данных и без предупреждения скребя онлайн-форумы.
Несмотря на добавление репозитория Codex на GitHub и ресурсов
для кодирования, этого все равно было недостаточно.
Ситуация, когда впереди предстояла нелегкая битва, напоми­
нала типичный проект Грега Брокмана. Он должен был задейство­
вать свой решительный настрой, навыки кодирования и энергию
для достижения продуктивной цели для компании.
После того как Альтман возглавил компанию и освободил
Брокмана от управленческих обязанностей, Брокман вернулся к
индивидуальной работе без прямых подчиненных. Несмотря на

256


Цифровая диктатура начинается

то, что он занимал пост президента и был одним из соучредителей
OpenAI, он по-прежнему имел значительное влияние на сотруд­
ников и стратегическое направление развития компании. Однако
по мере того, как OpenAI становилась все более структурирован­
ной и переходила к типичным корпоративным практикам, выходя
из начальной стадии стартапа, сочетание минимальных обязанно­
стей и широких полномочий Брокмана стало недостатком.
Как и во времена учебы в колледже и в Stripe, он не любил ин­
ституты и процессы. У него была беспокойная и навязчивая энер­
гия, он редко посещал собрания и сам составлял свой график. Он
часто кодил часами напролет с минимальными перерывами на еду
и сон. Когда он занимался нужным проектом, его интенсивная про­
изводительность была поразительной и способствовала ускорению
прогресса. Однако, когда он бездействовал, он был склонен срывать
проекты, вмешиваясь в них и внося изменения в последнюю мину­
ту. Иногда, столкнувшись с сопротивлением сотрудников, он подни­
мался по цепочке руководителей, чтобы добиться своих целей.
Брокман обычно получал то, что хотел, к большому разочаро­
ванию других руководителей. Олтман, до странности попусти­
тельский в своем поведении, мог под влиянием Брокмана вме­
шиваться в дела, казалось бы, только для того, чтобы угодить
ему. Одна из популярных теорий гласит, что, несмотря на то что
Альтман был генеральным директором компании, Брокман так­
же имел власть над Альтманом как член совета директоров. Такая
сложная структура в конечном итоге не оставила никого, кто мог
бы призвать Брокмана к ответу.
Высшее руководство неоднократно меняло его роль, сферу
деятельности и порядок подчинения, пытаясь найти для него оп­
тимальный вариант. В конце концов, Мурати стала руководите­
лем Брокмана. Когда она пыталась дать ему обратную связь, он
был открыт, но если они не соглашались, он жаловался Альтману.
В конце концов Мурати перестала пытаться изменить ситуацию с

257


Эндрю Слоун

Нейросети лжи

помощью обратной связи и сосредоточилась на поиске для Брок­
мана проектов, в которых он мог бы внести свой положительный
вклад. Вместе с Макррю она работала над устранением ущерба,
нанесенного Брокманом в различных областях компании.
Когда на пути развития GPT-4 возникли препятствия, которые
необходимо было преодолеть, звезды сошлись.
Чтобы решить проблему нехватки данных в OpenAI, Брокман
решил использовать YouTube в качестве нового источника данных.
Изначально OpenAI воздерживалась от использования YouTube
для обучения своих моделей из-за нарушения условий обслужи­
вания платформы, что позже подтвердил генеральный директор
YouTube. Однако, столкнувшись с острой необходимостью в до­
полнительных данных, возник вопрос, будет ли YouTube или его
материнская компания, Google, соблюдать это ограничение. Если
Google будет его соблюдать, то это может помешать его собствен­
ной возможности использовать другие веб-сайты для разработки
своих больших языковых моделей. Несмотря на риск, Брокман
был готов продолжить работу.
Вместе с небольшой командой Брокман начал собирать видео­
ролики на YouTube. Как сообщает The New York Times, он собрал
более миллиона часов видеозаписей. Для расшифровки видеоро­
ликов в текст для GPT-4 он использовал инструмент распознава­
ния речи под названием Whisper, созданный Рэдфордом.
Затем началось обучение. Команда «Гнезда» создала специаль­
ную программную платформу для обучения ГПТ-3. Большинство
ее создателей перешли на Антропик, и некому было объяснить, как
она работает. Некоторые руководители предпочли не полагаться
на наследие Anthropic. Брокман разработал новую платформу и
вместе с Якубом Пахоцким и Шимоном Сидором, с которыми он
тесно сотрудничал в проекте Dota 2, руководил подготовкой GPT4. Предварительная подготовка длилась три месяца.

258


Цифровая диктатура начинается

Изначально GPT-4 показался разочаровывающим. Один из
исследователей описал ее как дикую модель, которая плохо вела
себя из-за низкого качества данных, что приводило к нелепым
ответам. Несмотря на это, Брокман продолжал упорствовать, со­
вершенствуя модель, вовлекая людей-подрядчиков в обучение с
подкреплением, основанное на обратной связи с людьми. Со вре­
менем производительность модели значительно улучшилась, что
произвело впечатление на внутренних наблюдателей.
GPT-4 теперь имеет встроенные мультимодальные возмож­
ности. По сравнению с оценками OpenAI, он генерирует более
качественный код и лучше распознает намерения пользователя.
В качестве демонстрации своих возможностей Брокман показал
в прямом эфире демонстрацию, в которой он предложил GPT-4
простой эскиз веб-страницы . Менее чем за полминуты модель
превратила эскиз в рабочий код, стилизовав заголовок, добавив
шутку и распознав кнопку.
OpenAI начала продвигать модель среди доверенных лиц, та­
ких как инвесторы и избранные клиенты. Однако Билл Гейтс, ко­
торый известен тем, что его трудно впечатлить, не был впечатлен.
В июне 2022 года, увидев демонстрационную версию GPT-4,
Гейтс был разочарован ограниченным прогрессом по сравнению
с GPT-2. Несмотря на больший размер и улучшенную беглость,
он по-прежнему считал его «идиотом-савантом», неспособным
решать сложные научные задачи. Гейтс отметил, что обратит вни­
мание только тогда, когда GPT-4 получит 5 баллов на тесте АР
Biology, так как считает, что этот тест оценивает критическое на­
учное мышление, а не просто запоминание. Позже он поделился
в своем подкасте: «Я подумал: «Ладно, это даст мне три года для
работы над ВИЧ и малярией»».
Брокман воспринял замечание Гейтса как вызов и обратился к
Салу Хану, генеральному директору Академии Хана, с просьбой
использовать их вопросы АР Bio в качестве обучающих данных.

259


Эндрю Слоун

Нейросети лжи

Хан колебался, но согласился в обмен на доступ к модели. Брок­
ман собрал команду для создания уникального пользовательского
интерфейса для демонстрации Гейтса.
К концу августа, к удивлению Гейтса, Альтман и Брокман сно­
ва связались с ним. В следующем месяце во время ужина в доме
основателя Microsoft около тридцати человек, включая двух ру­
ководителей OpenAI, представили Гейтсу демонстрационные об­
разцы GPT-4. Главным событием стало то, что модель отлично
справилась с тестом АР Bio, набрав 59 баллов из 60 вопросов с
несколькими вариантами ответов и дав впечатляющие ответы на
шесть открытых вопросов. Внешний эксперт оценил тест на 5 бал­
лов из 5. Гейтс был поражен. Его удивление и похвала быстро рас­
пространились по компании, вызвав высокий уровень воодушев­
ления. Гейтс назвал этот демонстрационный тест одним из двух
самых впечатляющих, которые он когда-либо видел.
На собраниях всех сотрудников Альтман не скрывал своего во­
одушевления, говоря: «Стартапам, добивающимся выдающихся
результатов, необходимо чудо. Мы только что совершили свое».
Многие сотрудники, пораженные своим достижением, поверили
в это. Исключительная производительность GPT-4 убедила руко­
водство OpenAI в необходимости достижения одной из давних
целей Альтмана: создания ИИ-ассистента, похожего на Саманту
из фильма Спайка Джонзе «Она» 2013 года.
На протяжении многих лет «Она» была для Альтмана и других
соучредителей OpenAI образцом того, каким может быть AGI: еди­
ная мультимодальная модель с естественным интерфейсом, прино­
сящая удовольствие пользователю. Один из бывших сотрудников
компании считает, что ее успех был обусловлен тем, что она легко
интегрировалась в жизнь. Позитивная сюжетная линия эволюции
ИИ в обществе видна в фильме до того, как она разворачивается.
Исследовательская группа Джона Шульмана начала применять
свою работу над чатботом RLHF, вдохновленную InstructGPT из

260


Цифровая диктатура начинается

GPT-3.5, в GPT-4, которая стала основным программным обеспе­
чением для продукта Superassistant. Брокман и Фрейзер Келтон
собрали небольшую команду из менее чем десяти человек, чтобы
провести мозговой штурм и разработать прототипы идей для ин­
терфейса. Один из членов команды, обычно занимающийся ин­
фраструктурой, разработал приложение для iOS, чтобы общаться
с моделью в свободное время. Другой член команды предложил
интегрировать Whisper, чтобы обеспечить голосовое взаимодей­
ствие с приложением. Третий член команды предложил создать
расширение для Chrome, чтобы помочь пользователям обобщать
веб-страницы с помощью Superassistant во время просмотра. Чет­
вертый член команды работал над созданием бота для совещаний,
который будет участвовать в видеозвонках пользователей и со­
ставлять резюме.
По мере того как набирался темп, росло волнение по поводу
открывающихся возможностей. Тем летом группа исследова­
телей ИИ, включая Баррета Зофа, Люка Метца и Лиама Федуса,
покинула Google, чтобы основать свой стартап по созданию циф­
рового помощника. Альтман убедил их работать в OpenAI. Они
присоединились к команде Шульмана, работая вместе с командой
Superassistant над развитием исследований и разработок. В со­
стоянии повышенного потока люди из прикладного и исследова­
тельского отделов тесно сотрудничали, чтобы запустить новый
продукт.
OpenAI продемонстрировал GPT-4 компании Microsoft, вы­
звав восхищение Сатьи Наделлы, Кевина Скотта и других руково­
дителей. Codex продемонстрировал коммерческий потенциал, но
GPT-4 оказался еще более значимым. Он превзошел модели ИИ
Microsoft и мог давать подробные ответы. Это открыло возмож­
ности для новых разговорных интерфейсов, таких как Copilots для
продуктов Microsoft. Пользователи смогут общаться с Bing или
давать указания Office, используя естественный язык. Microsoft

261


Эндрю Слоун

Нейросети лжи

сможет предлагать заказчикам облачных сервисов собственные
Copilots, утвердившись в качестве лидера в области ИИ, способ­
ного конкурировать с Google.
В ближайшие месяцы Наделла разблокировал третью инве­
стицию Microsoft в OpenAI, сохранив эксклюзивный доступ к
модельным весам OpenAI для интеграции продуктов. Компании
раскрыли сумму в январе 2023 года: 10 миллиардов долларов.
Сначала руководители OpenAI планировали выпустить GPT-4
осенью 2022 года, но сроки оказались нереальными. К концу лета
компания была не готова к запуску нового продукта. Команде раз­
работчиков требовалось дополнительное время на доработку ин­
терфейса, инфраструктурной команде нужно было выделить ме­
сто на сервере, а модель нуждалась в дальнейшей корректировке
для повышения производительности.
OpenAI совместно с Microsoft создала комитет под названием
Deployment Safety Board (DSB). В DSB входили по три предста­
вителя от каждой компании, чтобы оценить передовые модели
OpenAI для выпуска. Представителями OpenAI были Альтман,
Майлз Брундадж, руководитель отдела политических исследова­
ний , и Ян Лейк, руководитель отдела согласования, контролиру­
ющий такие методы обеспечения безопасности ИИ, как RLHF. Ис­
следования политики и согласование стали ключевыми областями
для клана Safety. DSB создал официальную структуру управления
для урегулирования споров между Applied и Safety. После перво­
начального рассмотрения DSB условно одобрил GPT-4, первую
оцениваемую модель, к выпуску в ожидании дальнейшего тести­
рования и настройки на безопасность ИИ.
Руководители согласовали новый срок - начало 2023 года, что­
бы к этому времени Суперпомощник был готов. OpenAI планиро­
вала запустить GPT-4 в API вместе с потребительским продуктом
на базе GPT-4. Альтман объяснил сотрудникам, что задержка с
выпуском модели свидетельствует об осторожности и безопас­

262


Цифровая диктатура начинается

ности OpenAI. Он упомянул, что компания не торопится с раз­
вертыванием системы, а руководство не уверено в ее внедрении.
В Applied большинство людей поняли Альтмана так, что руковод­
ству потребуется исключительная проблема, чтобы остановить
выпуск модели, но они готовы сделать это в случае необходимо­
сти. Однако в подразделении Safety слова Альтмана были истол­
кованы иначе: предполагалось, что только после того, как GPT-4
пройдет все проверки, руководство одобрит его выпуск.
На частных встречах Альтман подкреплял мнения обеих сто­
рон. Он выразил обеспокоенность тем, что GPT-4 может «разбу­
дить Google», предложив сценарий, в котором модель привлечет
внимание Ларри Пейджа и Сергея Брина, побудив их прорваться
сквозь бюрократию Google. Руководители Google могут отменить
встречи, собрать все таланты и ресурсы и сосредоточиться на том,
чтобы наверстать упущенное. Альтман подчеркнул осторожность
в вопросах безопасности, выделив риск ускорения как главную
проблему безопасности. Пробуждение Google может вызвать ди­
намику гонки на дно.
Даже несмотря на задержку, подразделение Applied спешило
уложиться в сроки, установленные на начало 2023 года. Команда
доверия и безопасности Дэйва Уиллнера, имеющая ограниченный
штат сотрудников и неразвитую инфраструктуру, была частью
этих усилий. OpenAI нужна была более зрелая операция по пре­
дотвращению злоупотреблений и правоприменению для своего
прямого потребительского продукта Superassistant, построенного
на более мощной модели.
Уиллнер быстро нанял опытных помощников по вопросам до­
верия и безопасности из Google и Meta. Одному из них он поручил
расследование «неизвестных нарушений» - нарушений, о которых
еще не было известно и которые требовали тщательного мони­
торинга и анализа данных. Другому заместителю было поручено
заниматься «известными известными» - нарушениями, уже выяв­

263


Эндрю Слоун

Нейросети лжи

ленными компанией, которые требовали автоматической отмет­
ки, проверки и принятия мер, например приостановки аккаунтов
рецидивистов.
В спешке разрабатывая политику и системы мониторинга,
новые члены команды не были уверены, что доверие и безопас­
ность компании, работающей в сфере искусственного интеллекта,
должны отличаться от доверия к поисковым системам или соци­
альным сетям. Они также сомневались, что их подготовка к GPT-4
была достаточной. Доверие и безопасность в основном направле­
ны на предотвращение злоупотреблений в Интернете, таких как
мошенничество , киберпреступность и вмешательство в выборы.
Команда была озадачена тем, как их работа связана с группами
по безопасности ИИ в группах по выравниванию Лейка и поли­
тическим исследованиям Брундаджа, которые часто обсуждали
катастрофические сценарии. Несмотря на то, что все они были
обозначены OpenAI как команды «безопасности», казалось, что
у них разные подходы. Лексика экзистенциальной безопасности
ИИ, популяризированная в ЕА, была общепринятой в этой обла­
сти, но сотрудники с традиционным техническим образованием
были незнакомы с такими понятиями, как сроки ИИ или количе­
ственная оценка гибели. Такие термины, как риск и вред, имели
разное значение для каждой группы.
По мере того как в OpenAI появлялось все больше сотрудни­
ков, не являющихся специалистами по ИИ, чтобы поддержать
растущие потребности прикладного подразделения, преодоление
культурного разрыва между теми, кто знаком с менталитетом думеров и бумеров, и теми, кто работает в стандартных рамках тех­
нологической компании, стало ценным политическим навыком.
Среди заместителей Уиллнера по вопросам доверия и безопасно­
сти тот, кто лучше всех понимал язык безопасности ИИ, служил
связующим звеном с этим миром. Этот заместитель сотрудничал
с разными командами, чтобы повысить безопасность модели,

264


Цифровая диктатура начинается

используя RLHF для выравнивания модели (термин в безопас­
ности ИИ), чтобы сделать ее более эффективной при отклоне­
нии запросов пользователей, нарушающих политику платформы
OpenAI, что является типичной работой по обеспечению доверия
и безопасности.
В то время как был достигнут прогресс в области мер безо­
пасности, руководство компании неожиданно выпустило новое
распоряжение о прекращении процесса проверки разработчиков,
который был введен с выходом API GPT-3.
В течение некоторого времени руководители заметили, что
список ожидания становится слишком длинным, а процесс рас­
смотрения не успевает за ним. Разработчиков расстраивали за­
держки с доступом к технологиям OpenAI. Они часто связывались
с Альтманом, Брокманом и Питером Велиндером по электронной
почте или через Twitter. Руководители считали, что приложения
безвредны. Некоторые из команды прикладников считали, что
OpenAI ограничивает доступ к своим технологиям, что противо­
речит ее миссии.
Уиллнер и его команда упорно сопротивлялись. У OpenAI не
было эффективного способа контролировать использование
своих технологий, если бы она отказалась от процесса подачи
заявок и автоматически утверждала разработчиков. Переход на
реактивное правоприменение потребовал бы значительной раз­
работки инструментов. Несмотря на возражения, руководство
компании решило отменить проверку разработчиков в ожидании
запуска GPT-4, поручив команде доверия и безопасности найти
альтернативу.
Команда Уиллнера быстро подготовила предложение по уси­
лению контроля за соблюдением политики компании. Они пла­
нировали больше полагаться на RLHF для выравнивания GPT-4
и будущих моделей. Другие вопросы будут решаться реактивно.
Речь идет об использовании различных сигналов данных, таких

265


Нейросети лжи

Эндрю Слоун

как активность приложений, трафик и триггеры модерации кон­
тента, для автоматического отстранения явных нарушителей и
передачи пограничных случаев на рассмотрение человеческим
модераторам.
Команда Уиллнера запросила у руководства компании ресурсы
для разработки необходимых инструментов для реализации пла­
на. OpenAI не хватало большинства этих данных; ее платформа
мониторинга фиксировала только базовую информацию о трафи­
ке каждого приложения, использующего серверы компании. Ино­
гда в ней отсутствовали такие детали, как имя разработчика или
назначение приложения.
Помимо заполнения пробелов, команде требовалось, чтобы
разработчики присваивали каждому пользователю уникальный
идентификатор. Это было необходимо для анализа трафика при­
ложения по отдельным пользователям, чтобы определить, было
ли нарушающее поведение характерно для всех пользователей
или только для нескольких. Руководство компании колебалось,
опасаясь, что детальный мониторинг может усложнить работу
разработчиков и повысить ответственность компании за обеспе­
чение доверия и безопасности во всех приложениях, использую­
щих их технологии.
В итоге предложение о реактивном правоприменении было со­
кращено до более ограниченного масштаба.
Ограниченная видимость поведения пользователей прило­
жения вызывала беспокойство у некоторых членов команды по
обеспечению доверия и безопасности. Один из сотрудников по­
делился своими опасениями с Брокманом, выразив опасение, что
люди используют GPT-4 для создания дезинформации и оказания
влияния на выборы в широких масштабах.
Брокман заверил его: «Да, это то, о чем мы всегда говорим и
чем обеспокоены. Но я никогда не видел, происходит ли это на
самом деле».

266


Цифровая диктатура начинается

GPT-4 стал поворотным моментом для Гейтса и Microsoft. Поз­
же, летом того же года, Альтман и Брокман впечатлили миллиардера-филантропа и представили ее совету директоров OpenAI. Брок­
ман продемонстрировал модель вживую, включая шутки о Гэри
Маркусе. Шутки понравились членам совета директоров и проде­
монстрировали значительный прогресс в технологии. Это также
заставило их осознать растущую важность своих будущих решений.
До этого момента Альтман собирал совет директоров пример­
но раз в квартал и предпочитал устные сообщения. Он неторопли­
во рассказывал о сложных темах исследований, иногда приглашая
исследователей компании для представления результатов, и бы­
стро сообщал о последних сделках, о которых он договаривался
с Microsoft или другими партнерами. Некоторые независимые
члены совета директоров настаивали на более частых и структу­
рированных встречах, требуя от Альтмана письменных отчетов и
доступа к большему количеству документов.
Альтман был разочарован усилением надзора. Он хотел, что­
бы члены совета директоров действовали скорее как советни­
ки, предоставляя материалы для рассмотрения. Однажды в 2017
году он сказал студентам университета, что генеральный дирек­
тор должен принимать решения, а совет директоров должен слу­
жить в качестве консультативного органа для получения советов
и согласия. Он упомянул концепцию управления в Конституции
США, согласно которой законодательная власть проверяет власть
исполнительной, но использовал ее противоположным образом.
Альтман считал, что совет директоров должен увольнять плохого
генерального директора, что может показаться нетрадиционным
для Кремниевой долины. Он также считал, что совет директоров
должен предоставлять генеральному директору широкую свободу
действий в управлении компанией.
Несколько членов совета были убеждены, что совет OpenAI
должен быть уникальным. Хелен Тонер подчеркнула, что неком­

267


Эндрю Слоун

Нейросети лжи

мерческий совет был создан для того, чтобы миссия обществен­
ного блага компании была приоритетнее прибыли, интересов
инвесторов и других вопросов. Она отметила, что целью совета
является не только помощь генеральному директору в привлече­
нии средств.
Среди многих сотрудников GPT-4 укрепил веру в возможность
создания AGI. Первоначально скептически настроенные исследо­
ватели стали более оптимистично относиться к достижению этой
технической вехи, несмотря на отсутствие четкого определения
OpenAI. Инженеры и менеджеры по продуктам, которые присое­
динились к Applied и тесно общались с ИИ в рамках GPT-4, стали
использовать более определенные формулировки. Для многих со­
трудников акцент сместился с вопроса о том, появится ли AGI, на
вопрос о том, когда это произойдет.
Некоторые сотрудники придерживались иного мнения. Иссле­
дователь, участвовавший в разработке модели, отметил, что, хотя
GPT-3 продемонстрировал значительные улучшения по сравне­
нию с GPT-2, GPT-4 был в основном больше по объему. Исследо­
ватель выразил сомнения по поводу работы модели на экзаменах,
задавшись вопросом, повторяет ли модель информацию из своих
учебных данных или действительно приобретает новые навыки
для сдачи экзаменов. OpenAI не проводила тщательного изучения
данных обучения GPT-4, чтобы проверить это. Эта ситуация отра­
жает тенденцию в индустрии, когда на исследования больше вли­
яют связи с общественностью, чем рецензируемые исследования.
В обществе распространялось мнение, что ИИ достиг новых
высот. В Google той весной Блейк Лемуан, инженер из ответствен­
ной команды ИИ технологического гиганта, считал свою языко­
вую модель LaMDA высокоинтеллектуальной и, возможно, раз­
умной. Его убежденность была основана не на научных данных, а
на вере христианского священника в то, что Бог может наделить
технологии сознанием. Отвергнутый руководством компании,

268


Цифровая диктатура начинается

он поделился своими взглядами с The Washington Post. Репортер
Ниташа Тику, которая первой сообщила об этой истории, также
взяла интервью у Эмили Бендер и М э г Митчелл. В своей работе
«Стохастические попугаи» они предупреждали о том, что боль­
шие языковые модели могут обманывать людей, заставляя их вос­
принимать реальный смысл и намерения.
«Сейчас у нас есть машины, которые могут генерировать слова
автоматически, но мы еще не придумали, как перестать представ­
лять себе, что за ними стоит разум», - говорит Бендер.
«Меня очень беспокоит то, как иллюзия будет влиять на людей,
становясь все более убедительной», - сказал Митчелл.
Нихил Мишра, исследователь ИИ, стажировавшийся в
OpenAI на заре ее существования, проводит параллели с экс­
периментом 1970-х годов, целью которого было научить горил­
лу модифицированной версии американского языка жестов.
На протяжении всей своей жизни горилла по кличке Коко, как
оказалось, выучила более тысячи знаков и даже научилась со­
ставлять предложения. Несмотря на значительное внимание
общественности, некоторые эксперты оспаривали тот факт, что
Коко действительно усвоила язык. Они утверждали, что она в
основном подражала жестам своих воспитателей, не понимая
их. Опубликованных данных, независимо подтверждающих спо­
собности Коко, не было; их демонстрировали только отдельные
видеоролики. Некоторые из ее живых выступлений вызывали
сомнения. Например, однажды, когда ее спросили, нравятся ли
ей люди, Коко подписала «хороший сосок». Дрессировщик по­
яснил, что слово «сосок» рифмуется с «люди», а значит, Коко
считает, что люди - это хорошо. Эти случаи больше говорят о
человеческой психологии и нашей склонности навязывать свои
интерпретации поведению животных, чем о лингвистических
способностях Коко. Мишра считает, что дрессировщик припи­
сывал смысл там, где его не было.

269


Эндрю Слоун

Нейросети лжи

Для мистика из OpenAI Суцкевера, который твердо верил в
скорое достижение AGI, модельные достижения компании под­
твердили его убеждения. Он рассматривал это как форму рассуж­
дений и поделился с Хинтоном, что AGI уже близко.
Раньше Суцкевер в основном подталкивал исследователей
OpenAI к разработке новых возможностей. Однако теперь он уде­
ляет приоритетное внимание исследованиям безопасности ИИ.
Он ввел мантру «Почувствуй AGI» и посоветовал людям гото­
виться к значительным переменам. Он предупредил сотрудников:
«Скоро вы станете центром внимания на светских раутах. Не по­
зволяйте этому завладеть вашим вниманием. Сохраняйте привер­
женность AGI и миссии».
В сентябре техническое руководство провело выездное сове­
щание в Tenaya Lodge, роскошном курорте в Сьерра-Неваде. Лодж
находился недалеко от Йосемитского национального парка, окру­
женный акрами дикой природы. В отеле были красивые интерье­
ры, бассейны и рестораны. В первый вечер все собрались вокруг
костра во внутреннем дворике отеля. Старшие ученые, одетые в
халаты, стояли вокруг костра полукругом.
Затем Суцкевер вылез из ямы, куда поместил деревянное чу­
чело, заказанное у местного художника. Он начал драматическое
представление, объясняя, что чучело символизирует хорошую
AGI, созданную OpenAI, но оказавшуюся обманчивой. Он заявил,
что обязанность OpenAI - уничтожить его. Неподалеку в темноте
стояли древние красные деревья, как свидетели. Суцкевер облил
чучело жидкостью для зажигалок и поджег его.

270


Глава 11
Арех
В октябре 2022 года OpenAI организовала выездное меропри­
ятие для всей компании в Монтерее, штат Калифорния, прекрас­
ном прибрежном городе, расположенном в двух часах езды к югу
от Сан-Франциско. В компании работало около трехсот сотрудни­
ков, в то время как в предыдущем году их было менее двухсот. В те
выходные все сотрудники собрались возле небольшого аэропорта
Монтерея, чтобы сделать групповое фото, улыбаясь и одетые в
свои фирменные наряды OpenAI. Альтман выглядел непринуж­
денно: он сидел в первом ряду, прижав колени к груди, небрежно
скрестив руки и направив стопы вверх.
В течение двух дней руководство компании представляло об­
новленную информацию о своем видении и реализации. Альт­
ман рассказал об огромных центрах обработки данных, которые
Microsoft расширяет для OpenAI, Стив Даулинг и его заместитель
Ханна Вонг - о первоклассных изданиях, освещающих деятель­
ность компании, а Анна Маканью - о расширении присутствия
компании в Вашингтоне. Затем последовали демонстрации по­
следних проектов исследовательских и продуктовых команд. Впе­
чатление от всего этого было просто осязаемым. Бывший сотруд­
ник, присутствовавший на мероприятии, вспоминает: «Все вместе
было таким умопомрачительным».
Брокман вышел на сцену, чтобы рассказать о последних планах
по созданию GPT-4. Вначале он рассказал историю о своей жене
Анне, которая страдала от постоянных болей в животе. Анна была
привычным явлением в офисе, часто сопровождала Брокмана на
совещаниях, несмотря на то что не являлась его официальным со­
трудником. По словам Грега, помимо Альтмана и Суцкевера, Анна
была человеком, на которого он больше всего полагался в плане

271


Эндрю Слоун

Нейросети лжи

поддержки, его лучшим другом и доверенным лицом. Они были
неразлучны, всегда вместе. Грег сопровождал Анну к нескольким
врачам, но ни один из них не смог определить проблему. Однако
когда он обратился к GPT-4, тот предположил состояние, которое
они не рассматривали, и оно оказалось верным. Эта история пе­
рекликается с той, которую он рассказывал в 2019 году о том, что
AGI может произвести революцию в здравоохранении, помогая
диагностировать сложные проблемы, но на этот раз с другой точ­
ки зрения.
Грег повторил эту историю через Х недель после попытки со­
вета директоров уволить Альтмана, добавив новую вариацию.
Он рассказал о новых медицинских проблемах, с которыми Анна
столкнулась за пять лет, обратившись к многочисленным врачам,
прежде чем ей поставили диагноз. Аллерголог выявил у нее ги­
пермобильный синдром Элерса-Данлоса, генетическое наруше­
ние подвижности. Грег подчеркнул, что AGI предстоит пройти
долгий путь в таких областях, как медицина, но при этом все яснее
осознает его потенциал.
Через несколько недель после возвращения с выездной сессии
поползли слухи о том, что Anthropic тестирует нового чат-бота и
скоро выпустит его. Команда Superassistant находилась в середине
разработки интерфейса чата. Если бы они не запустились первы­
ми, OpenAI рисковала потерять лидирующие позиции, что могло
сильно повлиять на моральное состояние сотрудников, которые
работали долгие часы, чтобы сохранить это превосходство. Еще
хуже для некоторых руководителей было то, что OpenAI была бы
побеждена Anthropic.
Anthropic не планировала никаких срочных релизов. У нее
были свои проблемы на фоне внезапного краха FTX в начале но­
ября. Всего за несколько месяцев до этого компания собрала 580
миллионов долларов, причем 500 миллионов долларов, согласно
пресс-релизу FTX, поступили от SBF и других высокопоставлен­

272


Цифровая диктатура начинается

ных руководителей. В ходе судебного разбирательства выясни­
лось, что эти деньги были получены из миллиардов, присвоен­
ных SBF из депозитов клиентов FTX. Это сделало инвестиции
Anthropic центральным вопросом судебного разбирательства,
поставив под сомнение возможность использования прибыли для
возврата средств клиентам. В итоге судья вынес положительное
решение, разрешив FTX продавать акции Anthropic партиями до
2024 года на общую сумму 1,3 миллиарда долларов.
Руководители OpenAI быстро приняли решение: не ждать GPT4, а выпустить модель GPT-3.5 с поддержкой чата Шульмана и но­
вым интерфейсом чата от команды Superassistant сразу после Дня
благодарения. Команда Superassistant быстро перестроилась, при­
влекая все новых членов для интеграции и доработки функций.
Руководство представило эту работу как «сдержанное исследо­
вательское превью» под названием ChatGPT, похожее на DALL-E
2, цель которого - собрать больше данных от пользователей для
улучшения GPT-4 и продукта Superassistant, а не для монетизации.
За исключением команды суперпомощников, все строго следо­
вали инструкциям руководителей. Сдержанный предварительный
исследовательский показ не был приоритетом; им нужно было со­
средоточиться на запуске GPT-4 в начале 2023 года. Команде по
обеспечению доверия и безопасности не хватало времени, чтобы
создать инфраструктуру мониторинга для запуска. По сравнению
с этим ChatGPT не вызывал серьезных опасений. GPT-3.5 уже был
улучшен с помощью RLHF, что сделало его более безопасным, чем
предыдущая версия GPT-3, все еще доступная на API. OpenAI так­
же выложила версию 3.5 без чата на своей платформе для разра­
ботчиков для тестирования. Клан Safety, занятый тестированием
GPT-4, посчитал, что добавление интерфейса чата очень важно.
Впервые релиз модели прошел проверку без проблем.
Даже в команде Superassistant никто не понимал, какие измене­
ния в обществе они собираются произвести. Они думали, что чат-

273


Эндрю Слоун

Нейросети лжи

бот станет мимолетным трендом, как фильм DALL-E 2, который
на короткое время создаст шумиху в социальных сетях. В ночь пе­
ред запуском все было на удивление спокойно после суматошного
спринта. Они прикидывали количество пользователей, которые
попробуют инструмент в выходные. Оценки варьировались от
нескольких тысяч до десятков тысяч. Чтобы быть осторожными,
команда инфраструктуры подготовила серверные мощности для
ста тысяч пользователей.
На следующий день, в среду, 30 ноября, большинство сотруд­
ников еще не знали о запуске. Выход ChatGPT совпал с конферен­
цией NeurIPS в Новом Орлеане, штат Луизиана. На конференции
была объявлена премия «Испытание временем», которая ежегод­
но присуждается работе, опубликованной десятилетием ранее
и оказавшей значительное влияние на развитие отрасли. В этом
году награда была присуждена работе Хинтона, Суцкевера и Крижевскош «ImageNet» 2012 года, которая продемонстрировала по­
тенциал глубокого обучения.
Вечером небольшая группа сотрудников устроила вечеринку
OpenAI рядом с конференц-центром, чтобы представить компа­
нию и набрать заинтересованных кандидатов среди почти десяти
тысяч очных участников. В это же время в городе проходили ве­
черинки DeepMind, Meta и Google. Во время вечеринки один из
рекрутеров заметил инженера OpenAI, неустанно работающего за
своим компьютером.
В конце концов он подошел к инженеру и сказал: «Брат, выпей.
Мы все здесь. Будь общительным».
Инженер не шелохнулся. «Нет, все графические процессоры
плавятся, все рушится».
Той ночью Япония первой проснулась и ощутила резкое уве­
личение трафика. На следующий день число пользователей про­
должало расти по всему миру по мере того, как в сети появлялись
пользователи из разных часовых поясов. Маек внес значительный

274


Цифровая диктатура начинается

вклад в этот всплеск, написав в Твиттере о том, что многие люди
были поражены ChatGPT. Его твит набрал около семидесяти пяти
тысяч лайков. Той ночью Япония проснулась первой и выдала
огромный и неожиданный всплеск трафика. На следующий день
число пользователей продолжало расти, по мере того как часовой
пояс за часовым поясом подключался весь остальной мир. Маек
сыграл не последнюю роль в ускорении подъема. «Множество лю­
дей застряли в чертовски безумной петле ChatGPT», - написал он
в твиттере, получив около семидесяти пяти тысяч лайков.
Внезапный успех ChatGPT превзошел все ожидания OpenAI.
Даже спустя годы инженеры и исследователи были удивлены. GPT3.5 не предлагал значительных улучшений по сравнению с GPT-3,
который был доступен уже два года. Хотя GPT-3.5 был доступен
для разработчиков, он не принес того же уровня инноваций, что
GPT-4. Позже Альтман признался, что ожидал меньшей популяр­
ности ChatGPT. Один из бывших сотрудников вспоминал, что был
шокирован тем, что людям он понравился, так как он казался им
ухудшением внутреннего инструмента, которым они пользовались.
Через пять дней Брокман написал в твиттере, что ChatGPT
достиг миллиона пользователей. Всего за два месяца количество
пользователей выросло до ста миллионов, что сделало его самым
быстрорастущим потребительским приложением на тот момент.
Позднее на это звание претендовал конкурент Meta, Threads, до­
стигший менее чем за пять дней. Некоторые утверждали, что это
не считается, поскольку Meta в основном использовала существу­
ющую базу пользователей.
ChatGPT быстро сделал OpenAI известным именем популяр­
ного стартапа в технологической индустрии. На конференции по
исследованию ИИ в Кигали, Руанда, один из исследователей рас­
сказал, что после ChatGPT его родители наконец-то поняли его
работу. Он сказал: «Вы знаете, что технология доступна, когда
ваша мама говорит с вами о ней».

275


Нейросети лжи

Эндрю Слоун

В то же время успех блокбастера вызвал значительное напря­
жение в компании. В течение года он усилил внутренние разногла­
сия, доведя стресс и напряжение до критической точки.
Сразу после этого вся компания была сосредоточена на туше­
нии пожара. Серверы OpenAI неоднократно падали, а команда
разработчиков инфраструктуры спешила быстро нарастить мощ­
ности, столкнувшись с самыми сжатыми сроками в истории Крем­
ниевой долины. Команда использовала некоторые ресурсы иссле­
довательского подразделения для поддержки роста ChatGPT, но
их все равно не хватало для поддержания работы приложения. Ко­
манда по обеспечению доверия и безопасности, насчитывающая
чуть более десятка человек, из-за недостаточного мониторинга
с трудом выявляла и устраняла случаи плохого поведения среди
притока новых пользователей. Они столкнулись с трудностями
при найме инженеров для реализации плана по обеспечению со­
блюдения закона и все еще находились в процессе создания не­
обходимых систем. ChatGPT нарушил ход проекта, что привело к
паузе в разработке новых инструментов, поскольку инженерные
ресурсы были перенаправлены на стабилизацию существующих
систем. Падения серверов также затронули платформу монито­
ринга трафика, что полностью остановило масштабную работу по
обеспечению правопорядка.
Острая нехватка графических процессоров сорвала попытку
использовать технологию компании. Команда по обеспечению до­
верия и безопасности разработала прототип плана под названием
Fact Factory для использования GPT-4 для модерации контента.
Однако реализация оказалась неэффективной из-за необходи­
мости длинных подсказок и больших вычислительных ресурсов.
Кроме того, серверы не работали постоянно.
Для многих в клане Safety ChatGPT стал самым тревожным
примером недостатков предвидения OpenAI. На общем собрании
один из сотрудников Safety задал вопрос, как компания могла не

276


Цифровая диктатура начинается

предсказать поведение пользователей и популярность ChatGPT.
Это вызвало беспокойство по поводу способности компании
предвидеть и оценивать будущее влияние своих технологий.
Для большинства сотрудников компании падающие серве­
ры были не только источником стресса, но и знаком триумфа.
OpenAI создала востребованную технологию, которая быстро за­
воевала мировое признание. Они успешно повлияли на все чело­
вечество, и теперь все восемь миллиардов человек стали частью
мира OpenAI.
Альтман не стал зацикливаться на этом моменте, а напомнил со­
трудникам о миссии компании, которая заключается в достижении
чего-то большего, чем просто создание «самого большого продукта
в истории Кремниевой долины». Он призвал все команды сохранять
концентрацию и продолжать двигаться вперед. Как и ожидалось,
OpenAI заставила своих конкурентов действовать: Anthropic гото­
вила к запуску своего чат-бота Claude; Google объявила «красный
код» и планировала объединить свои подразделения искусственно­
го интеллекта в Google DeepMind, чтобы поддержать запуск анало­
гичного продукта. Несмотря на первоначальный успех OpenAI на
рынке с его превосходным продуктом, ему нужно было продолжать
развиваться, чтобы сохранить свои лидирующие позиции.
Когда все члены команды были напряжены, менеджеры попро­
сили Альтмана увеличить штат. После ChatGPT кандидатов было
много, что привело к резкому увеличению числа соискателей.
Альтман беспокоился о сохранении культуры компании и согла­
сованности миссии, если штат будет расти слишком быстро. Он
верил в сохранение небольшого штата с высокой плотностью та­
лантов. В своей записке о перспективах на 2020 год он предосте­
рег от слишком большого роста организации за счет инвестиций
Microsoft. Альтман подчеркивал, что важно оставаться малень­
кой, сфокусированной, высокодоверяющей, малообдуманной и
интенсивной.

277


Эндрю Слоун

Нейросети лжи

«Слишком большое количество людей и бюрократии может за­
тормозить реализацию великих идей или привести к застою. В от­
личие от крупных инженерных проектов в прошлом, мы можем
выполнить нашу миссию с помощью относительно небольшого
числа талантливых людей».
В конце 2022 года он повторил эту мысль руководителям, под­
черкнув важность сохранения бережливости компании, поддер­
жания высоких стандартов талантов и ограничения числа новых
сотрудников примерно сотней. Некоторые руководители не согла­
сились, посчитав, что из-за того, что их команды быстро выгора­
ют, им нужно около пятисот или более новых сотрудников.
В течение нескольких недель обсуждений исполнительная
группа пришла к компромиссу и выбрала число между 250 и
300. Однако это ограничение оказалось неэффективным. Летом
к OpenAI еженедельно присоединялось от 30 до 50 человек, а
для ускорения найма привлекались дополнительные рекрутеры.
К осени компания значительно превысила самостоятельно уста­
новленную квоту.
Внезапный скачок роста значительно изменил культуру компа­
нии. Один из рекрутеров написал манифест, в котором выразил
обеспокоенность тем, что из-за необходимости быстрого найма
команда идет на компромисс с качеством талантов. Он косвенно
критиковал Альтмана, намекая на предупреждения генерального
директора о том, что компания теряет плотность талантов и ориен­
тацию на миссию при одновременном росте бюрократии. Быстрое
расширение привело к новым увольнениям. Одному менеджеру во
время его введения в должность было дано указание немедленно
сообщать о неудовлетворительно работающих членах команды, по­
сле чего он сам был уволен. Об увольнениях часто не сообщалось в
масштабах всей компании. Сотрудники узнавали о том, что их кол­
' леги уволены, только когда их аккаунты в Slack становились серыми
от деактивации, что привело к появлению термина «исчезнуть».

278


Цифровая диктатура начинается

Для новых сотрудников, которые были полностью увлечены
идеей присоединиться к быстро развивающемуся и приносящему
деньги стартапу, хаос, с которым они столкнулись, казался суро­
вым примером обычных корпоративных проблем: плохого управ­
ления, неясных приоритетов и безжалостной природы капита­
листической компании, которая рассматривает сотрудников как
расходный материал. Бывший сотрудник, пришедший в компанию
в этот период, отметил значительное отсутствие психологической
безопасности, противопоставив ее концепции компании как се­
мьи. Многие новые сотрудники просто ждали, когда исполнится
год, чтобы получить свою первую долю в капитале. Несмотря на
трудности, они считали своих коллег лучшими в технологической
отрасли, а обилие ресурсов и глобальное влияние создавали ощу­
щение волшебства, которое трудно найти в других местах. Быв­
ший сотрудник описал OpenAI как одно из лучших и худших мест,
где ему приходилось работать.
Некоторые сотрудники, помнившие первые дни существования
OpenAI как сплоченной некоммерческой организации, были шо­
кированы ее превращением в большую, безличную корпорацию.
Организация, которую они знали, исчезла, а на ее месте появи­
лось нечто неузнаваемое. Бывший рекрутер Роб Мэллери сравнил
это с фестивалем Burning Man, когда фестиваль настолько разрос­
ся, что утратил свою первоначальную суть. Он отметил, что для
тех, кто присутствовал в начале, он имел большее значение, чем
для нынешних членов.
В первые годы команда создала канал в Slack под названием
#explainlikeimfive, чтобы сотрудники могли анонимно задавать
технические вопросы. Когда компания выросла до шестисот чело­
век, канал также стал платформой для обмена анонимными жало­
бами. В середине 2023 года один из сотрудников выразил обеспо­
коенность тем, что компания нанимает людей, не соответствую­
щих миссии и не проявляющих энтузиазма в разработке AGI.

279


Эндрю Слоун

Нейросети лжи

Другой человек ответил, что понял, что OpenAI идет на спад,
когда начал нанимать людей, умеющих устанавливать зрительный
контакт.
ChatGPT удивила Microsoft, поскольку, по словам руководите­
лей OpenAI, ожидалось, что это будет «скромное исследователь­
ское превью». Оказалось, что это далеко не так, вопреки тому, что
они сообщали своим партнерам и сотрудникам.
Руководители технологического гиганта поначалу были раз­
дражены таким несоответствием. ChatGPT затмил чатбота Bing от
Microsoft. Когда Microsoft выпустила Bing AI в феврале, он стол­
кнулся с негативным пиаром из-за статьи обозревателя New York
Times Кевина Руза, который упомянул его как причину своего раз­
вода. Это был не тот прием, на который рассчитывала Microsoft, и
в сравнении с ним OpenAI выглядел еще лучше.
Перекрещивание проводов не уменьшило энтузиазма Microsoft
в отношении OpenAI. Положительная реакция на ChatGPT была
заразительной, а расширяющиеся возможности моделей OpenAI
еще больше взволновали руководителей Microsoft. Microsoft го­
товилась к запуску новой серии копилотов для своих продуктов,
основанных на GPT-3.5 и GPT-4. Эти Copilots должны были быть
выпущены последовательно в виде серии анонсов. Вслед за Bing в
феврале был представлен Microsoft 365 Copilot, который в марте
обеспечил чат-интерфейс на базе искусственного интеллекта для
всех продуктов Office - от Word до Outlook и Teams.
То, как руководители Microsoft обсуждали партнерство с
OpenAI внутри компании, быстро менялось. Если раньше Microsoft
считала, что контролирует OpenAI, то теперь некоторые руково­
дители считали наоборот. В Microsoft росло ощущение неадекват­
ности, поскольку ее исследования в области ИИ не достигли того,
чего добился OpenAI. Бывший сотрудник Microsoft вспоминает,
что некоторые руководители считали, что если Microsoft прекра­

280


Цифровая диктатура начинается

тит инвестировать в OpenAI, то стартап сможет привлечь других
инвесторов. Однако если OpenAI прекратит сотрудничество с
Microsoft, найдет ли технологический гигант другого OpenAI?
В то же время многие руководители больше не были нацелены
на конкуренцию с Google. От скептицизма они перешли к вере в
видение OpenAI в области AGI и генеративного ИИ. Microsoft ак­
тивно участвовала в развитии этой технологии вместе с OpenAI.
По мере того как уверенность Microsoft росла, компания коррек­
тировала свою риторику и стратегию. Один из бывших сотруд­
ников заметил, что в Microsoft произошел сдвиг в сторону уз­
кого взгляда на будущее, основанного на повествовании, а не на
реальности.
Наделла реализовал новую стратегию распределения вычисли­
тельных ресурсов Microsoft, перераспределив GPU из исследова­
тельских групп для поддержки OpenAI. Компания объединила все
GPU в один пул, чтобы лучше поддерживать рабочие нагрузки ге­
неративного ИИ. Один из сотрудников Microsoft вспоминает, что
до января прошлого года большинство сотрудников не знало о
OpenAI. Теперь же они получают от начальства срочные указания
интегрировать свою работу с технологиями OpenAI.
В течение нескольких месяцев сотрудники технологического
гиганта протестировали GPT-4 и ChatGPT, что привело к появле­
нию более сотни новых проектов генеративного ИИ. По иронии
судьбы, столь быстрое внедрение привело к тому, что Microsoft
столкнулась с теми же проблемами, что и другие компании, поспе­
шившие внедрить генеративный ИИ без полного понимания ситу­
ации. Это создало проблемы для команд по управлению рисками
и соблюдению нормативных требований. Некоторые сотрудники
предпочли использовать бесплатную версию ChatGPT от OpenAI,
что вызвало опасения по поводу безопасности данных и соблюде­
ния нормативных требований. В то время как некоторые нашли
эти инструменты весьма полезными, многие сочли их чрезмерно

281


Эндрю Слоун

Нейросети лжи

сложными. Один из сотрудников выразил разочарование: «ИИ
используется повсеместно, но это не всегда помогает нам. Мы
чувствуем себя окруженными им и не можем его избежать».
Когда сотрудники перешли от моделей Microsoft к моделям
OpenAI, они потеряли контроль и видимость основного инфра­
структурного уровня своей работы. Доступ к базовым моделям
OpenAI в Microsoft был ограничен, несмотря на то что эти моде­
ли обучались и хранились на серверах Microsoft. Большинство
сотрудников Microsoft больше не могли получить доступ к обу­
чающим данным или настроить используемые модели. Модели
OpenAI предоставлялись через API всем клиентам OpenAI.
В ответ на эти компромиссы Microsoft получила большое воз­
награждение. Компания получила значительный прирост клиен­
тов для своей платформы Azure AI, как единственный поставщик
облачных услуг, предлагающий такие преимущества, как упро­
щенное хранение и управление данными, а также возможность
обработки данных с помощью технологии OpenAI. Эрик Бойд,
корпоративный вице-президент платформы ИИ, в мае 2023 года
в электронном письме своей команде отметил, что сервис Azure
OpenAI привлекает много новых клиентов. В августе он снова вы­
разил свое волнение, размышляя о прогрессе, достигнутом всего
за один год. Он отметил, что в том году число клиентов увеличи­
лось в 21 раз. В следующем месяце Бойд отметил новое достиже­
ние. Благодаря консолидации усилий Microsoft в области искус­
ственного интеллекта на платформе и привлечению тысяч новых
клиентов для Azure OpenAI Service, трафик платформы вырос в
десять раз за девять месяцев. В январе 2023 года платформа еже­
месячно получала сто миллиардов запросов на вывод; к сентябрю
этот показатель достиг одного триллиона.
Летом того года на собрании всех сотрудников OpenAI тех­
нический директор Microsoft Кевин Скотт похвалил команду. Он
упомянул, что Microsoft перенаправила свои инвестиции в ма­

282


Цифровая диктатура начинается

шинное обучение ИИ, переведя GPU из некоторых внутренних
исследовательских областей. Несмотря на критику, Microsoft ве­
рила в исключительную работу OpenAI и была уверена в их лиди­
рующих в отрасли усилиях.
ChatGPT ознаменовал переход OpenAI от некоммерческой
деятельности к коммерциализации. Альтман и другие руководи­
тели стремились извлечь выгоду из успеха чатбота, выпустив не­
сколько платных продуктов. В феврале 2023 года они запустили
платную версию ChatGPT, а в марте - АРНверсию, Whisper API и
GPT-4. Один из бывших сотрудников отметил, что после ChatGPT
фокус сместился на получение дохода и прибыли, перестав быть
исключительно идеалистической исследовательской лаборатори­
ей. Клиентам теперь требовалось немедленное обслуживание.
Команда по обеспечению доверия и безопасности была оше­
ломлена наплывом новых продуктов. OpenAI привлекал пользо­
вателей к своему API, предлагая бесплатные кредиты на сумму в
двадцать долларов. Популярность ChatGPT привела к резкому ро­
сту использования API, что вызвало проблемы. Многие пользова­
тели создавали несколько аккаунтов, чтобы воспользоваться бо­
нусом за регистрацию или избежать запрета. Эта мошенническая
деятельность привела к значительным потерям дохода OpenAI
из-за увеличения расходов на сервер. С менее чем двадцатью чле­
нами команды и ограниченными возможностями по обеспечению
правоприменения, команда доверия и безопасности сфокусиро­
вала свои усилия на борьбе с новыми моделями злоупотреблений.
Вскоре постоянное давление привело Уиллнера к сильному вы­
горанию, в результате чего он и некоторые его сотрудники поки­
нули компанию в течение нескольких месяцев. К концу года груп­
па была распущена, а некоторые ее члены присоединились к более
широкому подразделению систем безопасности, возглавляемому
давним исследователем OpenAI Лилиан Венп Некоторые сотруд­

283


Нейросети лжи

Эндрю Слоун

ники отдела доверия и безопасности считали, что постоянные
конфликты между Applied и группой безопасности с их чрезмер­
ным пессимизмом способствовали формированию культуры в ру­
ководстве компании, которая преуменьшала значение любых про­
блем, связанных с «безопасностью». Такая обстановка еще боль­
ше маргинализировала их роль, которая и так была бесправной в
большинстве технологических компаний, особенно в OpenAI.
И действительно, с каждым новым запуском столкновения
продолжались, в том числе и по поводу выпуска GPT-4. Многие
в Applied считали шестимесячную задержку с запуском модели
чрезмерно осторожной, а некоторые в Safety полагали, что это не
дало им достаточно времени для всестороннего тестирования и
выравнивания.
Несмотря на все усилия, высокий уровень галлюцинаций у мо­
дели сложно контролировать. В ноябре 2022 года пользователи
начали использовать ChatGPT как поисковый инструмент, что
привело к предположениям о том, что он может составить кон­
куренцию Google. Внутренний документ показал, что во время
тестирования модель OpenAI галлюцинировала примерно в 30 %
вопросов с закрытыми темами.
Вопросы с закрытыми темами - самый простой тип вопросов.
Пользователи предоставляют информацию модели, например
загружают PDF-файл для резюме или указывают пункты для за­
вершения предложения. В отличие от них, в вопросах с открытым
содержанием нет справочныхматериалов, таких как поп-культура
или древняя история, как в обычной поисковой системе.
Между тем, GPU постоянно ограничивали исследования и рост
OpenAI. Новые исследования и запуск новых продуктов часто
откладывались или отменялись из-за недостаточной мощности
чипов. После вирусного успеха ChatGPT информационный бюл­
летень SemiAnalysis, посвященный полупроводниковой промыш­
ленности, подсчитал, что OpenAI ежедневно тратит около 700 ООО

284


Цифровая диктатура начинается

долларов на вычисления. Руководство компании перераспредели­
ло чипы из исследовательского подразделения в Applied, пообе­
щав вернуть их к определенной дате. Однако эта дата прошла, а
чипы так и не были возвращены. Из-за растущей базы пользовате­
лей подразделения требовалось больше чипов, а не меньше.
Это давление ускорило исследования OpenAI в области созда­
ния более эффективных моделей. В ходе работы над повышением
эффективности вычислений в компании исследовательское под­
разделение разработало новый метод создания экономичных мо­
делей на основе трансформаторов, получивший название DUST.
Полученным моделям были присвоены кодовые имена в тематике
пустыни. Первая из них, оптимизированная версия GPT-3.5, была
названа Sahara и выпущена в феврале 2023 года как GPT-3.5 Turbo.
Другая модель, названная Gobi, будет оптимизированной версией
одной из их текстово-изобразительных моделей.
Третья версия, оптимизированная на основе GPT-4, была на­
звана Arrakis в честь пустынной планеты из научно-фантастиче­
ской эпопеи «Дюна». Несмотря на долгие месяцы работы, команда
столкнулась с трудностями в повышении эффективности Arrakis
без ущерба для его производительности. Проект потреблял боль­
шое количество вычислительных ресурсов. Вскоре руководство
решило отказаться от него, чтобы распределить графические про­
цессоры по другим проектам.
Microsoft беспокоилась о том, что OpenAI может разорвать от­
ношения, а OpenAI - о том, что Microsoft может прекратить сотруд­
ничество, если стартап не будет работать над тем, чтобы удовлет­
ворить их. Arrakis рассматривался как значительный провал в этой
ситуации. Пытаясь произвести впечатление на Microsoft, OpenAI
пересмотрела свою дорожную карту, сделав упор на поставку мо­
дели, а не на другие стратегические проекты, такие как применение
GPT-4 к поисковой системе. Однако эта неудачная попытка оста­
вила у некоторых руководителей Microsoft чувство разочарования.

285


Нейросети лжи

Эндрю Слоун

Возникла новая неудобная реальность: OpenAI и Microsoft
начали конкурировать за контракты. Codex и DALL-Е 2 убедили
OpenAI сохранить контроль над предоставлением своих техно­
л о ги й
пользователям. ChatGPT и GPT-4 продемонстрировали,
что OpenAI может самостоятельно генерировать прибыль. Это
привело к тому, что OpenAI стала напрямую предлагать свои тех­
нологии клиентам, те же технологии, которые она предоставляла
Microsoft, которая, в свою очередь, предлагала ихтем же клиентам.
Передача технологии была сопряжена с определенными труд­
ностями. График релизов OpenAI ускорился по сравнению с гра­
фиком Microsoft, которая значительно превосходила OpenAI по
размерам. Это привело к тому, что один сотрудник OpenAI мог
получать множество запросов от коллег из Microsoft из разных
отделов по поводу технических или логистических деталей каж­
дого нового продукта. Поддержка релизов Microsoft становилась
все более утомительной для сотрудников OpenAI, поскольку они
пытались сосредоточиться на своей собственной дорожной карте.
Во многом улучшением отношений занимался Мурати, кото­
рый тесно сотрудничал со Скоттом и другими руководителями
Microsoft. Они координировали сроки выпуска продуктов, раз­
рабатывали стратегию дифференциации предложений OpenAI и
Microsoft и находили более эффективные способы сотрудниче­
ства между организациями. Летом 2023 года команда инженеров
Microsoft внедрилась в OpenAI, чтобы упростить передачу техно­
логий, получив полный доступ ко всему.
По мере углубления интеграции Альтман и Наделла все актив­
нее участвовали в управлении вычислительными ресурсами для
OpenAI. Они принимали сложные решения о перераспределении
чипов и средств для удовлетворения растущих вычислительных
потребностей организации. Наделла упомянул в интервью The
New York Times, что требования OpenAI быстро росли, и Альтман
часто запрашивал дополнительные ресурсы.

286


Цифровая диктатура начинается

OpenAI требовались дополнительные центры обработки дан­
ных для поддержки ChatGPT и более мощные суперкомпьютеры
для обучения будущих моделей. Чтобы удовлетворить растущий
спрос, они запланировали новаторский проект под названием
Stargate для OpenAI и Mercury для Microsoft. Этот проект пред­
полагал создание одного суперкомпьютера, стоимость которого
оценивалась в 100 миллиардов долларов. Империя ИИ развива­
лась по исторической схеме, требуя все больше ресурсов и земли
для поддержания своего роста.

Глава 12
Разграбленная земля
В Сантьяго, Чили, после хорошего дождя смог рассеивается, от­
крывая захватывающий вид на горы Анды. Анды тянутся по всей
длине этой узкой страны, от Патагонии на юге до более чем 2600
миль на север до верхней границы Чили - это в два раза больше,
чем расстояние от Майами до Бостона. Здесь городской пейзаж
превращается в огромную пустыню - одно из самых сухих мест на
Земле, не считая части Антарктиды. Горы выделяются более ярко,
их цвета усиливаются благодаря интенсивному солнечному свету.
До того как Чили стала Чили, пустыня Атакама, как известно,
была заселена различными коренными народами. Вместо того
чтобы видеть суровый, бесплодный ландшафт, эти группы сдела­
ли пустыню своим домом, используя ее ресурсы для выращивания
урожая, разведения скота и проведения ритуалов предков. Когда
прибыли испанцы, они разделили регион на административные
единицы с границами. Старейшины коренных народов до сих пор
рассказывают истории о жестоких репрессиях, когда испанцы
прибегали к крайнему насилию, в том числе отрезали языки тем,

287


Эндрю Слоун

Нейросети лжи

кто говорил на их родном языке. Это положило начало взаимо­
отношениям страны с миром, в центре которых было предостав­
ление сырьевых ресурсов, таких как земля, вода, энергия и мине­
ралы, для поддержки политических и экономических интересов
других народов.
Сегодня почти 60 процентов чилийского экспорта составляют
минералы, главным образом из пустыни Атакама, такие как медь
и литий. Эти минералы необходимы для производства электро­
ники и литий-ионных батарей. Этот экспорт играет важную роль
в экономике страны. В Сантьяго многие люди связаны с горнодо­
бывающей промышленностью. Рабочие живут на севере во время
своих смен и возвращаются в столицу в выходные дни.
Страна изо всех сил старалась развивать другие отрасли в ка­
честве двигателя экономики. В течение долгого времени после
падения испанской империи США оказывали заметное влияние
на этот путь. В 1950-х и 60-х годах Чили и Уругвай приняли эконо­
мику развития, сделав упор на жесткое государственное регули­
рование и внутреннюю индустриализацию для обеспечения эко­
номического роста. Американские транснациональные корпора­
ции, получавшие прибыль от чилийских шахт, выступали против
повышения государственных налогов и регулирования. Поэтому
правительство США стремилось изменить экономическую поли­
тику Чили в интересах американского бизнеса. В 1956 году они
инициировали «Чилийский проект» по обучению ста чилийских
студентов в Чикагском университете под руководством амери­
канского экономиста Милтона Фридмана.
Фридман, выдающийся экономист, стал лауреатом Нобелев­
ской премии в 1976 году. Его ключевая идея была выражена во
влиятельной статье 1970 года в газете The New York Times: «Со­
циальная ответственность бизнеса заключается в увеличении его
прибыли». Он выступал за минимальное государственное регули­
рование, неограниченную свободу для компаний, ориентирован­

288


Цифровая диктатура начинается

ных на получение прибыли, и стимулирование экономического
роста в развивающихся странах за счет либерального экспорта.
В отличие от него, экономика развития придерживалась иного
подхода. Наоми Кляйн в своем бестселлере 2007 года «Шоковая
доктрина» подчеркнула, что «Чилийский проект» сосредоточился
на индоктринации, а не на образовании. В Чикагском университе­
те чилийских и других латиноамериканских студентов учили ана­
лизировать экономическую политику своих стран и недостатки
латиноамериканского девелопмента.
По мере того как каждая группа выпускников, известных как
«чикагские мальчики», возвращалась в Сантьяго, неолиберальные
идеи Фридмана распространялись среди интеллектуальной элиты
Чили и в конце концов стали частью правящей идеологии. В 1973
году демократически избранный левый президент Чили был свер­
гнут военным генералом Аугусто Пиночетом в результате пере­
ворота, частично поддержанного ЦРУ. Этот переворот положил
начало жесткой диктатуре Пиночета, продолжавшейся почти два
десятилетия, и внедрению нового неолиберального экономиче­
ского плана: диктатура поручила разработку своей экономиче­
ской политики «Чикагским мальчикам».
Во времена правления Пиночета в Чили было приватизирова­
но практически все: образование, здравоохранение, пенсионная
система и даже водоснабжение. Такой подход привел к экономи­
ческому росту, но одновременно усугубил неравенство. Сейчас
Чили - одна из самых неравных стран в мире, где около четверти
доходов контролируется несколькими богатыми семьями, состав­
ляющими 1 процент. Так как Чили никогда не была полностью ин­
дустриализована, ее экономика по-прежнему основана на добыче
полезных ископаемых, что делает ее значимой для крупных миро­
вых держав.
С приходом бума ИИ Чили стала центром нового уровня экстрактивизма, обеспечивая высокий спрос отрасли на сырьевые ре­

289


Нейросети лжи

Эндрю Слоун

сурсы, такие как медь и литий на севере страны, а также земельные,
водные и энергетические ресурсы для центров обработки данных
в столичном регионе Сантьяго. В мае 2024 года правительство с
гордостью объявило, что в стране появится двадцать восемь но­
вых центров обработки данных в дополнение к уже существующим
двадцати двум, что позволит привлечь 2,6 миллиарда долларов
иностранных инвестиций в течение следующих нескольких лет.
Хотя правительство считает свою роль в поддержке техноло­
гического развития прогрессом, Чили сталкивается с сильным
сопротивлением этому представлению. Общины по всей стране
яростно выступают против потери своих земель и ресурсов ради
интересов Глобального Севера. Их протесты и судебные тяжбы
привели к остановке проектов и привлекли внимание правитель­
ства, вдохновив движения солидарности в других странах.
Мартин Тирони Родо, профессор Католического университета
в Сантьяго и директор чилийского аналитического центра Futures
of Artificial Intelligence Research, резюмирует настроения, которые
он неоднократно слышал от сообществ по всей стране. Эти дви­
жения задаются вопросом о том, как представить себе новый путь
развития ИИ, не основанный на добыче полезных ископаемых.
Он подчеркивает, что продолжение развития этой технологии в
прежнем виде нанесет вред Земле.
«Цифровые» технологии не являются исключительно цифро­
выми. Облако» не имеет бесплотной формы. Для обучения и ис­
пользования моделей ИИ нужны физические центры обработки
данных. Генеративным моделям ИИ OpenAI для обучения и ра­
боты требуется больше и больше центров обработки данных, чем
когда-либо прежде.
До появления искусственного интеллекта центры обработки
данных уже росли и разрастались. Раньше они были небольшими
и разрозненными, спрятанными в городских районах, с несколь­
кими компьютерами на полках в шкафу или несколькими стой­

290


Цифровая диктатура начинается

ками в переоборудованном здании. В 2000-х годах крупные тех­
нологические компании начали объединять свою вычислитель­
ную инфраструктуру в огромные серверные склады в сельской
местности. Индустрия центров обработки данных разделилась
на гипермасштабируемые компании, такие как Google, Microsoft,
Amazon, Meta и другие. Эти ведущие гипермасштабируемые ком­
пании ежегодно тратят на строительство центров обработки дан­
ных больше денег, чем все менее известные девелоперы вместе
взятые, такие как Equinix и Digital Realty.
Трудно представить себе гипермасштабный центр обработки
данных, если вы никогда его не видели. Мел Хоган, доцент канад­
ского Университета королевы, занимающаяся исследованиями в
области искусственного интеллекта, инфраструктуры и окружа­
ющей среды, еще десять лет назад сравнивала их с футбольными
полями. Однако теперь она считает, что это сравнение не отра­
жает их реальных размеров. Гипермасштабирующие компании
называют свои центры обработки данных «кампусами», которые
представляют собой огромные участки земли, сравнимые с круп­
нейшими университетами Лиги плюща. В этих кампусах располо­
жено несколько массивных зданий, заполненных рядами компью­
терных стоек. Компьютеры выделяют значительное количество
тепла, аналогичное интенсивно работающему ноутбуку, умножен­
ному на миллион. Чтобы предотвратить перегрев, здания оснаще­
ны большими системами охлаждения, такими как вентиляторы,
кондиционеры или системы испарения воды для охлаждения сер­
веров. Коллективное оборудование производит постоянный шум,
гул, жужжание и треск, слышимый за многие километры, особен­
но в менее развитых районах, создавая постоянное и физически
неприятное шумовое загрязнение.
Теперь разработчики используют новый термин в эпоху ИИ
после ChatGPT: «мегакампус». Этот термин относится не только
к площади, но и к значительному количеству энергии, необходи­

291


Эндрю Слоун

Нейросети лжи

мой для их работы. Стойка графических процессоров потребляет
в три раза больше энергии, чем другие компьютерные чипы. Сто­
имость обучения генеративных моделей ИИ высока, как и стои­
мость их обслуживания. По данным Международного энергети­
ческого агентства, каждый запрос ChatGPT требует примерно в
десять раз больше электроэнергии, чем обычный поиск в Google.
Раньше крупнейшие центры обработки данных были мощностью
около 150 мегаватт, потребляя энергию, эквивалентную 122 ООО
американских домохозяйств в год. Сейчас разработчики и комму­
нальные компании готовятся к созданию мегакампусов ИИ, ко­
торым может потребоваться от 1 ООО до 2 ООО мегаватт энергии.
Один мегакампус может потреблять столько же энергии в год,
сколько полтора-три с половиной Сан-Франциско.
Немногие места на планете могут генерировать и поставлять
столько энергии в одно место, как центры обработки данных. Де­
велоперы по всему миру сотрудничают с коммунальными компа­
ниями, чтобы построить больше электростанций и расширить воз­
можности. В США после десятилетия стагнации спроса на электро­
энергию анализ Goldman Sachs показал, что значительное увеличе­
ние числа центров обработки данных приведет к беспрецедентно­
му росту потребления электроэнергии. Коммунальные компании
откладывают вывод из эксплуатации газовых и угольных станций
и переход на возобновляемые источники энергии. Microsoft даже
возобновила работу Three Mile Island, атомной станции в Пен­
сильвании, на которой в конце 1970-х годов произошел частичный
распад. По оценкам, к 2030 году центры обработки данных будут
потреблять 8 % электроэнергии в стране по сравнению с 3 % в 2022
году. В глобальном масштабе вычисления с использованием искус­
ственного интеллекта могут превзойти по энергопотреблению Ин­
дию - третьего по величине потребителя электроэнергии в мире.
Меrа-rипермасштабы привели к значительному воздействию
на окружающую среду. Однако компании все чаще скрывают эти

292


Цифровая диктатура начинается

последствия. Следуя исследованиям Эммы Струбелл и работе Ге­
бру в «Стохастических попугаях», технологические гиганты скры­
вают все больше технической информации о своих моделях, что
затрудняет оценку их углеродного следа. Одновременно эти ком­
пании активизируют свои усилия по воздействию на обществен­
ность и политиков с помощью контраргументов: Центры обра­
ботки данных станут более эффективными, генеративный ИИ бу­
дет стимулировать климатические инновации, а AGI в конечном
итоге решит проблему изменения климата.
Если последнее утверждение невозможно доказать, то пер­
вые два вводят в заблуждение, считает Саша Лучиони, исследо­
ватель и руководитель отдела климата в компании Hugging Face,
занимающейся разработкой ИИ с открытым исходным кодом.
Второе утверждение особенно вредно. Некоммерческая инициа­
тива Climate Change AI перечислила множество технологий ИИ,
которые могут ускорить работу по обеспечению устойчивости, но
они редко являются генеративными технологиями ИИ. Лучиони,
один из основателей инициативы, подчеркивает, что для клима­
тических целей необходимы модели контролируемого обучения,
модели обнаружения аномалий или статистические модели вре­
менных рядов. Эти модели представляют собой старые поколения
технологий ИИ, в основном инструменты машинного обучения,
которые компактны, энергоэффективны и могут работать даже на
мощном ноутбуке. «Генеративный ИИ потребляет много энергии
и имеет значительный углеродный след при минимальной пользе
для окружающей среды», - объясняет она.
Лучиони упоминает, что ее прежние коллеги из закрытых ком­
паний больше не могут быть соавторами ее работ о влиянии ИИ
на окружающую среду. Вместо этого она сотрудничает с внеш­
ними партнерами, такими как Струбелл, чьи исследования изна­
чально вдохновили ее. В совместной работе с Ясином Жернитом
из Hugging Face они подсчитали углеродный след генеративных

293


Эндрю Слоун

Нейросети лжи

моделей ИИ с открытым исходным кодом для сравнения с рабо­
той закрытых компаний. Результаты показали, что создание одной
тысячи текстов потребляет столько же энергии, сколько четы­
рехкратная зарядка обычного смартфона. Аналогично, создание
одной тысячи изображений потребляло энергию, эквивалентную
242 зарядкам смартфона, то есть каждое сгенерированное ИИ
изображение могло потреблять 25 % энергии смартфона. Рабо­
та Лучиони и Струбелла - редкое явление, в котором приводятся
измеримые данные об углеродном следе генеративных моделей
ИИ. Несмотря на трудности, Лучиони попытался связаться с бо­
лее чем пятью сотнями авторов недавних работ по машинному
обучению для получения базовой информации об обучении, но
получил минимум ответов, причем многие из них сослались на
конфиденциальность.
Несмотря на то что гипермасштабируемые компании публично
подчеркивают экологичность своей вычислительной инфраструк­
туры, руководители Microsoft в частном порядке признают, что для
к р у г л о с у т о ч н о й работы центров обработки данных недостаточно
полагаться только на периодически возобновляемые источники
энергии. Чтобы обеспечить бесперебойную работу, Google, Amazon
и Microsoft строят свои кампусы в трех экземплярах, обеспечивая
резервные мощности на случай сбоев. Во время урагана «Ирма» во
Флориде и «Харви» в Техасе, коцда миллионы людей столкнулись
с отключением электричества, больницы эвакуировали пациентов,
а дома и предприятия получили повреждения, центры обработки
данных в этих регионах продолжали бесперебойно работать. Более
т о г о , один из центров обработки данных разместил семьи своих со­
трудников на время стихийного бедствия.
Земля и энершя, необходимые для мегакампусов, - лишь две
части глобальной цепочки поставок для расширения центров об­
работки данных. Кроме того, большое количество минералов, та­
ких как медь и литий, необходимо для создания аппаратного обе­

294


Цифровая диктатура начинается

спечения, такого как компьютеры, кабели, линии электропередач,
батареи и резервные генераторы, а также значительное количе­
ство чистой питьевой воды, необходимой для охлаждения серве­
ров. По оценкам исследователей из Калифорнийского универси­
тета в Риверсайде, растущий спрос на ИИ может привести к тому,
что к 2027 году во всем мире ежегодно будет расходоваться от.1,1
до 1,7 триллиона галлонов пресной воды, что эквивалентно поло­
вине годового потребления воды в Великобритании. Последствия
этого будут разными: согласно одному из исследований, в США
20 % центров обработки данных уже использовали воду из водос­
борных бассейнов, находящихся под угрозой, из-за засухи или
других проблем еще до бума ИИ. В таких странах, как Чили, уяз­
вимые сообщества часто больше всего страдают от последствий
стремительного роста экономики добычи.
По мере того, как сообщества наблюдают, как центры обра­
ботки данных влияют на их жизнь, многие сопротивляются их
неограниченному росту. Разработчики дата-центров стали более
хитрыми, используя такие тактики, как тайная работа через под­
ставные компании, пожертвования на общественные программы,
чтобы уменьшить сопротивление, и обещания устойчивости го­
родам, от которых они отказываются после начала реализации
проектов. В штате Вирджиния жители, протестующие против
строительства крупных центров обработки данных, с удивлени­
ем обнаружили электронное письмо от адвоката застройщика с
предложением установить за ними слежку. Адвокат предложил
иметь информаторов в группе.
С того момента, как OpenAI взяла курс на масштабирование,
они стремились обеспечить огромную вычислительную инфра­
структуру. В 2019 году Брокман заявил: «В искусственном интел­
лекте наибольшую выгоду получает тот, у кого самый большой
компьютер». Совместно с Microsoft Альтман разработал план по
удовлетворению растущей потребности OpenAI в вычислитель­

295


Нейросети лжи

Эндрю Слоун

ных мощностях. Сотрудничество предполагало разработку и пре­
доставление для исследований многочисленных суперкомпьюте­
ров, оснащенных чипами Nvidia для обучения моделей ИИ. Кроме
т о г о , Microsoft должна была построить серию все более мощных
суперкомпьютеров для обучения каждог о н о в о г о поколения мо­
делей OpenAI.
Альтман назвал серию суперкомпьютеров «фазами». Он по­
казал сотрудникам слайд, на котором сравнивались размеры ка­
ждой фазы, причем Фаза 5 была значительно больше остальных.
Суперкомпьютер, использованный OpenAI для обучения GPT-3,
был Фазой 1, расположенной в Западном Де-Мойне, штат Айова.
Оборудованный десятью тысячами V l00, Microsoft ввела ero в экс­
плуатацию в 2012 г о д у . Компания установила хорошие отношения
с г о р о д с к и м и властями, выплачивая значительные налош, что п о ­
м о г л о улучшить общественную инфраструктуру города. За более
чем десять лет Microsoft инвестировала около 2,5 миллионов дол­
ларов в программы местного сообщества, в основном некоммерче­
ские организации. Суперкомпьютер первой фазы получил кодовое
название Odyssey от Microsoft и Owl от OpenAI. У OpenAI была
традиция называть вычислительные кластеры каждого исследова­
тельского подразделения в алфавитном порядке в честь животных.
Когда буквы заканчивались, они переходили к названию в честь пе­
риодических элементов на основе атомного номера.
Этап 2 проходил в Айове и использовался для обучения GPT-4.
Он начался с восемнадцати тысяч A l00, упомянутых в дорожной
карте исследований 2021 года, и в конечном итоге увеличила до
двадцати пяти тысяч во время обучения модели. Microsoft назва­
ла Фазу 2 Telemachus, в честь сына Одиссея в греческой мифоло­
гии, а OpenAI - Raven.
Компания Phase 3 переехала в Аризону из-за доступной земли,
налоговых льгот и близости к Калифорнии, что делает ее одним
из лучших вариантов для создания центров обработки данных

296


Цифровая диктатура начинается

для облачных провайдеров. Microsoft, установив положитель­
ные отношения с двумя небольшими городами вблизи Финикса,
приобрела три земельных участка в 2018 и 2019 годах. Они так­
же поддерживали общественные организации для решения лю­
бых проблем жителей. Общая площадь этих участков составила
почти 600 акров, что эквивалентно более 450 футбольным полям.
В 2024 году Microsoft расширит эту территорию, добавив еще 283
акра. На каждом участке будет расположен новый центр обработ­
ки данных, обслуживающий клиентов Azure и OpenAI в облачном
регионе «Запад США З».
Третья фаза, получившая кодовое название Inglewood в
Microsoft и Whale в OpenAI, обойдется в несколько миллиардов
долларов и будет включать в себя сотни тысяч процессоров Nvidia
H l00, следующего поколения после Al0O. OpenAI намеревалась
использовать этот этап для обучения тех, кто, по их мнению, бу­
дет называться GPT-4.5 и GPT-5. Альтман, планирующий чет­
вертую фазу в Висконсине, предполагал, что затраты составят 10
миллиардов долларов при использовании новейших процессоров
Nvidia В100, следующего поколения после Hl00. Эта сумма была
значительной по сравнению со стоимостью самых дорогих гипермасштабных центров обработки данных в то время - от 1 до
2 миллиардов долларов. Альтман даже упоминал о возможности
создания суперкомпьютера стоимостью 100 миллиардов долла­
ров для Фазы 5. Однако после успеха ChatGPT он скорректировал
свои ожидания. Из-за высокого спроса на чипы для обслуживания
ChatGPT Microsoft столкнулась с проблемами в приобретении
достаточного количества чипов для завершения третьей фазы
в срок. Whale был разделен на три отдельных кластера - Beluga,
Narwhal и Orca - с планами закончить строительство к 2024 году.
Никто в Microsoft и OpenAI не знал, будет ли Фаза 5 техниче­
ски осуществима. По данным The Information, для строительства
объекта стоимостью 100 миллиардов долларов в их проектных

297


Эндрю Слоун

Нейросети лжи

планах может потребоваться до 5 ООО мегаватт, что почти равно
средним потребностям Нью-Йорка в электроэнергии. Хотя с фи­
нансовой точки зрения план не казался разумным, главной про­
блемой была энергия, а не деньги. Один из сотрудников OpenAI
сказал: «Мы столкнулись с нехваткой земли и энергии». Обе ком­
пании признали, что пятая фаза потребует инноваций. Возможно,
им придется разделить суперкомпьютер на несколько площадок,
чтобы управлять потребностями в энергии и найти способы об­
учения модели ИИ в разных местах. Или же, как иногда предпо­
лагает Альтман, проблема может решиться сама собой благодаря
прорыву в ядерном синтезе.
Временами он сообщал сотрудникам OpenAI оптимистич­
ные новости о Helion Energy, компании, занимающейся ядерным
синтезом, в которую он вложил значительные личные средства.
Microsoft уже согласилась покупать энергию у Helion, как только
заработает станция мощностью 50 мегаватт. Позже Wall Street
Journal сообщила, что OpenAI и Helion обсуждали сделку, от кото­
рой Альтман воздержался.
Альтман и другие руководители никогда не обсуждали влия­
ние дата-центров на окружающую среду на общекорпоративных
совещаниях. В то время как OpenAI обучала GPT-4 в Айове, штат
переживал двухлетнюю засуху. Позже агентство Associated Press
выяснило, что всего за один месяц обучения модели дата-центры
Microsoft использовали около 11,5 миллионов галлонов, что со­
ставляло 6 % всей воды в округе. GPT-4 проходила там обучение
в течение трех месяцев. Представитель Microsoft упомянул о том,
что цель компании - повысить эффективность использования
воды на 40 % по сравнению с базовым уровнем 2022 года и к 2030
году восполнять больше воды, чем потребляется во всем мире,
особенно в регионах, испытывающих дефицит воды.
Аризона также переживает серьезный водный кризис. В 2022
году, когда Microsoft готовилась к Фазе 3, исследование в журнале

298


Цифровая диктатура начинается

Nature Climate Change показало, что юго-запад США пережива­
ет самую сильную засуху за более чем тысячу лет. Эта засуха, а
также неэффективное управление истощили реку Колорадо, ко­
торая снабжает пресной водой Аризону и шесть других штатов,
до опасно низкого уровня. Если не принять срочных мер, река
может перестать течь. Нехватка воды усугубляет энергетический
кризис, вызванный изменением климата: регион сталкивается с
экстремальными температурами и повышенным потреблением
кондиционеров. Регион зависит от гидроэнергии, вырабатывае­
мой плотиной Гувера и атомными станциями с водяным охлаж­
дением. В 2023 году в районе Финикса было побито несколько ре­
кордов жары и зафиксировано самое большое количество смер­
тей от жары, увеличившееся на 30 % по сравнению с 2022 годом
и составившее более шестисот человек. Том Бушацке, директор
Департамента водных ресурсов Аризоны, заявил, что все факторы
складываются в благоприятную сторону.
Альтман выразил свое нетерпение в марте 2024 года. Компания
Meta, отстающая в гонке генеративного ИИ, объявила об амбици­
озных планах по развертыванию 350 ООО H l00 в рамках расшире­
ния инфраструктуры для поддержки своих увеличенных инвести­
ций в генеративный ИИ. Это превысило возможности OpenAI по
использованию GPU. Альтман был недоволен медленными тем­
пами Microsoft, которые, по его мнению, препятствовали конку­
рентному преимуществу OpenAI.
Когда Соня Рамос была ребенком, она стала свидетелем не­
счастного случая, который определил ее жизнь. Она родилась в
семье шахтеров в Чили. Ее отец работал на американскую медную
компанию, и она росла среди детей других рабочих. В 1957 году
часть шахты Chuquicamata обрушилась, в результате чего погибло
несколько человек и было много раненых. Хотя ее отец не постра­
дал, она ярко вспоминает страдания, которые видела: семьи впа­

299


Эндрю Слоун

Нейросети лжи

ли в нищету дети умирали от голода. Спустя десятилетия, когда
рамос протестовала против горнодобывающей промышленности,
она стала одним из самых активных представителей коренных на­
родов Чили, подчеркивая ее социальный культурный и экологи­
ческий вред. О на запомнила уроки трагедии: для горнодобываю­
щей промышленности прибыль важнее людей. Она подчеркнула:
«Рабочего игнорируют». Жертвы не получили никакого призна­
ния, а их семьи - никакой компенсации. ° н а заключила: «В этом
месте нет человечности».
Чили - крупнейший в мире производитель меди, на долю ко­
торого приходится четверть мировых поставок. Добыча меди из­
менила не только землю, но и общество, которое от нее зависит.
Последствия этого очевидны в Чукикамате, крупнейшем в мире
медном руднике открытого типа, где взрывчатка постоянно углу­
бляет карьер. Вытесненная порода образует высоченные горы, по­
гребая под собой остатки заброшенного города. Добыча истощи­
ла водные ресурсы региона, необходимые для переработки меди.
Иностранная транснациональная корпорация однажды израсхо­
довала столько воды, что осушила целый бассейн в соседнем со­
лончаке, разрушив его экосистему.
Менее заметны следы мышьяка, оставленные промышлен­
ностью в воздухе и вода что повышает уровень заболеваемости
раком в северной части страны. Добыча полезных ископаемых
изменила жизнь коренных народов и привела к расколу между
общинами. Атакаменес, представляющие различные группы ко­
ренного населения региона, больше не могут обеспечивать себя
за счет сельского хозяйства или животноводства из-за истощения
земель. Это привело к глубокой нищете в их городах, росту пре­
ступности, депрессии, алкоголизму и правонарушениям. Им не
хватает еды, воды, медицинского обслуживания и образования,
несмотря на прибыль, которую приносит их земля другим. Мно­
гие вынуждены работать на индустрию, захватившую их землю, и

300


Цифровая диктатура начинается

получать медицинское обслуживание в спонсируемых ею клини­
ках. Былое единство между группами коренных народов уступило
место спорам из-за истощающихся ресурсов.
Литий был обнаружен в Чили в 1960-х годах американской
компанией, искавшей воду для добычи меди. Они обнаружили
высокую концентрацию лития в саларах, что ускорило истощение
экосистемы. Сейчас в Чили добывается около трети мирового
объема лития, в основном из Салар-де-Атакама. Процесс добычи
включает в себя закачивание рассола в бассейны для испарения и
кристаллизации лития. Раньше в Саларах водились розовые фла­
минго, которых атакамцы считали духовными. К сожалению, сей­
час фламинго исчезли, а на память о них остались только истории
и плюшевая игрушка для дочери одного из лидеров коренного на­
рода в общине Пейне.
За эти годы атакаменцы слышали множество историй, оправ­
дывающих всю эту добычу. В 2022 году, когда Европейский союз
разработал новую политику энергетического перехода и спрос на
литий резко возрос, компании и политики в Чили и по всему миру
превозносили важность горнодобывающей промышленности
страны для светлого будущего. Коренные общины, наблюдающие,
как их земли и сообщества разрываются на части, задаются вопро­
сом: Кому выгодно это так называемое светлое будущее? «М ест­
ные жители зачастую не в состоянии определять свое будущее
независимо от экономических и международных политических
влияний», - говорит Кристина Дорадор, микробиолог, живущая на
севере страны и изучающая ее разнообразное биоразнообразие.
Теперь те же самые нарративы перерабатываются с помощью
генеративного ИИ. Ускоренная добыча меди и лития для строи­
тельства мегакампусов, электростанций и тысяч миль линий элек­
тропередач рассматривается Кремниевой долиной как проклады­
вание пути к лучшему будущему. Блокирование этой добычи рас­
сматривается как препятствование существенному прогрессу че­

301


Нейросети лжи

Эндрю Слоун

ловечества. Коренные общины не выступают против добычи по­
лезных ископаемых как таковой. Рамос объясняет: «Наши предки
были шахтерами, которые первыми нашли медь». Проблема, по ее
словам, заключается в масштабах».
Масштабы этой отрасли доминируют на севере и в остальных
регионах Чили, что делает их сильно зависимыми от нее и препят­
ствует развитию других экономик. По словам Рамоса, это огра­
ничивает возможности страны и всего мира по поиску альтерна­
тивных путей развития без эксплуатации природных ресурсов.
Подобные масштабы также способствуют закреплению расист­
ских стереотипов в отношении коренных народов, которые и так
маргинализированы из-за того, как была разработана технология.
В Бразилии художественная выставка 2023 года, организованная
совместно с чилийским университетом, показала разительный
контраст между богатыми культурами коренных народов Латин­
ской Америки и неточным изображением их как примитивных и
технологически неспособных Midjourney и Stable Diffusion.
В последние годы атакаменцы усилили свое сопротивление,
вывешивая на своих домах черные флаги в знак протеста против
эксплуатации их земель. Они организовывали акции протеста,
блокируя дороги, по которым ездят автобусы и грузовики компа­
нии, направляющиеся на рудники. Они наняли адвокатов, чтобы
защитить свои законные права коренных народов в соответствии
с международным правом, которое гарантирует их культурный и
территориальный суверенитет. Из-за давления компании и пра­
вительство Чили были вынуждены начать с ними переговоры.
Основное требование коренного населения заключается в том,
чтобы правительство провело исследование состояния экосистем
пустыни Атакама, оценило потери воды и устранило любой не­
обратимый ущерб.
У Рамос также есть свой фонд, цель которого - продвижение и
проведение научных исследований природных богатств пустыни

302


Цифровая диктатура начинается

Атакама путем объединения исконных и неисконных элементов.
В экстремальных условиях пустыни обитают уникальные микроб­
ные сообщества, которые могут оказаться ценными для производ­
ства лекарств или новых источников энергии, не встречающихся
в других местах. Кроме того, пустыня уже много лет изучается
как аналог климата Марса. Рамос стремится продемонстрировать
важность сохранения своей родины через любые сделанные от­
крытия. Она ищет альтернативные идеи прогресса, ориентиро­
ванные на исцеление, устойчивость и регенерацию, противопо­
ставляя их рассказам о стремительном прогрессе, обусловленном
добычей полезных ископаемых.
Пока Рамос продолжает борьбу на севере страны, в Чили идет
другая битва - за поддержку правительством центров обработки
данных для технологической индустрии. Стремительное разви­
тие гипермасштабных центров заставило их искать новые земли
и мощности в новых регионах по всему миру.
В 2024 финансовом году Microsoft потратит более 55 мил­
лиардов долларов, почти четверть своей выручки, на то, что
SemiAnalysis назвал «крупнейшим строительством инфраструк­
туры в истории». Google в своем третьем квартальном отчете о
прибылях за 2024 год объявила, что намерена увеличить расходы
на центры обработки данных до 50 миллиардов долларов за год.
Мета прогнозировала, что завершит финансовый год с 40 милли­
ардами долларов на расширение центров обработки данных и ин­
фраструктуры, ожидая дальнейшего роста в следующем году.
Редким туманным днем в июне 2024 года Александра Арансибия направляет нашу машину в Киликуру, муниципалитет на
окраине Сантьяго, где она живет и работает членом совета. Она
везет нас к месту, которое, по ее мнению, является символом зна­
чительного разрыва во власти между американскими технологи­
ческими гигантами и ее общиной. Менее чем в тридцати минутах

303


Эндрю Слоун

Нейросети лжи

езды от очаровательных кварталов Сантьяго, наполненных кафе в
европейском стиле и веганскими ресторанами, мы видим дороги,
пришедшие в негодность из-за отсутствия ремонта, и кучи мусо­
ра, разбросанные вдоль них на незаконных свалках, контролируе­
мых местной мафией.
Миновав кладбище умерших домашних животных, мы попа­
даем на заброшенное пастбище с редким кустарником и несколь­
кими обглоданными деревьями. Обычно земля здесь сухая, как в
пустыне Атакама, но сегодня дождь превратил ее в грязь. В центре
фиолетовый знак приветствует посетителей в городском лесу Киликура - проекте, инициированном компанией Google в 2019 году,
чтобы отблагодарить сообщество за размещение своего центра
обработки данных. На знаке изображена диаграмма, иллюстри­
рующая преимущества «леса»: слева Квиликура изображена как
промышленный район с заводами, выбрасывающими парниковые
газы и загрязняющими воздух, а справа - лес, процветающий под
дождем, льющимся из облака с надписью «SMOG».
Google рекламирует лес на своем сайте и в РR-релизах. Когда
я прошу дать интервью о проектах Google в Чили, представитель
компании присылает мне информационные материалы. Она упо­
минает, что Google инициирует программы воздействия на со­
общество для каждого нового центра обработки данных, чтобы
поддержать местные проекты в области образования, устойчи­
вого развития, доступа в Интернет и здравоохранения. В проект
Quilicura Google вложила более 1,2 миллиона долларов. В мате­
риалах упоминается, что жители пользуются зеленым простран­
ством, но поблизости нет ни одного жителя. В районе нет домов и
он находится далеко от автобусных маршрутов. За пределами не­
большого участка, слишком маленького для дата-центра Google,
бродят несколько бродячих собак, лают и ищут мусор. Пресс-се­
кретарь отметил, что лес обновляется, чтобы улучшить условия
проживания.

304


Цифровая диктатура начинается

Аранчибиа криво улыбается, глядя на эту сцену. Он спрашива­
ет: «Чувствуете ли вы себя в Кремниевой долине?»
Арансибия поступила в колледж и открыла для себя Квиликуру
как место, где выбрасывают вещи. Ежедневно проезжая на работу,
она проходила через районы муниципалитета, заваленные мусо­
ром, которого раньше не замечала. Киликура, где она жила, был
не просто домом, а слаборазвитым городком рабочего класса, в
который ее родители переехали, когда она была еще маленькой.
Видя, как к нему относятся как к свалке, она загорелась желанием
восстановить его былую красоту.
Всего два десятилетия назад, когда Арансибия был ребенком,
Киликура была в основном сельской местностью с пастбищами
и болотами, богатой биоразнообразием, как пустыня Атакама.
Затем мусорная мафия разрешила жителям Сантьяго сваливать
отходы в Киликуре за определенную плату. Некоторые свалки су­
ществуют так давно, что их покрывает трава и сорняки, напоми­
нающие деформированные холмы. Позднее такие промышленные
предприятия, как пивоваренные компании и застройщики, захва­
тили больше земли и использовали воду из болот. Сегодня лишь
небольшие зеленые участки в этом муниципалитете площадью
двадцать два квадратных километра показывают, каким был Квиликура раньше.
На этом фоне в 2012 году компания Google приехала в Киликуру, чтобы открыть свой первый центр обработки данных в Латин­
ской Америке. Компания с гордостью демонстрирует центр обра­
ботки данных на своем сайте, подчеркивая его эффективность и
экологичность. Центр начал работать в январе 2015 года. Понача­
лу проект остался незамеченным в Киликуре, да и в более богатом
Сантьяго на Киликуру никто не обращал внимания. Местные жи­
тели, проезжая мимо дата-центра на автобусе по пути на работу,
принимали его за фабрику по производству пива или продуктов

305


Эндрю Слоун

Нейросети лжи

питания, полагая, что он предоставляет населению возможности
для трудоустройства.
Центр обработки данных Google, как и многие другие, не со­
здал много рабочих мест после своего строительства. В 2024 году
на доске объявлений Google было размещено объявление о вакан­
сии техника-механика - одной из немногих долгосрочных вакан­
сий - только на английском языке. В объявлении говорилось, что
Google будет рассматривать резюме только на английском язы­
ке. Активисты отмечают, что центр обработки данных не принес
много пользы местному населению. В близлежащих государствен­
ных школах до сих пор нет доступа в Интернет и соответствую­
щих устройств для учеников.
Появление дата-центра обозначило Киликуру и остальные
районы Сантьяго как привлекательное направление для экспан­
сии Кремниевой долины. В 2019 году компания Google объявила
о своих планах по строительству второго латиноамериканского
дата-центра в столичном регионе Сантьяго. Вслед за ней о своих
намерениях создать здесь свое присутствие заявили Microsoft и
Amazon. Чилийское правительство незамедлительно приняло их,
позиционируя страну как надежное и стабильное убежище для
прямых иностранных инвестиций в Латинской Америке, проти­
востоящее репутации региона с ненадежными правительствами
и социальной/экономической нестабильностью. В 2020 году пра­
вительство сделало еще один шаг, объявив о проекте строитель­
ства нового подводного кабеля, похожего на информационную
магистраль, который соединит Азиатско-Тихоокеанский регион
с Америкой напрямую через центральное побережье Чили, не­
далеко от Сантьяго. Эта инициатива направлена на превращение
Чили в глобальный центр цифровой инфраструктуры, а компания
Google поддерживает партнерство.
В июле 2019 года компания Google приступила к строительству
своего второго центра обработки данных в Чили в Серрильосе,

306


Цифровая диктатура начинается

муниципалитете рабочего класса недалеко от Сантьяго. Как и Киликура, Серрильос имеет историю запустения. С 1930-х по 1990­
е годы цементный завод загрязнял район опасным содержанием
асбеста, что привело к высоким уровням заболеваемости раком.
Несмотря на это, Серрильос - единственное место в Чили, где есть
общественное водоснабжение, обеспечивающее местной подзем­
ной водой близлежащие районы и даже другие регионы страны в
чрезвычайных ситуациях.
Это уникальное сочетание запустения и жизненно важного
источника воды привело к появлению в Чили групп экологиче­
ских активистов. Эти группы бдительно и яростно защищали
свои ресурсы. Когда компания Google представила в чилийское
агентство по охране окружающей среды отчет о разрешении на
строительство дата-центра, активисты MOSACAT внимательно
изучили 347-страничный документ. Google сообщила, что для
охлаждения серверов дата-центра планируется использовать
169 литров пресной воды в секунду. Это количество превышало
годовое потребление всего населения Серрильоса (около вось­
мидесяти восьми тысяч жителей). MOSACAT посчитала это
чрезмерным, особенно если учесть, что вода будет браться из
общественного источника Серрильоса во время национального
водного кризиса. В 2019 году Чили столкнулась с сильной мега­
засухой, подобной той, что была в Айове и Аризоне и продолжа­
лась в течение девяти лет.
Таня Родригес, член MOSACAT, протягивает мне 347-странич­
ную экологическую декларацию Google, напечатанную и скре­
пленную спиралью в синих пластиковых протекторах. Этот том
тяжело опускается мне на колени, символизируя то, как Кремни­
евая долина использует технические знания для поддержки цен­
трализованного принятия решений. Снизу торчат стикеры с над­
писью «Agua роtаЫе» (питьевая вода) на испанском языке, отме­

307


Эндрю Слоун

Нейросети лжи

чающие страницы о потреблении пресной воды для охлаждения
центра обработки данных.
Организация MOSACAT была основана в 2019 году, когда ак­
тивисты различных движений, выступающих за права женщин,
жилищные права, права трудящихся и экологические права, объ­
единились для создания коллектива. Они объединились во время
протеста против незаконного проекта по добыче полезных иско­
паемых. Активность группы привела к изгнанию шахтеров, за­
крытию проекта и объявлению территории заповедником. Вско­
ре после этого один из друзей группы, ныне член национального
конгресса Чили, сообщил им о проекте дата-центра Google и по­
советовал изучить предполагаемый расход воды.
Члены MOSACAT не являются технологами, но они читали
плотные диаграммы и сложную терминологию, делали подроб­
ные заметки и запоминали центры обработки данных и систе­
мы охлаждения, чтобы конкурировать с Google. Родригос задор­
но смеется, когда ее спрашивают, как им удалось разобраться во
всей этой информации. «Для этого потребовались все мы», - го­
ворит она, упоминая более десятка волонтеров MOSACAT, ко­
торые работают в свободные часы между работой и семейными
обязанностями.
В Чили проекты, нуждающиеся в воде, часто задерживаются в
утверждении. Однако проект Google был одобрен быстро, несмо­
тря на продолжающиеся кризисы с водой, связанные с засухой.
Изначально MOSACAT пыталась противостоять проекту через
местного партнера Google, чилийскую фирму Dataluna. Первая
встреча прошла неудачно, поскольку представители Dataluna, по­
хоже, не знали о проекте и утверждали, что он не будет использо­
вать пресную воду.
Оттуда MOSACAT отправился в местные органы власти, где
мэр и городской совет встречались с представителями Dataluna.
Они ошибочно полагали, что дата-центр нуждается в сточных во­

308


Цифровая диктатура начинается

дах только для охлаждения. После того как MOSACAT сообщил
им об этом, правительство, обеспокоенное, обратилось к Dataluna
за разъяснениями. После этого вопрос перешел из Dataluna в чи­
лийское подразделение Google и, в конечном итоге, в штаб-квар­
тиру Google в Маунтин-Вью, Калифорния.
,В октябре 2019 года компания Google направила в Серрильос
двух инженеров и юриста для проведения презентации в общи­
не. По их прибытии MOSACAT выставила знаки протеста вдоль
маршрута, по которому представители Google должны были до­
браться до места встречи. На встрече к MOSACAT присоедини­
лись еще шесть активистов и общественных групп из примерно
двух десятков присутствующих жителей. Инженеры Google, кото­
рых MOSACAT назвал гринго, были высокого роста и говорили
только по-английски. Они представили высокотехничную презен­
тацию, а юрист Google выступал в качестве переводчика. Во время
обсуждения члены МОСАКАТ, владеющие английским языком,
заметили, что юрист неправильно переводит их слова. В какой-то
момент Google предложил посадить городской лес, подобный
тому, что был в Киликуре, чтобы успокоить сообщество. Однако
этот жест не произвел впечатления на MOSACAT и другие груп­
пы, которые посчитали, что Google не была искренне заинтере­
сована в понимании потребностей сообщества. Член MOSACAT
Алехандра Салинас, также член совета Майпу, соседнего с Серрильосом муниципалитета, сказала: «Они приехали, чтобы запу­
гать нас. Они предлагают нам деревья, в то время как наша земля
высыхает».
Жители Серрильоса не требовали от Google деревьев или пар­
ка, поскольку в столичном районе Сантьяго уже есть парки. Они
хотели, чтобы Google уважала их землю, а не эксплуатировала их
воду и ресурсы. Местное население хотело участвовать в местных
проектах, а не игнорировать их. Салинас подчеркнул важность
совместного использования таких ресурсов, как медь и литий,

309


Эндрю Слоун

Нейросети лжи

но настаивал на защите жизненно важных водных ресурсов от
эксплуатации.
В то время Чили переживала затяжной период политических
волнений, известный как Estallido Social. Еженедельные протесты,
начавшиеся в октябре 2019 года, были вызваны такими пробле­
мами, как безработица, приватизация и неравенство, что приве­
ло к травмам и смертям. В конце 2019 года, когда в сообществах
проходили референдумы по реформированию местной и нацио­
нальной политики, MOSACAT воспользовалась референдумом в
Серрильосе, чтобы включить в него вопрос о строительстве ком­
панией Google водоемкого предприятия . Они информировали
сообщество о проекте, распространяя листовки, посещая дома и
вывешивая таблички по всему району.
В декабре 2019 года компания MOSACAT выиграла референ­
дум по вопросу строительства дата-центра, но он был отклонен
незначительным большинством голосов. В следующем году пра­
вительство вместе с MOSACAT подало иск против проекта в эко­
логический суд.
По словам представителей MOSACAT, во время встречи с
Google ее представители оказались более дружелюбными. Они
проявили большую готовность к переговорам, когда поняли, что
некоторые жители могут их понять. Джулиан Посада, доцент
Йельского университета, и Мерси Мутеми, адвокат Мофата Окиньи, подчеркнули, что страны Юга сталкиваются с риском, когда
противостоят компаниям Кремниевой долины. Всегда существует
вероятность того, что такие компании могут отозвать свои инве­
стиции. Поскольку проект затягивался, а потребность Google в
вычислительных мощностях росла, компания решила перенести
свой центр обработки данных из Чили в другую страну Латинской
Америки.
В Уругвае, небольшой стране с населением 3,4 миллиона чело­
век, национальная телекоммуникационная компания Antel управ­

310


Цифровая диктатура начинается

ляет тремя центрами обработки данных для поддержки интер­
нет- и сотовых услуг по всей стране. В совокупности эти центры
занимают площадь около пяти тысяч квадратных метров. Один из
них, занимающий менее тысячи квадратных метров, расположен
на типичной жилой улице в Монтевидео. Он выше и шире сосед­
них зданий, но хорошо вписывается в окружающую среду.
Центр обработки данных работает от двух отдельных линий
электропередач, расположенных по соседству. Тридцать процен­
тов площади занимают компьютеры, а 70 процентов - админи­
стративные помещения, электрические шкафы и механические
комнаты. Компьютеры выделяют тепло, но их можно охлаждать
воздухом. Они издают негромкий гул, едва заметный днем, но
досаждающий ночью, что вызвало жалобы двух соседних семей.
Управляющий центром обработки данных Хавьер Эчеверриа чув­
ствует себя неловко из-за этого и сотрудничает с местными ис­
следователями, чтобы уменьшить шум. Он уже внес изменения
в систему охлаждения, чтобы сделать ее более тихой. Такая бы­
страя реакция резко контрастирует с проблемами, с которыми
столкнулся MOSACAT, чтобы привлечь внимание американской
компании.
В тридцати минутах езды от города, за его пределами, прави­
тельство выделило большой участок земли для создания научно­
го парка под названием Parque de las Ciencias, функционирующего
как зона свободной торговли. Некоторые в шутку называют его
«зоной Америки», выражая горечь от того, что здесь работают в
основном американские компании, освобожденные от уплаты на­
логов. Парк напоминает Америку своими ухоженными газонами,
симметричной планировкой и грандиозным фонтаном в форме
солнечных часов, напоминающим Национальный молл в Вашинг­
тоне. На сайте парка представлена политически и экономически
стабильная страна с обширными земельными, энергетически­
ми и водными ресурсами. В 2021 году, вызванный повышенным

311


Эндрю Слоун

Нейросети лжи

интересом к масштабированию моделей искусственного интел­
лекта благодаря GPT-3, компания Google приобрела здесь двад­
цать девять гектаров земли, в пятьдесят восемь раз больше, чем
дата-центр Antel, для создания своего второго центра обработки
данных в Латинской Америке.
В то время Уругвай столкнулся с острой нехваткой воды из-за
разрушительной засухи, подобной засухе в Чили, Айове и Аризо­
не. Из-за засухи фермеры потеряли весь урожай, что привело к
сельскохозяйственным потерям на сумму более 1 миллиарда дол­
ларов. К лету 2023 года власти Монтевидео начали подмешивать
загрязненную соленую воду в городскую питьевую систему. Се­
мьи, включившие краны, обнаружили, что из них течет коричне­
ватая жидкость с неприятным запахом, сильно загрязненная хи­
микатами. Те, кто мог себе это позволить, покупали бутилированную воду для питья и принимали душ с открытыми окнами, чтобы
не вдыхать канцерогены. Те, кто не мог позволить себе бутилированную воду, по-прежнему пили из-под крана, что приводило к
болям в животе, кожной сыпи, ухудшению состояния здоровья и
увеличению числа выкидышей.
После тяжелой пандемии многие люди не могли позволить
себе бутилированную воду. В то время как Кремниевая долина
процветала, а Google и M icrosoft достигли рыночной капитали­
зации более 2 триллионов долларов благодаря удаленной работе
и облачным сервисам, в Уругвае значительно выросли нелегаль­
ные поселения. Местные столовые, называемые ollas, были вы­
нуждены отказывать голодным детям. Те, кто управлял оллами,
также боролись с бедностью. Фабиана, бойкая руководительни­
ца оллы в незаконном поселении, известная под ласковым на­
званием Reina Madre (Королева-мать), затихает, вспоминая си­
туацию. «Приходилось говорить: «У меня нет даже тарелки для
вашего ребенка... Это было ужасно», - говорит она. Несмотря на
нищенскую жизнь, включая работу в борделе в семь лет, чтобы

312


Цифровая диктатура начинается

выжить, она считает годы пандемии и засухи одними из самых
страшных на своей памяти.
Водный кризис в Уругвае вызван изменением климата и непра­
вильным управлением государством ресурсами пресной воды.
Более 80 % пресной воды в стране используется в таких отраслях,
как сельское хозяйство, выращивающее товарные культуры, в
частности сою, рис и деревья для производства бумаги. Эти про­
мышленные фермы, в основном управляемые транснациональны­
ми компаниями, наносят вред окружающей среде, истощая пита­
тельные вещества в почве, загрязняя водные потоки чрезмерным
количеством удобрений и способствуя высокому уровню раковых
заболеваний в стране.
Даниэль Пенья, исследователь социологии в Университете Ре­
спублики в Монтевидео, уже много лет изучает политику эколо­
гического экстрактивизма. Он связывает колониальную историю
Уругвая с этой проблемой. Пенья путешествует по стране на по­
битом пикапе, опрашивая фермеров и жителей бедных кварталов,
из первых рук наблюдая, как на них влияет промышленность. Как
и в Чили, иностранные транснациональные корпорации имеют
больше власти в политике, чем местные жители. Несмотря на за­
суху, промышленные предприятия продолжали беспрепятствен­
но использовать воду из главной реки, Рио Санта-Люсия, которая
также снабжает систему коммунального водоснабжения Монте­
видео. Два десятилетия назад, после активной борьбы за охрану
окружающей среды, Уругвай стал первой страной, признавшей в
своей конституции право человека на воду. По иронии судьбы, во
время дефицита питьевая вода подверглась более серьезным со­
кращениям, чем промышленная.
Когда появилась компания Google, Пенья был начеку. Прове­
ряя на сайте уругвайского министерства охраны окружающей
среды информацию о крупных промышленных проектах, он об­
наружил предложение компании по созданию центра обработки

313


Эндрю Слоун

Нейросети лжи

данных . Пена читал о том, что гипермасштабируемые комплексы
используют питьевую воду даже во время засухи, а такие сообще­
ства, как MOSACAT, сопротивляются подобным проектам. Одна­
ко данные о количестве воды в деталях проекта были помечены
как конфиденциальные. Несмотря на то, что министерство много
раз успешно подавало запрос на предоставление публичной ин­
формации, оно отказывалось раскрывать цифры, ссылаясь на то,
что это служебная информация. Пенья поставил под сомнение их
секретность и опасался, что это повлияет на другие облачные ком­
пании, рассматривающие Уругвай для расширения. Он сослался
на статью о воде в конституции и с помощью друга-юриста, рабо­
тающего на общественных началах, подал на министерство в суд.
В марте 2023 года, четыре месяца спустя, Пенья неожиданно
выиграл дело. Министерство охраны окружающей среды сооб­
щило, что центр обработки данных Google планирует ежедневно
использовать два миллиона галлонов воды из питьевого водо­
снабжения, что равняется ежедневному потреблению воды пя­
тьюдесятью пятью тысячами человек. Вскоре после этого боль­
шая часть жителей Монтевидео начала получать соленую воду из
своих кранов. Разоблачения вызвали бурную реакцию. Тысячи
уругвайцев выступили с протестами против компании Google и
других предприятий, по вине которых правительство растрачива­
ет пресноводные ресурсы страны. Во время моего визита в июне
2024 года на городских стенах и придорожных ограждениях все
еще можно было увидеть лозунги сопротивления. Один из них
гласил: «Это не засуха, это грабеж».
Пена относится к центрам обработки данных примерно так же,
как Рамос к горнодобывающей промышленности. Проблема за­
ключается не в самой инфраструктуре, а в масштабах, в которых
Кремниевая долина пытается ее развивать. Этот масштаб заста­
вил такие компании, как Google и Microsoft, расширяться в Чили
и Уругвае, несмотря на то что эти страны испытывают дефицит

314


Цифровая диктатура начинается

ресурсов. Из-за такого масштаба этим компаниям требуется в
пятьдесят восемь раз больше земли, чем Antel, и они работают,
практически не отчитываясь перед местным населением. Пенья
называет их экстракционистскими проектами, которые исполь­
зуют дешевую воду, землю без налогов и низкооплачиваемые ра­
бочие места на Глобальном Юге, не принося пользы стране и не
улучшая доступ в Интернет.
В конце 2023 года компания Google без лишнего шума обно­
вила планируемый центр обработки данных в Уругвае, внедрив
в него систему безводного охлаждения и объявив о сокращении
его размеров на одну треть. Пена продолжает выражать беспокой­
ство, поскольку правительство держит в секрете предполагаемое
энергопотребление нового предложения. Пена вместе с более чем
четырьмя сотнями сторонников направил в министерство пети­
цию с просьбой провести комплексную оценку экологического
и социального воздействия всей цепочки поставок центров об­
работки данных. Это включает в себя происхождение полезных
ископаемых для производства оборудования, условия труда, вы­
бросы углекислого газа и методы утилизации электронных отхо­
дов для предотвращения загрязнения окружающей среды. Хотя
большинство этих последствий не затронут Уругвай напрямую,
Пенья подчеркивает солидарность с другими странами Глобаль­
ного Юга, сталкивающимися с подобными последствиями из-за
своего положения в глобальной цепочке поставок.
В 2024 году чилийский суд по охране окружающей среды запре­
тил Google строить в Сантьяго дата-центр, потребляющий воду.
Представитель Google Chile заявил о приверженности компании
стране и Латинской Америке и намерении начать процесс получе­
ния разрешения на строительство дата-центра с воздушным ох­
лаждением в Серрильосе, когда это будет необходимо. Несмотря
на это, другие гипермасштабируемые компании не отказываются
от экспансии в Латинскую Америку. Microsoft выбрала место для

315


Эндрю Слоун

Нейросети лжи

своего дата-центра в Чили в 2022 году, после второй инвестиции в
OpenAI, расположенного в родном городе Аранчибии, Киликуре.
Как разработчики центров обработки данных, Microsoft была
поздним цветком по сравнению с Google. До того как Microsoft
инвестировала в OpenAI, Google уже построила множество объ­
ектов по всему миру. Однако из-за возросшего спроса на вычис­
лительную инфраструктуру для реализации своих целей в области
искусственного интеллекта Microsoft начала следовать стратегии
Google и расширяться в тех же регионах.
Чили, в которую пришла Microsoft, отличалась от Чили, ко­
торая приняла Google. К 2022 году прошло уже более двух лет
после Estallido Social, которая оказала значительное влияние на
политику страны. После многомесячных протестов в Чили был
проведен эксперимент по переписыванию конституции при ак­
тивном участии простых граждан с целью заменить конституцию
времен диктатуры Пиночета. Хотя новые проекты конституции
не прошли из-за двух отдельных процессов, в результате которых
были подготовлены партизанские документы, не получившие ши­
рокой поддержки, они породили новую надежду на демократию
среди молодежи и семей рабочего класса. Всплеск левых идей и
поддержки привел к избранию молодого левого президента, Га­
бриэля Борика Фонта, которому было всего тридцать пять лет.
В своей победной речи Борик повторил лозунг протеста, крити­
кующий наследие «Чикагских мальчиков» времен правления Пи­
ночета: «Если Чили была местом рождения неолиберализма, то
она же станет и его концом».
Борик, который приступил к исполнению своих обязанностей
в марте 2022 года, когда-то был студентом-протестантом. Его
действия вдохновили молодых людей по всей стране применить
уроки протестов для создания новых прогрессивных групп акти­
вистов. Эти группы интегрировались в местные сообщества, про­
водя регулярные встречи, на которых обсуждалось будущее Чили.

316


Цифровая диктатура начинается

В этот период Арансибия стал одним из основателей группы
активистов вместе с Родриго Вальехосом, соотечественником,
проживающим в Киликуре. Они познакомились во время соци­
альных потрясений и объединились из-за общей страсти к защи­
те окружающей среды. Вместе они создали группу под названием
«Социально-экологическое сопротивление Киликуры», подчер­
кивающую взаимосвязь социальных и экологических проблем,
что является общепринятой концепцией в Латинской Америке.
После прибытия Microsoft в Киликуру Вальехос и Арансибия
последовали примеру MOSACAT и Даниэля Пены, Изучив мате­
риалы, предоставленные Microsoft, и проведя тщательное иссле­
дование проекта. Вальехос, студент юридического факультета
Университета Диего Порталеса, посвящал свои ночи изучению
технической документации и изучению центров обработки дан­
ных наряду с обычной учебной работой.
По прогнозам, Microsoft требуется гораздо меньше воды, чем
Google в Серрильосе. Несмотря на это, Вальехос был обеспокоен
ухудшением ситуации с засухой в Чили, которая, как ожидается,
продлится до 2040 года. Водно-болотные угодья Киликуры сильно
пострадали от опустынивания и промышленной экспансии. Ком­
пания Microsoft на своем сайте рекламировала передовые системы
охлаждения для центров обработки данных, утверждая, что они мо­
гут работать без воды. Учитывая эту технологию, почему Microsoft
не внедрила безводные центры обработки данных в Киликуре?
«Поразительно, что Microsoft, уважаемая компания, публично
пропагандирует экологическую чистоту, но не может соответ­
ствовать мировым стандартам инноваций в такой стране третьего
мира, как Чили», - пишет Вальехос в своей статье.
Позже Microsoft пояснила, что рекламируемые ею инновации
все еще находятся в разработке и проходят пилотное тестирова­
ние в США. Валлехос задался вопросом: «Почему они обещают
такие вещи на своем сайте?»

317


Эндрю Слоун

Нейросети лжи

Вальехос привлек внимание местных и международных иссле­
дователей, в том числе Марины Отеро Верзиер, научного руко­
водителя Nieuwe Instituut, голландского института архитектуры,
дизайна и цифровой культуры, и Серены Дамбросио и Николаса
Диаса Бехарано, исследователей FAIR, аналитического центра,
возглавляемого Мартином Тирони Радо. Отеро был тронут стра­
стью и изнеможением Вальехоса и Арансибии. Они изнуряли себя
чтением длинных технических документов Microsoft, написанием
критическихстатей и постоянными акциями протеста, но так и не
смогли добиться ответа от компании или правительства. Отеро
размышляла над тем, как помочь им, и думала, как организовать
встречу с нужными людьми для переговоров.
У Отеро было преимущество перед Валлехосом - связи с веду­
щими университетами, такими как Гарвард и Колумбия, которые
могли привлечь внимание Microsoft и правительства. Она начала
всеобъемлющую кампанию и настолько увлеклась ею, что оста­
вила свою работу. Отеро выступала на крупных конференциях с
докладами о влиянии дата-центров на окружающую среду и борь­
бе Resistencia против них. Она наладила отношения с чилийским
Министерством науки, технологий, знаний и инноваций, а также
с представителями Microsoft и Google. Кроме того, она связала
Вальехоса и Арансибию с другими мировыми исследователями,
чтобы привлечь к ним внимание.
Вместе с Дамброзио и Диасом Отеро также работал над спеку­
лятивным проектом. Все они имели архитектурное образование
и изучали инфраструктуру современных цифровых технологий в
окружающей среде. Они рассматривали дата-центры как архитек­
турные сооружения и переосмысливали их эстетику, роль в обще­
стве и связь с окружающей средой.
Во время своих путешествий Диас любил посещать националь­
ные библиотеки, которые призваны сохранять память и знания
страны. Он понял, что центры обработки данных тоже можно рас­

318


Цифровая диктатура начинается

сматривать как библиотеки, хранящие память и знания. Их можно
спроектировать так, чтобы они были привлекательными, а не не­
привлекательными и эксплуататорскими.
Это значительно отличалось от подходов Microsoft и Google к
благотворительности, например, от про^амм Google по влиянию
на сообщества. Диас раскритиковал их разобщенные инициативы.
Вместе с Вальехосом и Арансибией исследователи организовали
четырнадцатидневный семинар для студентов-архитекторов из
Сантьяго. Их целью было переосмыслить дизайн центра обработ­
ки данных для Киликуры.
Студенты создали впечатляющие макеты. Одна группа пред­
ложила хранить воду, используемую центром обработки данных,
в больших бассейнах для общественного пользования. Другая
группа предложила дизайн «жидкой территории данных», соче­
тающий инфраструктуру данных с водно-болотными угодьями,
чтобы уменьшить негативное воздействие. Строения центра об­
работки данных будут служить пешеходными дорожками, по ко­
торым жители смогут исследовать водно-болотные угодья . Пи­
томники растений и гнездовья животных будут интегрированы в
серверные комнаты для повышения биологического разнообра­
зия. Центр будет очищать загрязненную воду из водно-болотных
угодий для повторного использования. Компьютеры будут сле­
дить за состоянием водно-болотных угодий, чтобы помочь в их
восстановлении. Диас говорит о том, что нужно не просто решить
проблему, а создать новые отношения между данными и водой.
В конце семинара студенты представили свои идеи жителям и
другим членам сообщества. Отеро описал это как невероятный
разговор, подчеркивающий обширные знания, которыми облада­
ет сообщество, и ценный вклад, который они внесли.
Через три года после начала четырехлетнего срока полномочий
Борику приходится добиваться быстрых экономических успехов,

319


Эндрю Слоун

Нейросети лжи

особенно как молодому президенту левого толка. К ним относятся
расширение горнодобывающей промышленности и контроль за
появлением двадцати восьми новых центров обработки данных.
Когда Борик представил план национальной стратегии развития
центров обработки данных, Вальехос прислал мне видеозапись
пресс-конференции вместе с эмодзи: лицо со спиралевидными
глазами, означающее замешательство.
На севере Чили и в Сантьяго коалиция активистов вместе с
исследователями из отечественных и зарубежных источников до­
билась значительных успехов. Министерство науки, отвечающее
за проект центра обработки данных, создало комитет активистов
для проведения регулярных консультаций в процессе разработ­
ки проекта. Вальехос, Арансибия и члены MOSACAT были при­
глашены в этот комитет. Министерство науки также курирует
законопроект об ИИ, который описывает подход Чили к разра­
ботке, применению и регулированию ИИ. Ранее министерство
рассматривало ИИ исключительно с положительной стороны, но
теперь признает социальные и экологические последствия этой
технологии.
Чили, как и многие страны Глобального Юга, научилась не
полагаться на Глобальный Север в определении путей развития
цифровых технологий. Айсен Этчеверри, глава министерства,
подчеркивает, что технологии отражают культурный и историче­
ский контекст. Если Чили была исключена из процесса формиро­
вания глобального интернета, то теперь у нее есть возможность
влиять на ИИ в соответствии со своими условиями.
Тирони развивает эту мысль, утверждая, что современная ин­
дустрия ИИ глубоко укоренена в колониальной идеологии. Она
навязывает миру свое мировоззрение и технологии, определяя,
что такое ИИ и что такое хороший ИИ. У Чили есть потенциал
противостоять этому навязыванию и стать лидером. Имея исто­
рию добывающей промышленности, эта страна не понаслышке

320


Цифровая диктатура начинается

знает о последствиях эксплуатации и уничтожения своей земли во
имя прогресса. Опираясь на этот опыт, Чили может разработать
новые, деколониальные идеи об ИИ.
«На планетарном рынке ИИ наша страна играет особую роль,
предоставляя материалы для разработки этой технологии», - го­
ворит он. «Многие компании пытаются извлечь у нас много мате­
риала для создания ИИ».
«Поэтому нам нужно думать с этой геополитической и земной
позиции. Мы можем рассмотреть другой подход к соединению
технологических инноваций с Землей».
Это благородное стремление, и против него действуют мощ­
ные силы.

Глава 13
Два пророка
В мае 2023 года Альтман прибыл в Вашингтон, чтобы дать по­
казания Конгрессу. Его выступление было замечательным. Он
подчеркнул потенциал AGI в решении проблем изменения клима­
та и лечения рака, представил убедительные доказательства того,
как технологии OpenAI могут способствовать созданию новых
рабочих мест, избежал проблем с авторскими правами и прозрач­
ностью учебных данных, а также искренне выступил за регули­
рование. Он предложил регулирование с одобрения OpenAI, пре­
достерегая от замедления инноваций, ссылаясь на достижения
Китая.
Сенаторы восхищались проворной риторикой Альтмана и
доверием, которое он завоевывал. В ходе важного разговора он
предложил три политические рекомендации, чтобы сместить ак­
цент на регулирование будущих систем искусственного интел­

321


Эндрю Слоун

Нейросети лжи

лекта и экстремальных рисков. Рекомендации были следующими:
1) создать агентство, которое будет следить за лицензированием
передовых моделей; 2) установить стандарты безопасности ИИ
для оценки «опасных» возможностей; З) обязать независимые
аудиты для обеспечения соответствия этим стандартам. Альтман
также пояснил, что при необходимости пороговые значения воз­
можностей могут быть определены с помощью вычислительных
порогов. Он также упомянул, что «опасные возможности» могут
включать в себя способность модели манипулировать, убеждать и
создавать рецепты новых биологических агентов.
Сенатор от штата Луизиана Джон Кеннеди спросил: «Вы будете
квалифицированы, чтобы управлять этими правилами, если мы
их введем?».
«Я люблю свою нынешнюю работу», - сказал Альтман под смех.
«Есть ли среди вас люди, которые подойдут для этого?» спро­
сил Кеннеди.
«Мы с радостью вышлем вам рекомендации».
«Хорошо. Вы много зарабатываете?»
«Я зарабатываю... нет. Мне платят достаточно для медицин­
ской страховки. У меня нет доли в OpenAI».
Сидя рядом с Гэри Маркусом, Олтман покорил одного из своих
самых ярых критиков. Маркус сказал: «Позвольте мне добавить,
что я сижу рядом с Сэмом, ближе, чем когда-либо прежде, и его
искренность очень заметна вживую, в отличие от телевизора».
Позже Маркус отказался от своего одобрения, поняв, что его мог­
ли обмануть.
Команда Альтмана, занимавшаяся подготовкой, сочла это со­
бытие ошеломляющим успехом.
Слушания ознаменовали конец долгой кампании. После за­
пуска ChatGPT многие люди в Вашингтоне искали встречи с
OpenAI. Небольшая команда Анны Маканжу, занимающаяся по­
литикой и ранее неизвестная, внезапно получила множество за­

322


Цифровая диктатура начинается

просов. В течение нескольких месяцев, с Альтманом или без него,
они обедали, показывали демонстрации, отвечали на вопросы и
представляли законодательное предложение, о котором Альтман
упоминал в своих показаниях различным политикам. Они встре­
чались с сенаторами, представителями Палаты представителей,
сотрудниками, членами кабинета, приглашенными дипломатами,
руководителями агентств и вице-президентом Камалой Харрис с
утра до вечера, практически без перерыва.
К началу июня Альтман лично встречался не менее чем с сот­
ней американских законодателей. Некоторые из них с гордостью
упоминали об этих частных беседах во время слушаний, как сооб­
щает The New York Times.
В день выступления Альтмана небольшая группа голливуд­
ских концепт-художников, специализирующихся на разработке
персонажей, реквизита и визуальных элементов для фильмов,
встречалась с представителями конгресса. Они собрали средства
в Интернете на проезд и проживание, но столкнулись с угроза­
ми троллей за выступление против индустрии ИИ. Голливудские
сценаристы бастуют, требуя усиления защиты от ИИ, и вскоре к
ним присоединятся актеры. Художники также планировали об­
судить негативное влияние генеративного ИИ на их профессию.
Разработчики генеративного ИИ используют работы художников
без разрешения для создания прибыльных продуктов, заменяя
многие рабочие места среднего класса. Карла Ортис, концепт-ху­
дожник из фильма Marvel Studios «Доктор Стрэндж», входящая в
группу, подала иск против компаний, занимающихся разработкой
генеративного ИИ.
Когда они прибыли в Вашингтон, некоторые из их встреч были
перенесены из-за показаний Альтмана, что нарушило их распи­
сание. Они бродили по коридорам за пределами зала слушаний.
На следующий день они снова боролись за внимание. Альтман
обедал на эксклюзивном ужине с шестьюдесятью членами Пала­

323


Эндрю Слоун

Нейросети лжи

ты представителей в Капитолии, наслаждаясь хорошо приготов­
ленным шведским столом с жареным цыпленком. Тем временем
художники устроили интерактивный коктейль-час, пытаясь при­
влечь сотрудников вином и Chick-fil-A - лучшим, что они могли
себе позволить.
Это была небольшая, мрачновато-комичная иллюстрация того,
кто обладает властью и влиянием в разговоре о политике ИИ, а
кто нет.
Нарратив, который Альтман использовал в OpenAI, чтобы
оправдать сокрытие исследований и быстрое продвижение, те­
перь используется для влияния на регулирование ИИ в США.
Цель этого - избежать ответственности OpenAI и укрепить его
монополию. Тактика Кремниевой долины «А как же Китай?>> эф­
фективно препятствовала регулированию. Опасения Вашингтона
по поводу Китая, усиленные успехом TikTok, сделали эту тактику
еще более действенной.
Этот страх проявился в Министерстве торговли, которое воз­
главило усилия правительства США, направленные на то, чтобы
помешать прогрессу Китая в области ИИ. 7 октября 2022 года Ми­
нистерство торговли выпустило директиву, призванную воспре­
пятствовать военным достижениям Китая в области ИИ. С помо­
щью экспортного контроля, ограничивающего продажу конкрет­
ных технологий по соображениям национальной безопасности,
она резко прекратила экспорт в Китай передовых чипов ИИ аме­
риканской разработки, в основном Nvidia. Это действие затронуло
не только китайских военных, но и нарушило работу китайского
научного сообщества и индустрии ИИ, занимающейся различны­
ми приложениями, такими какздравоохранение, образование и ки­
тайские эквиваленты ChatGPT Один из аналитиков по полупрово­
дникам заметил: «Если бы вы упомянули об этих правилах пять лет
назад, я бы счел это военным актом, почти эквивалентным войне».

324


Цифровая диктатура начинается

Подводя итоги, Министерство торговли, похоже, было разоча­
ровано очевидной устойчивостью Китая. Развитие ИИ в стране
замедлилось, но не настолько, чтобы успокоить министерство.
Стратегические шаги Nvidia сыграли свою роль: Китай был зна­
чительным рынком для американского чипмейкера, и как только
Министерство торговли ввело ограничения, Nvidia быстро разра­
ботала новые чипы, которые соответствовали им, чтобы продол­
жить продажи китайским клиентам. Запрет также пошел на поль­
зу китайской чипмейкерской индустрии, которая изо всех сил пы­
талась сравниться с Nvidia по качеству. Действия правительства
США вызвали интерес к китайским альтернативам, что способ­
ствовало увеличению финансирования и прогресса в отрасли.
Наибольший вызов усилиям Meta был брошен трансгранич­
ным движением за открытый ИИ. Это движение быстро скопи­
ровало закрытые корпоративные модели генеративного ИИ и
сделало их доступными для скачивания в интернете. Подхватив
это движение, Meta стала одним из основных игроков, выпустив
свои большие языковые модели бесплатно. Компания всегда под­
держивала разработку с открытым исходным кодом, а ее главный
ученый Янн ЛеКун ценил открытую науку. Такой подход был не
только полезен для бизнеса, но и помог Meta утвердить свое ли­
дерство в области ИИ, привлечь талантливых ученых и составить
конкуренцию компаниям, которые продавали свои модели.
Приобретя с помощью Microsoft вычислительные ресурсы,
аналогичные OpenAI, Meta активно работала над созданием соб­
ственной версии серии GPT, получившей название Llama. Хотя
Llama не полностью соответствовала критериям открытого ис­
ходного кода, не выпуская ни весовых коэффициентов модели,
ни обучающих данных, решение Meta поделиться весовыми коэф­
фициентами модели бесплатно было значимым. Этот шаг сделал
Llama важнейшим компонентом для китайской индустрии ИИ,
хотя Meta решила не предлагать Llama в Китае напрямую.

325


Эндрю Слоун

Нейросети лжи

На фоне разочарования и страха в Вашингтоне через два ме­
сяца после слушаний, в июле 2023 года, была получена политиче­
ская «белая книга», повторяющая рекомендации Альтмана. Она
была написана консорциумом исследователей, в том числе из кла­
на безопасности OpenAI, Microsoft и Google DeepMind, а также
более чем дюжиной аналитических центров, многие из которых
связаны с сообществом думеров. В документе содержится призыв
к созданию новой системы лицензирования моделей ИИ, осно­
ванной на пороговых значениях вычислений, а также к созданию
оценок безопасности ИИ для таких рискованных возможностей,
как манипулирование, убеждение и разработка нового биологи­
ческого оружия. В пятидесяти одностраничном документе также
введен термин «пограничные» модели ИИ, которые были опреде­
лены как модели, требующие вмешательства государства. По мне­
нию авторов, таких пограничных моделей, которые потенциально
могли бы обладать опасными возможностями, в настоящее время
не существует. Однако, увеличив вычислительную мощность су­
ществующих моделей от таких компаний, как OpenAI и Anthropic,
они могут появиться внезапно и неожиданно.
В течение нескольких недель после выхода «Белой книги»
OpenAI и Microsoft в союзе с Google и Anthropic создали Форум
пограничных моделей. Цель этой группы - продвигать исследова­
ния и влиять на политику в области рисков безопасности ИИ. Это
была уникальная ситуация, когда интересы разных групп совпали:
Думеров, Бумеров и корпораций, ориентированных на получение
прибыли. Все они были согласны с тем, что важно сохранить пе­
редовые модели на переднем крае обсуждений в сфере регули­
рования. Это было важно для думеров с идеологической точки
зрения и удобно для бумеров и корпораций, чтобы отвлечь вни­
мание от регулирования существующих моделей ИИ. Все также
выступали против раскрытия внутренней работы передовых мо­
делей. В первый год работы форума Мета заметно отсутствовала,

326


Цифровая диктатура начинается

но позже присоединилась, чтобы иметь возможность участвовать
в дискуссиях.
В основе рекомендаций Альтмана и пограничной модели лежа­
ла связь между масштабом модели и ее потенциально рискован­
ными возможностями. Эта идея основана на законах масштаби­
рования, предполагающих, что увеличение вычислительной мощ­
ности, используемой для обучения, должно приводить к созданию
более мощных моделей. Некоторые группы также опасались, что
передовой ИИ может стать неконтролируемым. Политические
предложения, вытекающие из этой концепции, были направлены
на то, чтобы регулирующие органы оценивали количество вычис­
лительных мощностей, используемых для обучения моделей глу­
бокого обучения. К моделям, превышающим определенный порог
вычислительной мощности, следует относиться с большей осто­
рожностью и вводить более строгие ограничения.
В «Белой книге», опубликованной в июле 2023 года, в качестве
минимального количества вычислений, необходимого для обу­
чения модели, чтобы считать ее передовой, предлагается порог в
1026 операций с плавающей запятой. Авторы признали, что этот
порог несколько произволен, предложив его в качестве уровня
вычислительной мощности, который существующие модели ИИ,
вероятно, еще не превысили. Сара Хукер, вице-президент по ис­
следованиям компании Cohere, крупного разработчика языковых
моделей, и один из соавторов статьи, отметила, что в ходе обсуж­
дения с коллегами, предложившими это число, она считает, что
они выбрали его несколько выше, чем вычислительная мощность,
которую, как сообщается, использовал OpenAI для обучения
GPT-4.
Хукер и многие другие исследователи, включая Дебору Раджи,
не согласны с пороговым подходом к регулированию моделей.
Масштаб может расширить возможности, но расширенные воз­
можности не всегда требуют масштаба. Например, модель тлубо-

327


Эндрю Слоун

Нейросети лжи

кого обучения, обученная исключительно на высококачественных
биологических данных, может генерировать мощные биологиче­
ские рецепты даже в небольшом масштабе. С помощью дистил­
ляции - техники, упомянутой в дорожной карте исследований
OpenAI на 2021 год, - большие модели могут быть преобразованы
в более мелкие модели с аналогичными возможностями. Масшта­
бирование моделей не приводит к автоматическому улучшению
конкретных возможностей; это зависит от обучающих данных
модели и типа используемой нейронной сети. Не все модели ос­
нованы на трансформерах. Хукер утверждает, что вычисления не
сильно коррелируют с рисками, особенно с конкретными риска­
ми, описанными в белой книге.
В отсутствие консенсуса среди соавторов «Белой книги» по
поводу нормативной базы, ориентированной на вычисления, или
конкретного порога, число 1026 операций с плавающей запятой
было помещено в сноску и приложение без обоснования, вместе с
существенными оговорками о том, почему пороги являются несо­
вершенным подходом. Хукер был удивлен тем, как быстро система
и точное пороговое значение стали одним из самых популярных
политических предложений. После того как в «Белой книге» были
затронуты страхи перед Китаем, они привлекли значительное
внимание в Вашингтоне. Пограничные модели казались трево­
жными, особенно если Пекин их приобретет. Эмили Вайнштейн,
научный сотрудник CSET в конце 2023 года, отметила, что неко­
торые члены администрации с нетерпением ждали принятия мер.
Идеи, изложенные в «белой книге», были хорошо воспри­
няты в Commerce. Сотрудники быстро организовали встречи с
экспертами для обсуждения потенциальных моделей погранич­
ного контроля и возможности предотвращения их попадания в
Пекин. Они начали рассматривать инновационное предложение
о расширении правил экспорта ИИ, чтобы они распространя­
лись не только на аппаратное обеспечение, но и на программное.

328


Цифровая диктатура начинается

Это предполагает запрет на экспорт моделей ИИ, превышающих
определенную вычислительную мощность. По сути, они изучали
способы предотвращения обмена весами моделей в Интернете и
их широкого распространения.
Примечательно, что ключевая рекомендация Маркуса и ви­
це-президента ШМ Кристины Монтгомери, которые также дава­
ли показания вместе с Альтманом, не получила большого отклика,
несмотря на то, что повторялась на протяжении всего слушания.
Они предложили обязать компании раскрывать содержание об­
учающих данных, используемых в их моделях. Это повысило бы
подотчетность компаний в таких вопросах, как использование ма­
териалов, защищенных авторским правом, конфиденциальность
данных пользователей и оценка возможностей моделей. Маркус
подчеркнул, что без прозрачности обучающих данных оценка эф­
фективности моделей будет основываться исключительно на до­
верии к заявлениям компаний.
Такой подход значительно снизит неопределенность в отноше­
нии появления опасных возможностей, подобно тому, как вычис­
лительная техника плохо предсказывает риски. Поведение модели
глубокого обучения в первую очередь определяется ее данными.
Сара Майере Уэст, соисполнительный директор AI Now Institute
и бывший старший советник по ИИ в FTC, объясняет, что если
разработчик ИИ создает большую языковую модель, способную
генерировать рецепты биооружия, то это происходит потому, что
он обучил ее на наборе данных, содержащем информацию о биоо­
ружии. Нейронная сеть выявляет закономерности в своих обуча­
ющих данных. Открыть эти данные очень важно для понимания
того, какие исходные данные могут привести к опасным результа­
там, и для установления научной чистоты.
В то время как Торговая палата искала совета по поводу своего
плана регулирования модельных весов, новость о его предстоя­

329


Эндрю Слоун

Нейросети лжи

щем объявлении в начале 2024 года расколола сообщества разра­
ботчиков ИИ и политиков. В центре дебатов оказались закрытый
и открытый подходы, техно-национализм и безграничная наука.
Сторона закрытого подхода получила поддержку со стороны ор­
ганов национальной безопасности и разведки США, в то время
как против выступили разработчики метатехнологий, стартапы,
группы гражданского общества и независимые ученые.
Если сторона «закрытых» продолжала подчеркивать многие
моменты, которые руководители OpenAI использовали на про­
тяжении многих лет, то сторона «открытых» выступала против
секвестирования моделей, утверждая, что это принесет больше
вреда, чем пользы. Вайнштейн отметил, что узким местом в соз­
дании нового биологического оружия является не поиск рецепта,
поскольку многие из них уже доступны в Интернете. Настоящая
проблема заключается в получении необходимых материалов и
оборудования. Ограничение доступа к передовым моделям не
решит эту проблему. Запрет на публикацию моделей ИИ может
ослабить американские инновации в области ИИ, препятствуя
обмену открытым исходным кодом и сотрудничеству, которые
способствуют развитию стартапов. Ограничение публикации ве­
совых коэффициентов моделей лишит мелких разработчиков воз­
можности создавать собственные продукты ИИ и усилит домини­
рование крупных компаний в отрасли.
Модели ИИ становятся все более сложными для тщательной
проверки. Саша Лучиони, Ясин Жернит и Эмма Струбелл в зна­
чительной степени полагаются на открытые генеративные модели
ИИ, чтобы оценить углеродные и экологические последствия их
расширения.
Открытое трансграничное сотрудничество не столько создает
угрозу национальной безопасности, сколько укрепляет американ­
ское лидерство в области ИИ. США и Китай, являющиеся ведущи­
ми мировыми производителями талантов и исследований в обла­

330


Цифровая диктатура начинается

сти ИИ, уже более десяти лет являются основными партнерами
друг друга в разработке ИИ. Ученые и предприниматели из обеих
стран, опираясь на наработки друг друга, продвигают эту область и
различные приложения гораздо быстрее, чем если бы они работали
в одиночку, принося пользу не только своим странам, но и многим
другим во всем мире. Одним из ярких примеров является ResNet,
широко используемая нейронная сеть, разработанная китайскими
исследователями в пекинском офисе Microsoft. ResNet играет важ­
ную роль в основных системах компьютерного зрения, распозна­
вания речи и языка, а также является ключевым компонентом си­
стемы искусственного интеллекта AlphaFold компании DeepMind,
выпущенной в 2018 году, которая предсказывает 3D-структуру
белка на основе его аминокислотной последовательности, помогая
разрабатывать лекарства и изучать болезни. Последующее усовер­
шенствование AlphaFold с помощью другой нейронной сети приве­
ло Демиса Хассабиса и еще одного старшего научного сотрудника
DeepMind к получению Нобелевской премии по химии в 2024 году.
В октябре 2023 года идеи, поддерживаемые «Закрытой сторо­
ной», получили значительное одобрение, когда они появились в
исполнительном указе администрации Байдена об ИИ. Этот указ,
один из самых длинных в истории, выглядел как комбинация до­
кументов, написанных разными группами, чем он, собственно, и
являлся. Один из этих документов был подготовлен администра­
цией в 2022 году в рамках проекта «Билль о правах ИИ». Белый дом
тщательно разработал этот проект в ходе обсуждений с группами
гражданского общества, чтобы описать, как можно развивать,
использовать и регулировать ИИ для продвижения гражданских
прав, расовой справедливости и защиты частной жизни. В нем
подчеркивается важность привлечения сообществ и экспертов к
разработке ИИ , устранения дискриминационного воздействия
ИИ в таких областях, как здравоохранение и трудоустройство, а
также защиты людей от несанкционированного сбора данных.

331


Эндрю Слоун

Нейросети лжи

Другой документ точно воспроизводил рекомендации Альтма­
на и формулировки «белой книги» о пограничной модели. Он был
добавлен в последнюю минуту после того, как на него обратили
внимание несколько человек, симпатизирующих идеологии думеров в Белом доме. В документе подчеркивалось, что важно сосре­
доточиться на будущих моделях ИИ, которые еще не разработаны.
Впоследствии в указе половина внимания была уделена именно
таким моделям. В документе подробно описаны четыре примера
опасных возможностей. Указ сохранил три из них: генерирование
новых рецептов химического, биологического, радиологического
и ядерного оружия, автоматизированные кибератаки и уход от че­
ловеческого контроля с помощью обмана и запутывания.
К тревоге Хукера, Раджи и многих других исследователей ИИ,
в указе также появился точный порог вычислений, указанный в
белой книге - 1026 операций с плавающей запятой. Этот порог
указывал, когда о моделях нужно сообщать правительству США.
Получив широкую поддержку, пороговый подход к вычислени­
ям быстро завоевал популярность. К концу года Европа приняла
чуть более строгое пороговое значение 1025 в связи с быстрым
развитием генеративного ИИ, что побудило законодателей рас­
смотреть этот вопрос в долгожданном законе ЕС об ИИ. В начале
2024 года Калифорния также приняла этот подход, приняв новый
законопроект о безопасности ИИ, SB 1047, установив порог на
уровне 1026. Губернатор Гэвин Ньюсом наложил вето на этот зако­
нопроект, который столкнулся с оппозицией со стороны OpenAI и
других разработчиков за различные предложения по ответствен­
ности. В то время как многие критиковали Ньюсома за предпо­
чтение интересов индустрии, некоторые исследователи, такие
как Хукер и Раджи, приветствовали вето как шаг к согласованию
с научным консенсусом. Хукер подчеркнул важность понимания
обоснования порогового числа и рисков, которые оно призвано
снизить.

332


Цифровая диктатура начинается

Вся последовательность событий, включая показания Альтма­
на, белую книгу, кампанию влияния на политику, гиперреактив­
ность Вашингтона на страхи Китая и быстрое включение порого­
вых значений вычислений в политические документы в США и за
рубежом, продемонстрировала упадок независимой экспертизы
ИИ. В сентябре 2023 года Раджи вместе с Альтманом, Маском, Наделлой, Гейтсом, Цукербергом, Пичаи и Джеком Кларком высту­
пал перед Конгрессом на форуме AI Insight Forums сенатора Чака
Шумера. Это было важное политическое событие, направленное
на формирование законодательства в области ИИ. В то время как
другие свидетели делали смелые заявления об ИИ, подчеркивая
конкуренцию с Китаем, Раджи был удивлен тем, как много людей
в аудитории верили всему, что они говорили.
Ее осенило, что люди, сидящие рядом с ней, вместе со своими
большими политическими командами так долго доминировали в
Вашингтоне, что многие политики теперь воспринимают их как
евангелие. Позже представитель Шумера упомянул в прессе, что
сенатор лично консультировался с Альтманом и другими руково­
дителями OpenAI, когда подходил к вопросу регулирования. «Для
меня это было важным осознанием», - говорит Раджи. «Нам нуж­
но больше людей, которые развенчивают и изучают то, что гово­
рят другие, указывая на то, что реальность сложнее».
Вашингтон стал лишь пиком наступления Альтмана на США.
В марте того же года он написал в твиттере, что планирует отпра­
виться за границу, чтобы встретиться с пользователями. Эта по­
ездка превратилась в путешествие по нескольким городам и кон­
тинентам, в ходе которого он сфотографировался почти со всеми
президентами G20. Теперь это называлось «Мировое турне Сэма
Альтмана».
За мировым турне не стояло никакой грандиозной стратегии
от команды OpenAI по коммуникациям или политике. Альтман
просто выбрал первые остановки и поделился ими со своими

333


Эндрю Слоун

Нейросети лжи

более чем 1,5 миллионами подписчиков в Twitter. После первых
нескольких выступлений интерес быстро вырос, и к работе под­
ключились команды по коммуникациям и политике. С каждой
новой остановкой команды спешили организовать логистику, го­
товясь к трудностям, вызванным отсутствием предварительного
планирования.
Это было проявлением динамики, которая существовала всег­
да: Альтман шел своим путем, иногда соглашаясь с компанией, а
иногда нет. Во время выпуска GPT-4 OpenAI тщательно готовила
все объявления, чтобы показать это как работу всей компании, в
которой участвовало более сотни сотрудников. Автором объявле­
ния была просто «OpenAI». Затем Альтман приписал авторство
одному человеку, Якубу Пачоцки, в Twitter. Пачоки был одним из
восемнадцати руководителей проекта. Некоторые сотрудники
усомнились в том, что его вклад был действительно единичным.
Затем Альтман пригласил Пачоки сесть позади него во время слу­
шаний в Сенате в Вашингтоне.
Динамика проявлялась и в других аспектах. В компании были
официальные руководители, но не всегда было понятно, прислу­
шивается ли к ним Альтман. Было неясно, руководят ли стратеги­
ей компании официальные процессы и решения или его отноше­
ния и прихоти.
По мере того как OpenAI стремительно переходила на профес­
сиональную основу и все чаще оказывалась под пристальным вни­
манием, отсутствие согласованности в руководстве становилось
все более актуальным. Компания вышла за рамки прикладного и
исследовательского подразделений и включила в себя такие об­
щественно значимые отделы, как отдел коммуникаций и юриди­
ческий отдел. Юридическая команда писала юридические заклю­
чения и занималась растущим числом судебных исков, в то вре­
мя как политическая команда работала в глобальном масштабе.
OpenAI необходимо было унифицировать свои коммуникации и

334


Цифровая диктатура начинается

выработать четкую позицию, чтобы не вводить общественность в
заблуждение из-за стратегической неопределенности.
В конце 2023 года газета The New York Times подала в суд на
OpenAI и Microsoft за нарушение авторских прав, связанных с
обучением на миллионах ее статей. В начале января OpenAI от­
ветила через свою юридическую команду, обвинив Times в мани­
пулировании их моделями для поддержки своих аргументов. На
той же неделе команда политиков OpenAI представила заявление
в комитет по коммуникациям и цифровым технологиям Палаты
лордов Великобритании, заявив, что обучение их продвинутых
моделей без материалов, защищенных авторским правом, невоз­
можно. После того как СМИ проанализировали термин «невоз­
можно», OpenAI быстро отказалась от этого заявления.
«В компании постоянно царит путаница, - говорит сотрудник
отдела, работающего с общественностью. Некоторые из них от­
ражают типичные боли роста стартапов». По словам сотрудника,
профиль и охват OpenAI превзошли раннюю стадию развития
компании. «Я не знаю, есть ли стратегический приоритет у руко­
водства компании. Честно говоря, я думаю, что люди сами прини­
мают решения. Вдруг это выглядит как стратегическое решение,
но на самом деле это просто случайность. Иногда нет никакого
плана, а есть просто хаос».
Пока Альтман много ездил по Европе, Латинской Америке,
Ближнему Востоку, Азии и Африке, впечатляя тщательно ото­
бранную аудиторию студентов, технологических инвесторов и
фанатов, отсутствие стратегической ясности усиливало давние
внутренние конфликты OpenAI, толкало компанию к еще боль­
шим крайностям.
С одной стороны, подразделение Applied лидировало, напере­
гонки с многочисленными конкурентами стремясь быстро вне­
дрить технологии OpenAI. Его поддерживали другие развиваю­
щиеся подразделения и многие сотрудники отдела исследований,

335


Эндрю Слоун

Нейросети лжи

воодушевленные растущим ажиотажем и верой в то, что продви­
жение и выпуск моделей OpenAI - лучший способ реализовать
миссию компании.
С другой стороны, клан Safety, разбросанный по всему Research,
многие из которых все еще были сосредоточены в команде Май­
лза Брундаджа по исследованию политики и в команде Яна Лейка
по выравниванию, теперь составлял гораздо меньшее меньшин­
ство. Они компенсировали свой относительный недостаток в раз­
мерах тем, что громче, чем когда-либо, били тревогу по поводу
опасных возможностей и экзистенциальных рисков, которые, по
их мнению, могли стать неизбежными. По мере развития моделей
OpenAI некоторые сотрудники Research, ранее не причислявшие
себя к клану Safety, также вступали в его ряды, поскольку ускоря­
ющиеся возможности убеждали их в том, что ИИ может достичь
такого уровня интеллекта, который позволит ему подорвать чело­
веческий контроль и стать неконтролируемым. Такой же резкий
рост шумихи и ожиданий с этой стороны означал для OpenAI мо­
ральный императив действовать с максимальной осторожностью,
чтобы выполнить свою миссию.
Это было воплощение бумеров и думеров в стенах OpenAI.
Раскол распространился и на руководство. После DALL-E и
ChatGPT большинство руководителей и топ-менеджеров стали
более спокойно относиться к использованию моделей в качестве
полезных инструментов. OpenAI ввела термин «итеративное раз­
вертывание» для описания своего нового подхода. В отличие от
поэтапного выпуска GPT-2 или контролируемого выпуска API в
GPT-3, итеративное развертывание предполагало раннее и частое
предоставление моделей в руки пользователей. OpenAI утвержда­
ла, что такой подход является наиболее безопасным. Альтман и
другие руководители считали, что итеративное внедрение позво­
лит людям и учреждениям адаптироваться, а также позволит те­
стировать модели на реальных пользователях, собирать отзывы

336


Цифровая диктатура начинается

и улучшать продукты. Альтман заявил во время дачи показаний
в Сенате, что создание мощной системы ИИ в тайне и выпуск ее
сразу не приведет к успеху.
Если кто-то из руководителей OpenAI и не шел в ногу со вре­
менем, то это был Суцкевер. По мере развития моделей OpenAI
и ускорения их воздействия он считал, что компании необходи­
мо усилить защиту от возможных разрушительных последствий.
После GPT-4 Суцкевер сместил фокус с развития возможностей
моделей на безопасность ИИ, разделив свое время поровну между
этими двумя направлениями. Окружающим он казался противо­
речивым, одновременно радуясь и опасаясь того, что ИИ превзой­
дут человека и станут сверхразумными.
Суцкевер говорил со все возрастающим мессианским пылом,
озадачивая своих давних друзей и заставляя других сотрудников
беспокоиться. На встрече с новыми исследователями он изложил
свои планы по подготовке к AGI.
«Как только мы все окажемся в бункере, - начал он.
«Простите, - перебил исследователь, - бункер?»
«Мы обязательно построим бункер, прежде чем выпустим
AGI», - спокойно ответил Суцкевер. Такая мощная технология,
несомненно, привлечет интерес мирового правительства, что
может привести к эскалации геополитической напряженности.
Основные ученые, участвующие в проекте, нуждаются в защите.
«Конечно, - добавил он, - если вы захотите войти в бункер, это
будет необязательно».
Исследователь одновременно уважает Суцкевера и держится
от него на некотором расстоянии. Он упоминает группу людей,
включая Илью, которые считают, что создание AGI приведет к
буквальному восторгу.
Когда Суцкевер распределял свое время между работой по
выравниванию, у них с Альтманом возникла новая идея: сфор­
мировать специализированную команду для создания передовых

337


Эндрю Слоун

Нейросети лжи

методов выравнивания для суперинтеллекта. Они предполагали,
что существующие методы, такие как обучение с подкреплени­
ем на основе обратной связи с человеком, станут неадекватны­
ми, когда системы смогут превзойти человеческий интеллект.
Альтман назвал этот проект «Манхэттенский проект выравни­
вания». Изначально они рассматривали возможность создания
отдельной некоммерческой организации со стартовым фондом в
1 миллиард долларов. Однако из-за нежелания Суцкевера поки­
дать OpenAI и проблем с доступом к моделям они решили оста­
вить проект в рамках компании. В своем блоге OpenAI предста­
вила новую команду, названную Superalignment, которая будет
управлять проектом. В сообщении также было обещано выде­
лить команде 20 % вычислительных мощностей OpenAI. Суцке­
вер и Лейке были выбраны в качестве руководителей этой новой
инициативы.
На очередном собрании Суцкевер выступил перед сотрудника­
ми, чтобы представить новую команду и ее цели. Он взял микро­
фон и начал постукивать по нему, говоря: «Бум. Бум. Бум.»
«Выравнивание - это горящий огонь», - сказал он, - «Сверхвы­
равнивание - это пылающий инферно».
Вскоре после этого, когда компания переросла Майо, офис с
растениями и фонтанами, куда она переехала во время панде­
мии, стал слишком мал. Тогда руководители перевели большую
часть исследовательского подразделения обратно в старое здание
Pioneer Building, фактически разделив прикладное подразделение
и подразделение безопасности на отдельные подразделения.
В июле 2023 года, вскоре после того, как OpenAI объявила о
создании команды Superalignment, они арендовали кинотеатр в
Metreon в центре Сан-Франциско. Сотрудники посмотрели фильм
«Оппенгеймер», рассказывающий о физике Дж. Роберте Оппенгеймере, возглавившем американский Манхэттенский проект по
созданию первого ядерного оружия.

338


Цифровая диктатура начинается

«Я надеялся, что фильм об Оппенгеймере вдохновит детей
стать физиками, но он провалился», - написал Альтман в Твитте­
ре. «Давайте сделаем этот фильм! Я верю, что «Социальной сети»
удалось вдохновить основателей стартапов».
На протяжении почти восьми лет Альтман часто сравнивал
OpenAI с Манхэттенским проектом в своих первых письмах к
Маску. Эта аналогия стала постоянной темой в компании, о ней
даже упоминали на инструктажах для новых сотрудников. Аль­
тман, у которого день рождения совпал с днем рождения Оппенгеймера, часто подчеркивал этот факт перед журналистами.
Он также с удовольствием цитировал слова создателя бомбы
о том, что «технологии появляются потому, что они возмож­
ны». Однако Альтман никогда не упоминал о том, что Оппенгеймер провел последнюю часть своей жизни в сожалениях и
активно противостоял распространению своего собственного
творения.
Разные сотрудники по-разному интерпретировали эту ана­
логию. Многие считали Манхэттенский проект героическим,
демонстрирующим возможность совершить спасительный для
мира технологический прорыв, опередив грозных противников.
Это подчеркивало всю ответственность OpenAI перед командой
Safety за внедрение технологии, которая может поставить под
угрозу существование человечества.
Для Альтмана это был урок пиара. Несколькими годами ранее
он сказал на одном из мероприятий: «Знакомство мира с ядер­
ной энергетикой через образ грибовидного облака над Японией
незабываемо. Я размышлял о том, почему мир стал недоверчиво
относиться к науке. Одна из многих возможных причин заключа­
ется в том, что мощные образы, подобные этому, заставили нас
осознать, что некоторые технологии могут быть слишком мощны­
ми для человеческого контроля. Людей часто больше убеждают
образы, чем факты».

339


Эндрю Слоун

Нейросети лжи

Тех, кто находится на крайнем конце спектра безопасности ИИ,
с самым высоким уровнем пессимизма, больше беспокоил слишком
оптимистичный взгляд Альтмана и компании на историю. OpenAI
организовала показ документального фильма «Аполлон-11», по­
священного американской программе «Аполлон», любимой ана­
логии в Кремниевой долине. Один из крайних пессимистов задал
вопрос: «Зачем упоминать Манхэттенский проект, если можно со­
слаться на программу «Аполлон»? Зачем нести этот багаж?»
Одна сцена из фильма «Оппенгеймер» особенно запомнилась
ему: момент перед испытанием «Тринити», первым взрывом атом­
ной бомбы, когда Оппенгеймер, которого изобразил Киллиан Мер­
фи, подсчитывает, что шансы уничтожить мир «близки к нулю».
«Около нуля?» - недоверчиво отвечает генерал-майор Лесли Р.
Гровс, которого изображает Мэтт Дэймон.
«Чего вы хотите от одной только теории?» спрашивает
Оппенгеймер.
«Хорошо бы ноль, - говорит Гровс.
«Это похоже на нашу нынешнюю ситуацию», - говорит край­
ний Думер. «Мы пока не можем ничего вычислить об этих ИИ».
По мере того как OpenAI продолжала свои исследования, не­
которые начали видеть новый смысл в аналогии с Манхэттенским
проектом.
Поскольку прогресс в создании больших языковых моделей
замедлился из-за нехватки данных и вычислительных ресурсов,
исследовательское подразделение сместило акцент на разра­
ботку агентов ИИ. Дебаты между гипотезами «чистого языка» и
«заземления» набирали популярность. Чистый язык и сочетание
языка со зрением становились все менее эффективными. Многие
в сообществе ИИ считали, что следующий шаг вперед сделают
агенты, способные действовать в реальном мире и собирать об­
ратную связь. В OpenAI такая возможность рассматривалась как
конкурентное преимущество. Иметь ИИ-помощника для обще­

340


Цифровая диктатура начинается

ния - это хорошо, но иметь такого помощника для автоматизации
таких задач, как отправка электронной почты или кодирование
веб-сайтов, было еще лучше. Это не только имело коммерческую
ценность, но и ускоряло прогресс компании.
Самым амбициозным проектом исследовательского подраз­
деления был AI Scientist, целью которого было создание агента
для автономного проведения научных исследований. Исследова­
тели надеялись, что этот «ученый» сможет генерировать знания
путем проведения экспериментов даже при ограниченном коли­
честве новых источников данных. Команда объединила команду
по созданию кода из Codex с другой командой, занимающейся
проблемами рассуждений, используя математические задачи и их
решения в качестве структурированного набора данных. И коди­
рование, и решение математических задач рассматривались как
ценные навыки для проведения экспериментов и анализа данных.
Руководителями проекта были Якуб Пахоцки и Шимон Сидор.
Их цель - создать автономного ученого, как того хотел Альтман,
автономного исследователя ИИ, который бы способствовал раз­
витию ИИ в OpenAI.
Проект взволновал и обеспокоил верующих в AGI. Если уче­
ные добьются успеха, то AGI наступит раньше, что приведет либо
к утопии, либо к гибели человечества. Как и Суцкевер, некото­
рые исследователи в случайных разговорах упоминали «бункер»,
представляя себе устройство, подобное Лос-Аламосу. Они пред­
ставляли себе элитную команду исследователей ИИ, живущую и
работающую в защищенных помещениях в отдаленной американ­
ской пустыне, чтобы оградить их от внешних опасностей.
В 2023 году, по их мнению, угрозы теперь включают целевые ата­
ки и неавторизованные AGI. Команда безопасности разместила в
Slack черновик своей модели угроз для OpenAI. Она значительно
повзрослела с тех времен, когда руководители обсуждали, насколь­
ко необходимо усилить безопасность организации. В проекте были

341


Эндрю Слоун

Нейросети лжи

выделены три категории угроз: иностранные государственные ак­
торы, конкуренты и идеологически мотивированные лица.
В третьей категории проект ссылается на статью Элиезера Юдковското, видного деятеля в сообществе по безопасности ИИ. Он
известен тем, что популяризировал термин «дружественный ИИ»
для описания хорошо сбалансированных систем, а также тем, что
написал знаменитый фанфик под названием «Гарри Поттер и ме­
тоды рациональности». В этом романе, состоящем из 122 глав и
более 660 ООО слов, Гарри изображен рационалистом в мире вол­
шебников. Многие восприняли это произведение как введение в
эффективный альтруизм и более широкую идеологию думеров.
Юдковский, один из основателей блота LessWrong, ключевой
платформы для исследователей безопасности ИИ, выступал за
паузу в развитии ИИ все более настойчиво, по мере того как его
пессимизм в отношении будущего возрастал до 95 %. В марте 2023
года он написал статью для журнала Time, в которой поделился
своей печалью о том, что его дочь потеряла первый зуб, и обеспо­
коился ее будущим. Он предложил план, как остановить прогресс
ИИ: отключить крупные кластеры GPU, следить за продажами
GPU и, если понадобится, нанести авиаудары по неавторизован­
ным дата-центрам. В проекте модели угроз OpenAI эта статья
упоминается как пример сторонника насилия.
Небольшая группа сотрудников OpenAI, которые ценили ме­
нее агрессивные взгляды Юдковски, были расстроены тем, что в
проекте он был отмечен, но не упоминался недружественный ИИ.
Получив отзывы, команда по безопасности включила четвертую
категорию угроз: неправильно настроенные системы AGI.
По мере того как OpenAI привлекала к себе все больше вни­
мания, совет директоров потерял трех независимых директо­
ров с начала 2023 года из-за конкурентной борьбы, вызванной
ChatGPT за разработку и продвижение на рынок технологий ге­
неративного ИИ.

342


Цифровая диктатура начинается

Рид Хоффман первым вышел из состава совета директоров в
феврале, проработав в нем пять лет, из-за конфликта интересов.
В предыдущем году он стал соучредителем стартапа под назва­
нием Inflection вместе с Мустафой Сулейманом, соучредителем
DeepMind, который впоследствии покинул компанию. Inflection
быстро стала прямым конкурентом OpenAI.
Через месяц после Хоффмана Шивон Зилис, доверенный за­
меститель Маска и директор Neuralink, возглавила OpenAI. Она
курировала его по поручению Маска и официально вошла в совет
директоров в 2020 году. Возникли опасения, что Зилис может по­
делиться с Маском секретами компании, но она пообещала, что
конфиденциальность OpenAI будет для нее приоритетнее лояль­
ности Маску. Однако в июле 2022 года стало известно, что она за­
вела близнецов с Маском, не поставив в известность совет дирек­
торов. Альтман по неизвестным причинам хотел сохранить ее в
совете директоров. В октябре 2022 года он попросил у нее совета,
как справиться с разочарованием Маска по поводу роста стоимо­
сти OpenAI, которая приблизилась к 20 миллиардам долларов.
Маек обвинил Альтман в обмане, ссылаясь на свой значительный
вклад в первоначальное финансирование OpenAI. К марту 2023
года положение Зилис в совете директоров стало несостоятель­
ным, поскольку Маек запустил компанию xAI, прямого конкурен­
та OpenAI.
Уилл Херд, бывший представитель республиканцев в Техасе и
офицер ЦРУ, стал третьим, кто покинет совет директоров в 2021
году. Альтман во время объявления о назначении Хёрда подчер­
кнул необходимость баланса против либеральных предубежде­
ний Кремниевой долины. Он организовал встречу, на которой
сотрудники могли открыто задать вопросы Хёрду, в том числе о
его взглядах на Дональда Трампа. В июне 2023 года Хёрд покинул
OpenAI, чтобы сосредоточиться на своей президентской кампа­
нии в США, и в октябре сошел с дистанции.

343


Эндрю Слоун

Нейросети лжи

Наряду с Альтманом, Брокманом и Суцкевером осталось толь­
ко три независимых члена совета директоров: соучредитель и ге­
неральный директор Quora Адам Д>Анджело, робототехник Таша
Макколи и исследователь CSET Хелен Тонер.
Среди этой троицы Д>Анджело был первым, кто вошел в со­
вет директоров. Он был одноклассником Цукерберга по школе
Phillips Exeter и в течение двух лет работал техническим дирек­
тором Facebook, прежде чем основать Quora. В 2014 году Quora
вошла в первую партию УС под руководством Альтмана. В 2017
году, за год до назначения Д>Анджело в совет директоров, Альт­
ман увеличил инвестиции УС в Quora, возглавив раунд финанси­
рования в размере 85 миллионов долларов. Альтман назвал Д’Анджело одним из самых умных руководителей в Кремниевой доли­
не, отметив его долгосрочную ориентацию, что является редким
качеством для современных технологических компаний.
Макколи, предпринимательница, которая была одним из осно­
вателей стартапа в области робототехники телеприсутствия и ру­
ководила компанией по ЗD-симуляции городов, присоединилась
к совету директоров в конце 2018 года. Она познакомилась с Аль­
тманом через своего наставника Алана Кея, а также знала Халдена Карнофски. Макколи, пользующийся уважением в сообществе
ИИ-безопасности, входил в совет директоров некоммерческой ор­
ганизации Centre for the Governance of AI, занимающейся исследо­
ваниями в области ИИ-безопасности, и некоторое время в совет
директоров британской организации Effective Ventures Foundation,
курирующей популярный подкаст 80 ООО Hours от ЕЛ. Карнофски,
бывший член совета директоров OpenAI, выдвинул ее кандидату­
ру, чтобы привлечь больше независимых директоров, поскольку
OpenAI переходит на структуру с ограниченной прибылью.
Тонер стал последним членом совета директоров в середине
2021 года, его кандидатуру выдвинул Карнофски. Сейчас он пред­
лагал замену себе, поскольку его трехлетний срок заканчивался

344


Цифровая диктатура начинается

и Anthropic была сформирована. Прежде чем стать экспертом по
Китаю и новым технолошям, Тонер сотрудничала с Карнофски в
GiveWell и Open Philanthropy. Она занялась вопросами безопас­
ности ИИ благодаря движению ЕА, но постепенно отдалилась от
него. В популярном посте на форуме ЕА перед крушением FTX
она заметила, что движение становится все более догматичным и
социально изолированным, и выразила свое разочарование в ЕА.
Несмотря на это, она оставалась уважаемой в кругах движения и
поддерживала более широкое сообщество по безопасности ИИ,
вместе с Макколи входя в совет Центра по управлению ИИ.
К концу лета 2023 года совет директоров уже несколько меся­
цев не мог решить вопрос о назначении новых независимых ди­
ректоров. После демонстрации GPT-4 и запуска ChatGPT Макко­
ли провел около года, опрашивая сотрудников и заинтересован­
ные стороны, чтобы определить структуру реорганизованного
совета и улучшить механизмы надзора.
В ходе процесса совет директоров, включая Альтмана, еди­
ногласно решил, что следующий независимый директор должен
иметь сильную подготовку в области безопасности ИИ, посколь­
ку возможности компании растут. Они потратили несколько ме­
сяцев на составление списка кандидатов и проведение собеседо­
ваний с пятью из них, включая Дэна Хендрикса, ключевую фигуру
в сообществе думеров, который руководит Центром безопасно­
сти ИИ в Беркли и консультирует xAI Маска. Однако когда неза­
висимые члены совета директоров попытались выбрать одного из
пяти кандидатов, Брокман и Суцкевер высказали свои сомнения
по этому поводу. Альтман, как обычно, оставался сдержанным, не
выступая против какого-либо варианта, но и не поддерживая его.
Он также неоднократно предлагал новые кандидатуры, все из ко­
торых были так или иначе связаны с ним, либо финансово, либо
через его сеть.

345


Эндрю Слоун

Нейросети лжи

При создании новых механизмов надзора, призванных расши­
рить представление совета директоров о методах обеспечения
безопасности компании, независимые директора чувствовали
себя обделенными вниманием со стороны Альтмана. Вначале Олтман назначил Макколи связным с сотрудниками совета директо­
ров. Она регулярно встречалась с сотрудниками и даже привела
своего мужа, актера Джозефа Гордона-Левитта, на выездное ме­
роприятие, где он слушал технические презентации. Однако во
время пандемии эти встречи прекратились. Макколи продолжала
проводить регулярные встречи, но так и не возобновила часы ра­
боты офиса.
Не имея структурированного способа общения с сотрудника­
ми, информация о деятельности компании доходила до незави­
симых директоров через их личные связи в сообществах по безо­
пасности ИИ и технологиям. Они также полагались на Альтмана,
который держал их в курсе событий. Их беспокойство росло по
мере того, как они замечали несоответствия между положитель­
ным портретом Альтмана и негативными отчетами, которые они
получали из других источников. В этих сообщениях освещались
такие проблемы, как недостаточная готовность компании перед
ChatGPT и хаос после него, постоянное беспокойство по пово­
ду безопасности ИИ в связи с выходом GPT-4, а также быстрый
запуск OpenAI новых продуктов без решения существующих
проблем.
Один инцидент привлек внимание. В конце 2022 года совет
провел совещание на месте, первое из тех, что должны были стать
ежегодными. Олтман подчеркнул, что OpenAI разработала на­
дежные протоколы безопасности и испытаний совместно с Сове­
том по безопасности развертывания для оценки развертывания
GPT-4. После встречи независимый директор разговаривал с од­
ним из сотрудников, который упомянул о нарушении протоколов
DSB. Microsoft запустила GPT-4 для пользователей в Индии без

346


Цифровая диктатура начинается

одобрения DSB. Несмотря на то что Альтман провел целый день
с членами совета директоров во время выездного совещания, он
так и не сообщил им о нарушении.
Независимые директора совета директоров были обеспокое­
ны тем, что Microsoft нарушила протокол, а Альтман не обратил
на это внимания. Они считали, что модели OpenAI быстро раз­
виваются и могут достичь такого уровня, когда любое нарушение
может привести к серьезным последствиям с точки зрения безо­
пасности ИИ. Они считали, что снисходительное отношение Олтмана к нарушению Microsoft может создать рискованный преце­
дент в отношении процедур безопасности ИИ в будущих релизах
моделей, когда риски возрастут.
Между тем, были и другие заслуживающие внимания примеры
поведения Альтмана. В марте 2023 года он отправил электронное
письмо совету директоров без Д>Анджело, предложив Д>Анджело уйти в отставку. Альтман утверждал, что разработка компани­
ей Quora своего чатбота, По, создает конфликт интересов. Это
утверждение выглядело неожиданным и сомнительным. Тонер,
МакКоули и Д>Анджело неоднократно задавали Альтману вопро­
сы о методах обеспечения безопасности OpenAI, силе некоммер­
ческой организации и других вопросах. Поскольку число его со­
юзников в совете уменьшилось, Альтман, похоже, искал причину,
чтобы убрать одного из них. В ответ на электронное письмо Аль­
тмана независимый директор выразил несогласие. Конфликт ин­
тересов По был незначительным по сравнению с тем, что Альтман
допустил со стороны Хоффмана и Зилиса. Предложение Альтма­
на было отклонено, и Д’Анджело остался на своем посту.
Вскоре после этого Д>Анджело узнал на званом ужине, что
стартап-фонд OpenAI имеет необычную структуру. Ранние инве­
сторы фонда получали особый доступ к продуктам OpenAI - при­
вилегия, предназначенная для инвесторов OpenAI. Когда этот
вопрос был поднят вновь, независимые директора запросили у

347


Нейросети лжи

Эндрю Слоун

Альтмана документы о структуре фонда. Получив документы, они
выяснили, что юридически фондом владеет Альтман, а не OpenAI,
что было неверно.
Для независимых директоров каждый случай складывался в
единую тревожную картину: Постепенно Альтман пытался зату­
манить их внимание и маневрировать таким образом, что совет
директоров не мог его проверить. Альтман годами рекламировал
способность совета директоров противостоять ему и даже уволь­
нять его как важнейший механизм управления OpenAI. Теперь он
трубил об этом по всему миру, чтобы обеспечить доверие обще­
ственности и правительства.
К осени моральное состояние независимых директоров достиг­
ло нового минимума, поскольку им с трудом удавалось добиться
прогресса в переговорах о новом члене совета. С каждым месяцем
эти пробелы в управлении становились все более актуальными.
OpenAI готовилась к обучению GPT-5 и добивалась прогресса в
работе над AI Scientist. Затем, неожиданно в начале октября, То­
нер получил электронное письмо от Ильи Суцкевера с просьбой
о встрече.

348


Глава 14
Избавление
За несколько недель до того, как Суцкевер связался с Тоне­
ром, Альтман столкнулся с РR-кризисом. Его сестре, которая уже
много лет жила в разлуке и обратилась к секс-бизнесу, удавалось
скрывать свою историю от СМИ, пока она наконец не стала до­
стоянием общественности.
25 сентября 2023 года Элизабет Вайл, автор статьи в журнале
New York, опубликовала очерк о Сэме Олтмане, в котором впер­
вые в массовой прессе упомянула о существовании Энни. Вейл
сравнила непростую жизнь Энни, сталкивающейся с проблема­
ми со здоровьем и финансовыми трудностями без стабильного
жилья, с роскошным образом жизни Сэма с дорогими домами и
автомобилями. В своей статье Вайль отметила, что если читате­
ли блога Альтмана, его твитов и Startup Playbook знали о Джеке и
Максе, то Энни отсутствовала в публичной жизни Сэма и никогда
не должна была стать ее частью.
Альтман предвосхитил предстоящие подробности. Перед пу­
бликацией отчета в Йом-Кипур, еврейский день искупления,
Вайль разрешила OpenAI просмотреть свой отчет. Нью-Йорк
сотрудничал с компанией для проверки фактов. Ханне Вонг, ви­
це-президенту по коммуникациям OpenAI, было поручено управ­
лять комментариями и следить за историей, в которой участво­
вала семья Альтмана. Она задалась вопросом, соответствует ли
такая ответственность ее должности.
За день до выхода профиля, когда стало ясно, что подробно­
сти об Энни будут опубликованы, она получила письмо от Сэма.
Он извинялся за то, что разрывался между поддержкой Энни и их
мамы, соглашался с мнением семьи о финансовой независимости
Энни и признавал ее потребность в медицинской помощи. Сэм

349


Нейросети лжи

Эндрю Слоун

признал, что совершил ошибку и должен был продолжать поддер­
живать Энни.
Внезапный отказ от положительного общественного мнения,
которым Альтман пользовался с момента выхода ChatGPT, а так­
же обнародование личных проблем его семьи стали тяжелым бре­
менем для него. Это усугубило ситуацию. После этого всплыли
старые твиты Энни, в которых она обвиняла Сэма в плохом об­
ращении с ней, и эта история стала вирусной. Несмотря на труд­
ности для Сэма, для Энни это стало катарсическим опытом. В те­
чение многих лет она чувствовала себя неуслышанной и незначи­
тельной из-за проблем со здоровьем и отсутствия стабильности.
В 2024 году я связался с Энни, чтобы понять ее точку зрения.
Я также связался с ее матерью, Конни Гибстайн, ее братьями
Максом и Джеком, а также с Сэмом через службу коммуникации
OpenAI, чтобы выслушать их мнение. Энни охотно поделилась
своим личным опытом, чтобы пролить свет на характер Сэма. Она
поделилась семейной перепиской, медицинскими записями с дет­
ства до зрелого возраста и другими свидетельствами, показыва­
ющими разлад в ее семейных отношениях и жизненной ситуации.
Гибстайн кратко заявил, что семья любит Энни и беспокоится
о ее благополучии, но при этом отверг ее утверждения как «ужас­
ные, глубоко душераздирающие и не соответствующие действи­
тельности». Гибстайн отказалась от дальнейшего обсуждения
и ответов на подробные вопросы о рассказе Энни. Несмотря на
дополнительные просьбы, она не предоставила документов, под­
тверждающих ее утверждения. Макс и Джек не ответили, а OpenAI
не стала комментировать конкретные факты.
В январе 2025 года, после того как Энни подала иск против
Сэма, Гибстайн, Макс и Джек выступили с резким публичным
опровержением обвинений Энни. Они представили ее как психи­
чески неуравновешенную и чрезмерно требовательную к деньгам,
заявив, что со временем ее утверждения значительно изменились.

350


Цифровая диктатура начинается

Они выразили сожаление по поводу ее отказа от традиционного
лечения и враждебности по отношению к членам семьи, которые
искренне пытались ей помочь.
Благодаря моим беседам с Энни и предоставленным ею доку­
ментам сложилась сложная картина бурного пути, который заста­
вил ее поделиться своими обвинениями в Twitter и в последующем
судебном процессе, а также подробностями ее жизни для профиля
Вайля. У меня не было доступа к полной информации о причинах
многих решений ее семьи, и правда о некоторых утверждениях
Энни, особенно о якобы имевшем место сексуальном насилии
Сэма над ней в детстве, неизвестна. Однако ее история стала для
меня микрокосмом тем, определяющих более широкую историю
OpenAI. Она также помогла мне понять, насколько OpenAI отра­
жает и расширяет человека, который ее возглавляет. Настойчи­
вые попытки Энни поделиться своей точкой зрения быстро стали
проблемой компании. Освещение Энни беспокоило Сэма больше,
чем любая другая история, и Ханна Вонг, глава отдела коммуника­
ций OpenAI, пыталась контролировать ее распространение. Это
также стало проблемой компании в другом смысле: Когда обвине­
ния Энни впервые всплыли на поверхность, другие руководители
OpenAI обратили на них внимание.
Энни и Сэм, между которыми разница в девять лет, имеют
много общего. Слова, которыми описывают Сэм, применимы и к
Энни: она отлично слушает, запоминает мелкие детали о других,
веселая, щедрая и быстро завоевывает доверие людей.
Как и Сэм, она преуспевала в учебе. Она была единственной
из братьев и сестер Олтманов, окончивших школу Берроуз. Ее
учитель физики Джеймс Робл с любовью вспоминает о ней как о
талантливой ученице с солнечным характером. Она поступила в
Университет Тафтса, специализируясь на биопсихологии и танцах.
Окончив университет в 2016 году, она выполнила все требования

351


Эндрю Слоун

Нейросети лжи

программы premed. Она переехала в район залива, чтобы полу­
чить должность научного сотрудника в лаборатории нейронаук
Калифорнийского университета в Сан-Франциско. До того как ее
жизнь приняла иной оборот, она была типичным амбициозным,
образованным молодым человеком с широкими возможностями.
Обстоятельства жизни Энни начали ухудшаться из-за неожи­
данных проблем. В 2014 году, когда она еще училась в колледже,
у нее диагностировали ахиллов тендинит и костную шпору, что
привело к необходимости носить ботинки для ходьбы. Это стало
началом целого ряда проблем с физическим здоровьем, вызываю­
щих хронические боли, ограничивающих ее подвижность и влия­
ющих на качество жизни. В течение шести лет Энни сталкивалась
с рецидивирующим тонзиллитом, тазовыми болями, вспышками
тендинита, распространяющимися за пределы правой лодыжки,
и кистами яичников. В конце концов ей поставили диагноз «син­
дром поликистозных яичников» (PCOS), который иногда вызывал
ночную потливость - распространенный симптом.
На фоне проблем со здоровьем она пережила еще один сокру­
шительный удар, когда ее отец, с которым она была ближе всего в
семье, внезапно скончался от сердечного приступа 25 мая 2018 года.
Энни всю жизнь сталкивалась с проблемами психического здо­
ровья. В юном возрасте у нее диагностировали общее беспокойство
и обсессивно-компульсивное расстройство. Почти десять лет она
принимала Золофт, пока психиатр не помог ей постепенно прекра­
тить его прием в колледже. До смерти отца она хорошо справлялась
с ситуацией. Она применяла непсихиатрические методы, такие как
медитация, и изучала способы устранения основного воспаления,
вызывающего частые физические проблемы, с помощью здоровой,
органической диеты. Путешествие за здоровьем привело ее к изу­
чению альтернативной медицины, и она прошла обучение на пре­
подавателя йоги. Она также увлеклась искусством и написала чер­
новик книги под названием «The Humanual», в которой поделилась

352


Цифровая диктатура начинается

своими мыслями о жизни и о том, как стать лучше. Смерть отца
сильно повлияла на нее, вызвав ухудшение психического и физиче­
ского здоровья. К концу 2018 года посещение различных врачей и
специалистов стало регулярной частью ее рутины.
Сэм публично признался, что смерть отца была самым тяже­
лым моментом в его жизни. Это произошло вскоре после того, как
Маек ушел с поста сопредседателя OpenAI, и Сэм занял его место.
Близкие к Сэму люди отмечают, что эта потеря сильно повлияла
на него, вызвав неустойчивое поведение и проблемы. Смерть оз­
наменовала значительные перемены в отношениях Энни с Сэмом
и остальными членами семьи. У Энни были разногласия с семьей,
особенно с мамой, по поводу ее жизненных решений, таких как
отход от традиционной медицинской карьеры и выбор естествен­
ных методов преодоления стресса вместо Золофта. Отец был ее
главным помощником, и без него она чувствовала себя оторван­
ной от семьи, но все равно жаждала их одобрения. К сожалению,
конфликты из-за денег привели к разрыву в их отношениях.
После смерти отца в 2018 году Энни жила в Лос-Анджелесе.
Она работала на полставки помощником писателя, а позже - в
диспансере марихуаны. Энни унаследовала около 100 ООО долла­
ров от страховки жизни отца. Она углубилась в свою страсть к ис­
кусству и перформансу как к серьезной карьере. Энни брала уроки
комедии, посещала открытые микрофоны, завела подкаст и пре­
вратила первый черновик своей книги в шоу для одной женщи­
ны под названием The HumAnnie. К середине 2019 года большая
часть средств закончилась, они были потрачены на ее творческие
занятия, высокую арендную плату, медицинскую страховку и ме­
дицинские расходы, такие как обследование, терапия и транспор­
тировка на прием к врачу.
То, что произошло дальше, стало для Энни началом конца
ее отношений с семьей. В мае 2019 года, на фоне непрекращающихся хронических болей, она обнаружила, что отец оставил ей

353


Эндрю Слоун

Нейросети лжи

свой 401(k). Она оставила работу и составила шестимесячный
план использования дополнительных денег - около сорока тысяч
долларов - для решения проблем со здоровьем и запуска своих
творческих проектов, чтобы создать устойчивый доход. Однако
ее мать, которая контролировала пенсионные фонды отца, сооб­
щила Энни, что она не получит эти деньги. В электронном письме
Гибстайн, ее мать, объяснила, что наилучший налоговый подход хранить средства на счете с отсрочкой уплаты налогов на ее имя
и передать их Энни через траст, когда ей исполнится пятьдесят
девять с половиной лет. Гибстайн подчеркнула важность финан­
совой независимости для долгосрочного удовлетворения, лич­
ностного роста и безопасности, заявив, что они не будут оказы­
вать финансовую поддержку, когда наследство Энни закончится.
Письмо было подписано «Мама, Сэм, Макс, Джек».
Энни была хрупкой. В записях ее психотерапевта говорилось,
что переезд семьи, призванный помочь ей, на самом деле ухуд­
шил ее состояние. В декабре 2019 года ее банковский счет стал
отрицательным. Ранее в том же году Сэм добился первых инве­
стиций Microsoft в OpenAI в размере 1 миллиарда долларов, и
компания сосредоточилась на обучении GPT-3. Чувствуя страх
и изоляцию, Энни обратилась в эскорт-сервис под названием
SeekingArrangement. Она показала свою грудь мужчине по виде­
освязи, чтобы заработать деньги и вернуть свой счет к положи­
тельному значению.
Энни никогда раньше не просила денег у матери или брать­
ев. Она не ожидала, что будет зависеть от их богатства, но также
не думала, что они бросят ее в чрезвычайной ситуации. С конца
2019 года до середины 2020 года Энни неоднократно обращалась
за финансовой помощью к своей семье, особенно когда пандемия
ухудшала ее положение. После двух сеансов семейной терапии с
Сэмом и ее матерью они решили оказывать ей финансовую под­
держку в течение года.

354


Цифровая диктатура начинается

В общении с семьей видно, что они были обеспокоены тем, что
деньги могут привести к пагубному поведению. Они считали, что
лучший способ помочь ей восстановить психическое здоровье - это
поддержать ее финансовую независимость. И. заявлении Гибстина,
и в публичном заявлении семьи говорится, что их действия были
основаны на советах специалистов о том, как лучше помочь Энни.
В мае 2020 года, когда финансовая поддержка семьи закон­
чилась, а Энни все еще испытывала трудности, она попросила о
дополнительной помощи, чтобы оплатить сеансы физической
и разговорной терапии, которые стоили 45 и 15 долларов США
каждый. Они отказались, предложив ей самостоятельно оплатить
июньские расходы, в том числе использовать залог, который она
должна была получить. Собрав свои немногочисленные вещи, она
отправилась на Гавайи, где она была, когда отец в последний раз
навещал ее перед смертью. Она нашла работу на ферме, выполняя
легкую физическую работу - прополку и посадку. Сэм связался с
ней, чтобы узнать ее новый адрес. Спустя восемь месяцев после
смерти отца он попросил всех братьев и сестер прислать маме
прядь волос, чтобы соединить их с прахом отца и сделать брил­
лиант для каждого из них. Он объяснил, что бриллианты будут
состоять в основном из углерода, полученного от отца, но также
будут содержать небольшое количество углерода от каждого из
них. Бриллиант Энни уже был готов, и Сэм хотел отправить его ей.
Энни почувствовала себя оскорбленной письмом Сэма. Ей не
нужен был дорогой бриллиант; она нуждалась в его поддержке на
еду и жилье. Она не могла понять, не понимает ли Сэм ее кризиса
или ему наплевать на него. Казалось, что пропасть между ней, Сэ­
мом и ее богатой семьей невозможно преодолеть. Переполненная
болью и горем, она прервала общение с ними.
В течение следующих трех лет, пока Элизабет Вайл не обрати­
лась к ней за помощью, жизнь Энни достигла дна. Она столкну­

355


Эндрю Слоун

Нейросети лжи

лась с нехваткой жилья, еды и здоровья, а чтобы свести концы с
концами, прибегла к виртуальной и физической секс-работе. Се­
мья заявила, что пыталась разными способами поддержать Энни
и помочь ей обрести стабильность. По словам Энни, одна из форм
поддержки была оказана весной и летом 2021 года, когда Сэм по­
пытался восстановить с ней отношения. У них было три телефон­
ных разговора, в которых он выражал свою любовь и предлагал
купить ей дом. Энни поняла это предложение как проживание в
доме, а не владение им, чтобы не дать ей продать его, опасаясь,
что Сэм и их мать могут повлиять на ее здоровье и карьерные ре­
шения. Гибстайн упомянул, что семья предложила Энни стать вла­
дельцем дома, но не предоставил подтверждающих документов.
В публичном заявлении семьи упоминается, что она предложила
Энни купить дом через траст, чтобы она не смогла сразу же его
продать. В конце концов Сэм согласился в течение года напрямую
платить арендную плату ее домовладельцу. Когда летом 2022 года
Энни не вышла на связь, выплаты прекратились.
История Энни усложняет противоречивые представления
людей о Сэме. Он представляется одновременно щедрым и ко­
рыстным, приятным и угрожающим, благодетелем для многих, но
в то же время причиной личной боли для других. На людях Сэм
выглядит искренним и альтруистичным, но его личные поступки
раскрывают более сложные мотивы. Он умеет как давать, так и
отнимать, заставляя многих чувствовать себя пешками в игре, ко­
торую понимает только он сам, с конечной целью сохранить свою
власть.
История Энни усложняет оптимистичный рассказ Сэма и дру­
гих руководителей OpenAI о том, что ИИ принесет изобилие.
Альтман верит, что ИИ искоренит бедность, Брокман считает, что
AGI значительно улучшит здравоохранение, а Суцкевер предска­
зывает, что он произведет революцию в доступной психотерапии.
Однако суровая реальность, с которой сталкиваются рабочие

356


Цифровая диктатура начинается

в Кении, активисты в Чили и сестра Альтмана, несущая на себе
основную тяжесть этих проблем, заставляет эти мечты казаться
пустыми.
Несмотря на достижения в области искусственного интеллек­
та, ни один из них не облегчил отчаяния Энни. Более того, ИИ
мог еще больше загнать ее в ловушку. Она не хотела прибегать
к секс-работе; это было крайнее средство. Когда ее хронические
боли обострились, сделав обычную работу слишком тяжелой, она
попыталась заработать на своем творчестве в Интернете. Она
вела подкаст, магазин на Etsy и аккаунт на Patreon, но они не при­
носили достаточно денег. Она заметила странную тенденцию: ее
посты в социальных сетях получали очень мало внимания. О т­
зывы о ее подкасте в приложении Apple таинственным образом
исчезали, ограничивая его видимость. В Instagram и на YouTube
она набирала просмотры, но потом внезапно их теряла. Эксперты
предполагают, что первый аккаунт Энни на SeekingArrangement в
декабре 2019 года мог помешать ее присутствию в сети из-за того,
как технологические платформы отслеживают и ограничивают
секс-работников. Почувствовав себя в тупике, Энни вернулась на
SeekingArrangement и завела аккаунт OnlyFans, еще больше пере­
плетая свое присутствие в сети с экономическими возможностя­
ми благодаря алгоритмическому модерированию.
Нейли Мессершмидт, бывший руководитель технологической
отрасли в таких компаниях, как Sony, теперь руководит подраз­
делением велнеса в сети органических ферм. Он познакомился
с Энни в 2016 году, когда она переехала в район залива и стала
сотрудничать с сетью, одновременно придерживаясь здорового
питания. Со временем Мессершмидт стал матерью для Энни по­
сле того, как она отдалилась от своей биологической семьи. «Сэм
представил ИИ миру так же, как он заботился о своей младшей
сестре», - объясняет Мессершмидт. «Он процветает, в то время
как его сестра испытывает трудности».

357


Нейросети лжи

Эндрю Слоун

В конце 2020 - начале 2021 года, после того как Энни отдали­
лась от своей семьи, у нее начались мучительные воспоминания
о сексуальном насилии в детстве. Во время сеансов с июля 2021
года по январь 2022 года с новым травматологом на Мауи в запи­
сях фиксировалась борьба Энни с непроизвольными воспоми­
наниями и сомнениями в своей идентичности. Диагностические
заключения терапевта, сделанные по результатам пятнадцати
сеансов, включали генерализованную тревогу, посттравматическое стрессовое расстройство и историю сексуального насилия
в детстве.
В записях не упоминался конкретный насильник. Однако при­
мерно в это время Энни начала регулярно звонить Мессершмидту.
Мессершмидт, изнасилованная в девятнадцать лет, заметила при­
знаки насилия в Энни еще в начале работы в сети органических
ферм. «Она казалась неспокойной рядом с некоторыми мужчи­
нами», - вспоминает Мессершмидт. Я могу распознать человека,
подвергшегося насилию». Она просила покинуть собрание, когда
там присутствовали определенные мужчины, и оставалась в сто­
роне, когда они находились в комнате».
В ходе напряженных эмоциональных бесед Энни описывала
Мессершмидту свои внезапные воспоминания. Она рассказала
Мессершмидту, что в этих детских воспоминаниях именно Сэм
неоднократно забирался к ней в постель, иногда вместе с Джеком,
и приставал к ней.
Важно отметить, что доказать обвинения в сексуальном наси­
лии в детстве спустя десятилетия может быть непросто. Психо­
логия выявила общую закономерность, согласно которой жерт­
вы насилия могут блокировать воспоминания до тех пор, пока
какой-нибудь спусковой крючок не вернет их обратно поневоле.
Тело сохраняет травму даже тогда, когда разум этого не делает.
По мере того как Энни все глубже погружалась в секс-бизнес, она
могла столкнуться с внезапным приливом триггеров.

358


Цифровая диктатура начинается

Подробно описывая переживания Энни, связанные с ее флэ­
шбэками, рассказанные Мессершмидту и частично отраженные в
записях ее травматолога, мы не ставим перед собой задачу точ­
но определить, что произошло в детстве Энни. Вместо этого не­
обходимо восстановить объяснение того, что она пережила и во
что поверила, став взрослой. Это в конечном итоге и побудило ее
высказаться.
В ноябре 2021 года Сэм оплатил ее аренду, в то время как Энни
впервые публично рассказала о своих обвинениях. Она написа­
ла в Twitter о том, что испытывала различные формы насилия
со стороны своих биологических братьев и сестер, в основном
от Сэма Олтмана и немного от Джека Олтмана. Она выразила
твердую уверенность в том, что другие люди также могли под­
вергаться насилию со стороны этих людей. Энни ищет людей,
которые присоединились бы к ней в поисках правосудия, обе­
спечения безопасности для других в будущем и содействия груп­
повому исцелению.
Ее пост не получил распространения, потому что у нее было
мало подписчиков. Профиль Сэма набирал популярность бла­
годаря успехам OpenAI с GPT-3 и GitHub Copilot. К сожалению,
тролли набросились на Энни, утверждая, что она не является на­
стоящей родственницей своего брата.
В последующие месяцы с Энни связались два репортера, но она
не решалась поделиться подробностями. В сентябре 2022 года она
решила говорить открыто. Упомянув Сэма и Джека, она написала
в Твиттере о том, что пережила различные формы насилия: сек­
суальное, физическое, эмоциональное, словесное, финансовое и
технологическое, которые она никогда не забудет.
Десять месяцев спустя, в июле 2023 года, после выхода ChatGPT
и взлета Сэма к мировой звезде, Энни получила сообщение от
Элизабет Вайл из Нью-Йорка.

359


Эндрю Слоун

Нейросети лжи

После публикации статьи в журнале New York доход Энни от
OnlyFans за три месяца вырос более чем в 10 раз - с примерно 150
долларов до более чем 1500 долларов в месяц. В какой-то момент,
во время кризиса на форуме, ее доход достиг примерно 5 500 дол­
ларов в месяц. Она перестала заниматься эскортом и сосредото­
чилась исключительно на виртуальном сексе.
Семья, или, как называет их Энни, ее родственники, утвержда­
ет, что они оказывали финансовую помощь на протяжении мно­
гих лет. После семейной терапии они согласовали план поддерж­
ки, и Сэм платил за квартиру с середины 2021 по середину 2022
года. Однако Энни сочла эту помощь недостаточной, поскольку
от отчаяния она уже прибегла к секс-работе. Другие предложения
поддержки, например дом, часто сопровождались ограничениями
или условиями, на которые она не могла согласиться.
В июле 2023 года Сэм отправил Энни сообщение с предложе­
нием денег без каких-либо видимых условий. Ранее тем же летом
некий человек написал им обоим письмо с энергией интернет-и­
щейки, попросив Энни объяснить свои утверждения. Энни отве­
тила подробным рассказом о своих последних событиях. Сэм на­
ходился в своем мировом турне, набирая популярность. 5 июня
во время успешной беседы с Суцкевером в Тель-Авивском уни­
верситете в Израиле Энни в кратких и емких фразах рассказала
о жестокости, с которой ей пришлось столкнуться в последние
годы.
Он ответил в верхнем регистре 9 июля, после окончания сво­
его мирового турне. Он извинился за задержку, сказав, что ему
потребовалось время, чтобы решить, что сказать. Он заявил, что
не хочет постоянных отношений, но готов оказывать финансовую
поддержку в связи с ее проблемами со здоровьем. Он предложил
возобновить прежнюю договоренность или сделать единовремен­
ную выплату. Он не согласился со м н о г и м и пунктами ее письма,
но посчитал, что спорить бессмысленно.

360


Цифровая диктатура начинается

К тому моменту Энни уже не нужны были деньги Сэма, она
просто хотела получить доступ к деньгам, которые остались у ее
отца. Она так и не ответила на письмо Сэма.
В дополнение к своему 401(k) отец оставил траст под управ­
лением ее матери. В начале 2024 года, когда ее доход увеличил­
ся, Энни наняла собственного адвоката и обнаружила, что траст
ее отца был профинансирован в 2023 году. Поскольку ее история
привлекла внимание, семья начала обсуждать через адвоката Гибстина возможность ежемесячно перечислять Энни средства из
траста без каких-либо условий. Это впервые дало Энни реальную
возможность вести переговоры. Семья заявила в своем публич­
ном объявлении, что планирует предлагать Энни ежемесячную
финансовую помощь «до конца ее жизни».
Получив новые средства, Энни сняла свою первую за четыре
года квартиру. Вскоре после этого она наняла другого адвоката,
чтобы подготовить дело о сексуальном насилии над ребенком
против Сэма и подать его до своего тридцать первого дня рожде­
ния 8 января 2025 года. В деле утверждалось, что Сэм подвер­
гал ее сексуальному насилию с трех лет до совершеннолетия, и
требовалось возместить ущерб на сумму свыше 75 ООО долларов.
В октябре 2024 года, после ряда медицинских обследований, Энни
получила диагноз по основному заболеванию: гипермобильный
синдром Элерса-Данлоса, то же генетическое нарушение подвиж­
ности, что и у жены Брокмана.
Еще до того, как история Энни была опубликована в статье
журнала New York, Сэм начал сообщать другим, что у его сестры
пограничное расстройство личности. Он подчеркнул, что это част­
ная и деликатная тема. Один человек отметил, что он уже смягчил
воздействие ее истории до того, как она была опубликована.
При пограничном расстройстве личности возникают трудно­
сти с эмоциональной регуляцией, что приводит к напряженным

361


Эндрю Слоун

Нейросети лжи

отношениям с крайней идеализацией и страхом быть брошенным.
Энни отрицает, что у нее когда-либо было диагностировано это
расстройство, и в ее записях и медицинских картах оно не упоми­
нается. В августе 2021 года травматолог на Мауи обследовал Энни
на предмет этого расстройства, часто связанного с сексуальным
насилием в детстве. Терапевт отметил историю сексуального на­
силия, но не подтвердил расстройство в окончательных диагно­
стических заключениях.
Два психотерапевта, с которыми я консультировался по по­
воду пограничного расстройства личности, подчеркнули, что это
расстройство часто проходит само собой или при соответствую­
щем лечении, таком как медитация и поведенческая терапия. Эти
методы помогают укрепить чувство собственного достоинства,
что Энни и сделала. Однако она не стала принимать психотроп­
ные препараты, как предлагает Гибстин, на что, похоже, намека­
ет семья, говоря об отказе Энни от традиционного лечения. Блез
Агорре, доцент кафедры психиатрии Гарвардской медицинской
школы, который лечил множество пациентов с пограничным рас­
стройством, заявил, что прогноз для этого расстройства в целом
положительный, и у большинства людей наблюдается улучшение.
В апреле 2024 года Ханна В о н г , вскоре получившая должность
главного специалиста по коммуникациям OpenAI, обсудила со
мной психическое здоровье Энни. Команда Вонг обещала в те­
чение шести месяцев организовать посещение офиса и интервью
с ключевыми руководителями и сотрудниками OpenAI. Однако
через пять месяцев они передумали. Всего за десять дней до мо­
его запланированного вылета в Сан-Франциско, чтобы посетить
штаб-квартиру компании, они сообщили мне, что меня больше не
ждут в офисе и не будут участвовать в работе над моей книгой.
За несколько дней до запланированной поездки в Сан-Фран­
циско я упомянул кому-то, кто знал Сэма и Энни, что разговаривал
с ней. На следующий день Вонг написала мне сообщение с вопро­

362


Цифровая диктатура начинается

сом: «Я слышала, ты в городе?». Это было странно, учитывая цель
моей поездки. Мы встретились в Philz Coffee в Миши-Бей, недалеко
от нового офиса OpenAI. После непринужденной беседы и кратко­
го обсуждения моей книги она переключила внимание на Энни.
«Не думаю, что я перехожу границы дозволенного, говоря, что
у Энни есть проблемы с психическим здоровьем, - сказал Вонг.
На тот момент я еще не обращалась в OpenAI по поводу Энни и
не поднимала ее в разговоре первой». «У Энни бывают и хорошие
дни, и очень плохие», - продолжила она, добавив, что семья изо
всех сил пытается найти баланс между защитой Энни и ее под­
держкой. Вонг еще раз подчеркнула этот момент, отметив, что се­
мья не отрицает публично то, что сказала Энни, подчеркивая, что
они сосредоточены на ее защите. Она также упомянула о том, что
на курсах журналистики обсуждался вопрос об этичности вклю­
чения Энни в профиль Вайля. Вонг предложила мне подумать и об
этом аспекте.
Стало ясно, что основное сообщение, которое хотел передать
Вонг, касалось истории Энни. Она не ответила напрямую на мою
просьбу обсудить книгу, а общалась только через заместителя. То,
что она уделила особое внимание истории Энни, свидетельство­
вало о давлении, которое она оказывала на Сэма, и о тесной связи
между компанией и личными проблемами Сэма.
Комментарии Сэма и Вонга о психическом здоровье Энни на­
помнили мне еще об одном сходстве между ситуацией Энни и
многих других людей, пострадавших от господства империй ИИ.
С тех пор как Энни решила поделиться своей историей, она стол­
кнулась с той же динамикой власти, с которой сталкиваются ра­
ботники сферы данных и активисты. Ее жизнь была сосредоточе­
на на сборе документации, чтобы ее голос был услышан. Иногда
она чувствовала себя подавленной, считая, что мир сговорился
против нее, несмотря на ее попытки высказаться. Эта потеря кон­
троля и разочарование мне знакомы, поскольку я был свидетелем

363


Эндрю Слоун

Нейросети лжи

того, как люди по всему миру бросали вызов могущественным
организациям, а те без труда оказывали свое влияние, располагая
огромными ресурсами, инфраструктурой и способностью влиять
на мнение людей одними лишь словами, произнесенными на ме­
роприятиях, в Конгрессе, перед мировыми лидерами или в СМИ.
В случае с Энни, прочитав профиль Вайля, она перестала чув­
ствовать себя неуслышанной. В октябре 2022 года ее твиты начали
распространяться, привлекая внимание кое-кого важного: Ильи
Суцкевера. Он переживал свои собственные смешанные эмоции
по поводу Альтмана и того, что он считал жестоким поведением
Альтмана.

364


Часть IV
Глава 15
Гамбит
Через четыре дня после того, как Вайл опубликовал в журна­
ле New York характеристику Альтмана, и за четыре дня до того,
как Суцкевер отправил сообщение Тонеру, независимый директор
совета директоров встретился с другим руководителем OpenAI,
директором по технологиям Мирой Мурати.
Мурати родилась в Албании и с ранних лет научилась сохра­
нять спокойствие среди хаоса. В раннем детстве она была свиде­
телем того, как страна переходила от тоталитарного коммунизма
к либеральному капитализму. Этот переход произошел быстро,
что привело к стремительному распространению финансовых пи­
рамид, а затем к их краху, повлекшему за собой массовые беспо­
рядки и насилие. После этого остались воронки от бомб, которые
Мурати приходилось осторожно преодолевать по дороге в шко­
лу. Учитель заверил ее, что они будут поддерживать ее до тех пор,
пока она будет готова упорствовать.
Родители Мурати были учителями литературы, но она нахо­
дила утешение в уверенности цифр. Ее страсть к математике вос­
питывали учителя, которые ставили перед ней сложные задачи,
чтобы ускорить процесс обучения. Любовь к науке - химии, био­
логии, физике - подтолкнула ее интерес к технологиям. Она очень
любила учиться, поглощала все книги , которые могла найти, даже
закончила свои собственные учебники и изучила коллекцию стар­
шей сестры. Она не терпела соперничества, участвовала в мате­
матических и научных олимпиадах, ожесточенно соревнуясь за
знания со своими сверстниками.

365


Эндрю Слоун

Нейросети лжи

Когда ей было шестнадцать лет, благодаря своей находчивости
она получила стипендию на обучение в канадской частной школе
Pearson College UWC в Виктории, Британская Колумбия. Эта воз­
можность подтолкнула ее к успешному пути, который привел ее в
Дартмутский колледж, где она изучала машиностроение, в аэро­
космическую компанию и, в конце концов, к первому значитель­
ному карьерному прорыву в Tesla. В компании Tesla она занимала
должность старшего менеджера по продукции Model Х.
В Tesla она научилась создавать сложные продукты под силь­
ным давлением, ориентироваться и вести переговоры в командах
с разными мнениями и опытом. Когда компания занялась разра­
боткой автономного вождения, она обнаружила, что ее привле­
кает искусственный интеллект. Чем больше она изучала ИИ, тем
больше убеждалась в том, что он является важнейшим инстру­
ментом, необходимым для решения сложных задач. Позже она по­
делилась с Кевином Скоттом в его подкасте, что ИИ стал важным
направлением в их работе.
Мурати не сразу начала работать в области ИИ. После трех
лет работы в Tesla она стала вице-президентом по продуктам и
инженерии в Leap Motion. Она сосредоточилась на системах до­
полненной и виртуальной реальности, представляя, как компания
преобразует образование, позволяя учащимся взаимодействовать
с нитями ДНК или управлять физикой движущихся объектов. Од­
нако технологии компании опережали свое время, так как VR и
AR все еще вызывали дискомфорт у многих пользователей. В 2018
году она присоединилась к OpenAI, которая на тот момент была
некоммерческой организацией.
В OpenAI Мурати продолжила восхождение. Когда некоммер­
ческая организация перешла к коммерческой деятельности, она,
естественно, стала вице-президентом по приложениям и пар­
тнерствам. Она управляла важнейшими отношениями компании
с Microsoft и растущим подразделением, коммерциализирующим

366


Цифровая диктатура начинается

ее исследования. Несмотря на то что она была моложе Альтмана,
Суцкевера и Брокмана, некоторое время она была единственной
женщиной-технологом в высшем руководстве. Это привело к сексизму со стороны некоторых исследователей, которые предпочи­
тали ранние дни работы в лаборатории и считали ее недостаточно
техничной, скорее инженером, чем ученым. Они рассматривали ее
продвижение как признак того, что OpenAI отходит от серьезных
фундаментальных исследований.
Действительно, в мире ИИ, где доминируют неуклюжие, за­
нудные, полные тестостерона личности, Мурати выделялась. Она
умела общаться с людьми, была хорошим слушателем и не облада­
ла большим самомнением. Известная своими исключительными
навыками решения проблем, она умело справлялась с внутренни­
ми конфликтами OpenAI, ведя компанию вперед, рассматривая
различные идеи и точки зрения и принимая жесткие решения,
когда это было необходимо. Бывший коллега охарактеризовал ее
как человека, умеющего находить решения чрезвычайно сложных
проблем, на которые не существует однозначного ответа.
Среди множества ролей Мурати часто выступала в роли пере­
водчика и связующего звена с Альтманом. После раскола Антропы Альтман попросил ее курировать как прикладные, так и ис­
следовательские направления. В мае 2022 года она была назначена
главным технологом. Поскольку ей подчинялось больше команд,
она стала важным связующим звеном для сотрудников с Альтма­
ном. Она вносила любые изменения в стратегию компании, кото­
рые предлагал Альтман, и поддерживала команды, оспаривающие
его решения.
Даже среди руководства компании она имела значительное
влияние на Альтмана и доступ к его мнению, которого не хватало
другим. Она могла напрямую сообщить ему, когда его ожидания
или планы были нереальными, и он обычно обращал на это вни­
мание. Она также прямо сообщала другим, если он чего-то не хо­

367


Нейросети лжи

Эндрю Слоун

тел, даже если он делал вид, что это не так. Когда люди не могли
добиться от Альтмана четкого ответа, они обращались к ней за
помощью в понимании его мнения. Другой бывший коллега опи­
сывает ее как честную и эффективную в решении поставленных
задач.
Чем больше Мурати работала с Альтманом, тем чаще ей прихо­
дилось разгребать его проблемы. Когда две команды расходились
во мнениях, он в частном порядке соглашался с мнением каждой
из них, вызывая путаницу, конфликты и недоверие среди коллег.
Эта модель поведения усугубляла хаос, вызванный Брокманом,
который вел себя как второй генеральный директор, но плохой,
имея свое мнение и подталкивая людей к выгоранию. Во время
разработки GPT-4 динамика Альтмана и Брокмана создавала вы­
сокий уровень стресса, что практически привело к увольнению
ключевых сотрудников команды, занимавшейся предваритель­
ным обучением.
Затем был Наделла, который, по сути, выступал в роли третьего
генерального директора OpenAI из-за того, что Альтман прислу­
шивался к интересам Microsoft. Несмотря на усилия Мурати по
созданию разумного плана обязательств OpenAI перед Microsoft,
Альтман часто отклонялся от него при обсуждении с руководите­
лями Microsoft, соглашаясь с требованиями, не соответствующи­
ми дорожной карте стартапа. Альтман представлял ситуацию со­
вету директоров по-другому, предполагая, что у Мурати не было
продуктивных отношений с ключевым партнером OpenAI.
Поведение Альтмана ухудшилось после того, как компания
ChatGPT сделала его мегазвездой, увеличив внимание к нему и
требования к поездкам. Ранее энергичный, он теперь чувствовал
себя истощенным и тревожным, что привело к появлению де­
структивных моделей поведения. Он начал соглашаться со всеми
лично, но за спиной ругать их, вызывая путаницу и конфликты в
компании. Руководители команд последовали его примеру, создав

368


Цифровая диктатура начинается

еще больший хаос. Столкнувшись с жесткой конкуренцией, Аль­
тман ускорил процессы в компании, иногда нечестно. Он ложно
утверждал, что юридическая команда OpenAI одобрила пропуск
DSВ-обзора для GPT-4 Turbo, но Джейсон Квон, руководитель
юридической команды, не знал об этом, когда Мурати проверил
его.
Летом Мурати попыталась дать Альтману подробную обрат­
ную связь по растущим проблемам, надеясь, что это приведет к
самоанализу и переменам. Вместо этого он проигнорировал ее, и
потребовалось несколько недель, чтобы восстановить их отноше­
ния. Она заверила его, что не делилась отзывами ни с кем другим.
Она заметила, что он обращался с другими руководителями ана­
логичным образом: если они не соглашались с ним, он исключал
их из процесса принятия важных решений или подрывал их авто­
ритет. Такое поведение было тонким и скрытым от сотрудников,
поэтому ей было трудно осознать его масштабы в течение многих
лет. В конце концов, подобное отношение к себе испытали и дру­
гие руководители. Со временем его действия оказали негативное
влияние на высшее руководство организации.
Совсем недавно «горячее кресло» перешло к Суцкеверу. Неко­
торое время назад Якуб Пахоцкий, польский исследователь, воз­
главлявший проект AI Scientist, доложил Суцкеверу. Пачоцки был
разочарован отсутствием признания и авторитета и обратился за
помощью к Брокману, который затем привлек Альтмана. Альтман
поддержал амбиции Пачоцки и предоставил ему более высокую
должность в Research, не поставив в известность Суцкевера. О т­
сутствие связи привело к путанице, поскольку Суцкевер и Пачоки
получили разные инструкции от Олтмана, в результате чего они
вели одни и те же исследования в противоречивых направлениях
и пытались понять причину несоответствия.
Запутанная ситуация в исследовательском отделе привела к
многомесячному организационному хаосу. Подобно кризису в

369


Эндрю Слоун

Нейросети лжи

предтренировочной группе ГПТ-4, она становилась крайне на­
пряженной. Для Суцкевера продолжающаяся сага была очень
неприятной. Она не только повлекла за собой унизительный от­
каз со стороны Альтмана, но и нанесла ущерб его дружбе с Пачоцки, которую они выстроили за годы напряженной совмест­
ной работы.
Мурати снова работала сверхурочно, чтобы найти решение, по­
тратив значительное количество времени на понимание ситуации.
Ей нужно было заставить Суцкевера и Пачоки согласовать план,
не дать Брокману повлиять на Альтмана и обеспечить последо­
вательность действий Альтмана на личных встречах. Однако эти
действия не решали основной проблемы. Очередной кризис выс­
шего руководства казался неизбежным. OpenAI требовалось уси­
лить механизмы управления и подотчетности.
Во время отсутствия Мурати Альтман, похоже, была больше
всего обеспокоена тем, что она могла бы поделиться своими от­
зывами с советом директоров, но не сделала этого. Она предпо­
читала решать вопросы непосредственно с ним, а не привлекать
совет директоров, поскольку сомневалась, что это обеспечит по­
дотчетность. Она давно критиковала структуру совета директо­
ров, особенно наличие трех соучредителей в независимом совете
некоммерческой организации. Многие независимые директора не
были по-настоящему независимы от Альтмана, имея финансовые
связи или пользуясь его сетями. Она заметила его инвестиции в
стартапы и политические пожертвования для налаживания отно­
шений. Альтман предлагал помощь, но она всегда отказывалась,
избегая влезать к нему в долги.
Если это было подходящее время для обращения в совет ди­
ректоров, то сейчас, возможно, настал момент наладить более
тесную связь. В конце сентября она приедет в Вашингтон, где жи­
вет Тонер, чтобы выступить на ежегодном фестивале идей The
Atlantic. В настоящее время совет директоров ищет новых членов,

370


Цифровая диктатура начинается

и следующее пополнение может повлиять на его независимость.
Альтману требовался надлежащий надзор. Мурати связался с То­
нером, чтобы встретиться за чашкой кофе.
Тонер счел контакт Мурати необычным, но в какой-то степе­
ни ожидаемым. Тонер был членом совета директоров, а Мурати руководителем, так что для Мурати было логично инициировать
разговор.
29 сентября 2023 года кофе выглядел стандартно. Мурати пред­
ставил обновленную информацию о компании: OpenAI будет за­
рабатывать много денег без проблем. Ключевыми событиями ста­
ли модель Gobi и недавняя сделка с Microsoft. Она также занима­
лась кадровыми вопросами, связанными с динамикой Альтмана и
Брокмана, на этот раз с участием Суцкевера и Пачоки.
Лишь одно обстоятельство несколько удивило Тонера: Аль­
тман давил на компанию, требуя настолько быстрых поставок,
что Мурати опасался, что это может привести к негативным
последствиям.
Тонеру показалось очень необычным получить электронное
письмо от Суцкевер несколько дней спустя. За два года их со­
вместной работы в совете директоров он ни разу не связывался с
ней лично. В письме содержалась просьба о встрече на следующий
день. 4 октября он очень нервничал и с трудом говорил.
Тонер взяла на себя инициативу и выразила свою озабочен­
ность созданием сильного совета директоров для контроля над
компанией. Она подчеркнула, что это их общая цель.
Суцкевер неожиданно рассмеялся и нехарактерным для него
образом надул губы. «Я полностью согласен», - сказал он, под­
разумевая, что другие не согласны.
«Все согласны», - любезно сказал Тонер.
Суцкевер закатил глаза.
Тонер объяснила, что независимые члены совета хотели бы
усилить совет, назначив нового директора с опытом работы в об­

371


Нейросети лжи

Эндрю Слоун

ласти безопасности ИИ. Она будет рада выслушать его альтерна­
тивные идеи.
Суцкевер быстро разобрался в ситуации и подчеркнул, что
правлению важно быть хорошо информированным и вниматель­
ным к текущим событиям.
Тонер попытался выяснить, что, по его мнению, является наи­
более важной информацией, которую необходимо знать совету
директоров.
Суцкевер сделал паузу, тщательно подбирая слова. «Я не реша­
юсь прямо ответить на ваш вопрос, - сказал он, - потому что если
бы я это сделал, вы бы поняли, почему».
«На самом высоком уровне OpenAI - сложная среда, - продол­
жил он, - она сложнее, чем кажется со стороны».
«Может быть, я посплю и пойму, есть ли какие-то конкретные
детали, которыми я могу поделиться», - осторожно добавил он.
Тем временем он порекомендовал Тонеру поговорить с Мура­
ти. У Мурати будет больше информации о ситуации.
Мурати получил ответ от Тонера спустя неделю. После заседа­
ния совета директоров Тонер упомянул, что заметил что-то нео­
бычное. Мурати согласился с замечанием Тонера, и они решили
поговорить еще раз.
Это было 15 октября 2023 года. Тонер начал разговор с просто­
го вопроса: «Как идут дела? Есть ли что-нибудь, что совет должен
знать?»
Мурати тщательно подбирала слова, понимая всю деликат­
ность ситуации. Она повторила фразу Суцкевера, намекая на
сложность ситуации. Она не могла рассказать обо всем, особенно
о самых деликатных моментах, ведь сказанное однажды не может
быть не сказано. Это было крайне важно, особенно если учесть,
что Альтман чувствовал себя под угрозой в роли генерального
директора.

372


Цифровая диктатура начинается

Последнее, похоже, удивило Тонера. Альтману угрожали? Со­
вет директоров пытался внедрить более эффективные механизмы
управления, чтобы ограничить ero власть, но они никогда не соби­
рались угрожать ero положению или обсуждать ero отстранение,
объяснил Тонер.
Мурати объяснил, что Альтман был очень тревожным челове­
ком, у которого часто возникали глупые идеи, особенно под вли­
янием Брокмана. Тревожность Альтмана привела к токсичному
поведению, которое строилось по следующей схеме: он говорил
людям то, что они хотели услышать, чтобы заручиться их под­
держкой, но если они выступали против него, он дискредитиро­
вал их до тех пор, пока они не отступали. Такое поведение нанесло
значительный ущерб в недавнем конфликте между Суцкевером и
Пачоки, в результате чего Суцкевер был очень расстроен.
Мурати объяснил, что совет должен был убедиться в том, что
седьмым директором не будет назначен союзник Альтмана. Им
также нужно было следить за тем, как Microsoft использует тех­
нологии OpenAI и DSB. Она не могла рассказать больше, так как
Олтман встревожился бы, узнав о ее разговоре с Тонером. Токсич­
ность руководства на высоком уровне была неустойчивой, и в бли­
жайшие шесть-девять месяцев необходимо было что-то менять.
Тонер должен поговорить с Ильей, - закончил Мурати, - и уз­
нать, чем ему будет удобно поделиться.
Когда Суцкевер впервые связался с Тонером, у него было много
забот. В течение года, наблюдая за стремительным ростом OpenAI,
он все больше беспокоился о скором приходе AGI. Он думал о зна­
чительных изменениях, которые она принесет, о необратимости
этих изменений и об ответственности OpenAI за то, чтобы обе­
спечить будущее великого изобилия, а не великих страданий.
Затем ero охватило еще одно беспокойство: ослабление веры в
то, что OpenAI сможет достичь AGI и нести эту ответственность
с Альтманом в качестве лидера.

373


Эндрю Слоун

Нейросети лжи

После ChatGPT работа в OpenAI и продвижение внутри орга­
низации стали высоко цениться в Кремниевой долине. Это при­
вело к усилению конкуренции и офисной политики среди руково­
дителей команд. Альтман усугубил ситуацию, отмечает Суцкевер.
Вместо того чтобы разрешать конфликты, он говорил людям то,
что они хотели услышать, чтобы достичь собственных целей, ча­
сто прибегая ко лжи. По словам Суцкевера, Брокман также спо­
собствовал возникновению хаоса. Первоначальные соучредители
больше не рассчитывали на поддержку друг друга, вспоминая о
первых днях, когда они представляли себе потенциал OpenAI.
По мнению Суцкевера, в результате получилась самая токсич­
ная комбинация: бесцельная, хаотичная и предательская среда, в
которой люди больше не обменивались информацией и не имели
основы доверия для согласования критически важных решений.
Эта междоусобица подрывала две основы миссии OpenAI: замед­
ляла исследовательский прогресс и сводила на нет все шансы на
принятие обоснованных решений по безопасности ИИ.
А теперь он еще и пострадал от поведения Альтмана.
После первого разговора с Тонером 4 октября Суцкеверу было
трудно заснуть из-за стресса. Тонер казалась наиболее безопас­
ным независимым директором совета директоров. На заседаниях
совета директоров она активно выступала за внедрение жестких
мер управления и безопасности и, похоже, не поддавалась влия­
нию Альтмана. Суцкевер не былуверен в двух других независимых
директорах, Д>Анджело и Макколи. Его беспокоило, как много он
может рассказать Тонеру и какие последствия могут возникнуть,
если Альтман узнает об этом.
Пока Суцкевер размышлял над этими мыслями, постоянные
обвинения Энни в Twitter добавили еще один слой к его растущим
опасениям относительно пригодности Альтмана вести мир к AGI.
После статьи в журнале New York, которая стала предметом ше­
потных разговоров в компании, два старых твита Энни приобрели

374


Цифровая диктатура начинается

неожиданную популярность. Один из них от ноября 2021 года об­
винял Сэма в различных злоупотреблениях, а другой, от 14 марта
2023 года, получил почти 4 ООО лайков и был более подробным.
Мне уже не четыре года, когда тринадцатилетний «брат» без
согласия забирается в мою кровать.
Пожалуйста, помогите вам разобраться в своей сексуальности.
Я наконец-то смирилась с тем, что ты всегда боялся и будешь
бояться меня больше, чем я тебя.
Суцкевер не был уверен, что ее обвинения правдивы, но он счи­
тал, что Энни было трудно расти с Сэмом. Это показало, как дале­
ко в прошлое ушло проблемное поведение Сэма.
Энни использовала слово «жестокое обращение» для описания
Альтмана, что совпадало с собственными наблюдениями Суцкеве­
ра. Ему было трудно понять действия Альтмана в течение долгого
времени, несмотря на ранние признаки его неблагонадежности.
Альтман настаивал на том, чтобы стать генеральным директором
OpenAI, не имея на то четких оснований, говорил мелкую ложь и
получал предупреждения от Амодея в 2020 году. Изначально Суц­
кевер не до конца понял предупреждение Амодея о «психологи­
ческом насилии». Однако по мере того, как поведение Альтмана
ухудшалось, а его влияние росло, Суцкевер стал глубже понимать
этот термин.
12 и 13 октября он посетил выездное совещание со своей ко­
мандой Сверхвыравнивания. Во время выездного совещания они
сожгли еще одно чучело для сплочения команды и обсудили даль­
нейшие действия. 16 октября он повторно созванивался с Тоне­
ром, готовясь поделиться дополнительной информацией.
Он рассказал о ситуации с Пачоки, проиллюстрировав поведе­
ние Олтмана. Олтман мог бы прямо сказать ему, что хочет, чтобы
Пачоки играл более значительную роль. Вместо этого он натравил
Суцкевера и Пачоки друг на друга при помощи Брокмана. Каза­
лось, они жаждали сражаться, не понимая, почему не могут дого­

375


Эндрю Слоун

Нейросети лжи

вориться. Суцкевер сказал: «Избиения будут продолжаться до тех
пор, пока моральный дух не улучшится».
Проблема заключалась в том, что действия Альтмана всегда
были незаметны, поэтому по отдельности они казались незна­
чительными. Однако если рассматривать их в совокупности, то
картина жестокого обращения становилась очевидной. Это был
не просто один инцидент, в котором Илья чувствовал себя оби­
женным; это была часть системы плохого обращения. Были так­
же опасения по поводу его обращения с Амодеем, которые Тонер
должен обсудить, как предлагает Суцкевер. Кроме того, были рас­
пространены обвинения от его сестры. «Это забота о безопасно­
сти иного рода», - пояснил он. В общем, Альтман, иногда вместе
с Брокманом, плохо обращался с людьми, манипулировал и лгал
так часто, что иногда говорил то, во что даже не верил.
При этом Суцкевер добавил, что если они с Тонером решат, что
делать нечего, то им лучше забыть об этом разговоре.
Он хотел обсудить с Тонером один конкретный вопрос, кото­
рый и побудил его связаться с ним. Совет директоров назначил
на конец ноября свое второе ежегодное очное собрание, чтобы
принять решение о новых директорах. Он не считал расширение
совета разумным, так как это может поставить под угрозу незави­
симость. Даже если новые члены не будут лояльны к Альтману, им
будет трудно быстро понять его тактику. Суцкевер полагал, что
привлечь его к ответственности будет не легче, а сложнее.
Он не был до конца уверен в этом мнении; он осторожничал,
желая узнать, что видит Тонер.
Тонер согласилась с тем, что Альтман был скользким. В сво­
ей профессиональной деятельности она видела, как скользкость
на уровне руководства может привести к каскадным проблемам.
Поскольку совет директоров потерял трех членов, которые отно­
сились к Альтману с почтением, она также согласилась с тем, что
теперь необходимо призвать Альтмана к ответу.

376


Цифровая диктатура начинается

Теперь Суцкевер чувствовал себя спокойнее, понимая пози­
цию Тонера. Они оба стремились создать эффективную систему
сдерживания власти Альтмана, несмотря на то что изначально на­
ходились по разные стороны тупика. Если Тонер предлагал ввести
для этой цели дополнительных членов совета директоров, то Суц­
кевер считал наоборот.
Он настаивал на своем, понимая, что его опасения могут по­
казаться Тонеру напряженными и неожиданными из-за сужа­
ющегося окна для решения проблемы. «Совет директоров - это
внешнее выравнивание, а руководство - внутреннее», - пояснил
он. Хотя Тонер предложил OpenAI заняться внешним выравнива­
нием, он считает, что ей следует сосредоточиться на внутреннем
выравнивании.
Тонеру потребовалось время, чтобы обработать информацию.
«Похоже, вы считаете, что необходимо рассмотреть возможность
внесения существенных изменений», - сказала она.
«Да, - ответил Суцкевер. Самой большой проблемой было от­
сутствие явных доказательств того, что Альтман руководил ком­
панией. Совет директоров, вероятно, решил бы, что не может
предпринять никаких действий, назначил бы новых директоров
и пошел дальше.
Тонер предложил несколько альтернативных вариантов. Со­
вет директоров мог бы установить конкретные цели для OpenAI,
чтобы более четко оценить работу Альтмана. Они могли бы вновь
рассмотреть этот вопрос через двенадцать месяцев.
Суцкевер отверг эту идею. Альтман выполнит поставленные
советом задачи, но это не приведет к каким-либо структурным из­
менениям, направленным на решение его поведенческих проблем.
Тонер предложил Брокману выйти из состава совета.
«Это, конечно, могло помочь, - ответил Суцкевер, - но этого все
равно было недостаточно». Брокман ухудшил положение Альтма­
на, но главной проблемой был Альтман. «Я обдумывал запасной

377


Эндрю Слоун

Нейросети лжи

план, связанный с предложением Тонера о Брокмане», - сказал
Суцкевер.
Он остановился перед тем, как раскрыть план А вслух. Когда
они закончили разговор и договорились поговорить на следую­
щей неделе, Суцкевер был уверен, что Тонер начинает понимать.
Мурати столкнулся с очередным кризисом. Незадолго до оче­
редного разговора с Тонером Альтман без объяснения причин
поднял панику по поводу недовольства Microsoft работой OpenAI.
Чтобы разобраться в проблеме, Мурати организовал встречу с ру­
ководителями Microsoft, включая Михаила Парахина, главу Bing.
Встреча прошла лучше, чем ожидалось. Однако она обнару­
жила, что Альтман в очередной раз согласился с одним из тре­
бований Microsoft, не понимая сути работы OpenAI. Это создало
у Microsoft ложные ожидания относительно результатов работы
OpenAI, и ей пришлось снова исправлять ситуацию.
Встреча с Microsoft состоялась 19 октября. 20 октября, во
время третьего совещания, она сообщила Тонеру, что намерена
предоставить Альтману подробный отзыв. Возникло множество
вопросов, когда Альтман соглашался, а она не соглашалась, что
привело к значительной фрагментации в отношениях с Microsoft.
Такая же ситуация сложилась с Суцкевером и Пачоцки, пояс­
нил Мурати. Недавно они договорились о том, как сосущество­
вать в своих ролях. После этого они с Суцкевером попросили Аль­
тмана не менять своего решения в разговоре с Пачоцким, чтобы
угодить ему. Альтман пообещал следовать их договоренности.
Однако ситуация оставалась неопределенной. Брокман мог пого­
ворить с Альтманом от имени Пачоки, пытаясь переубедить его и
снова нарушить равновесие.
По словам Мурати, Брокман был совсем другим человеком.
Недавно он признался ей, что пытался уволить ее во время рабо­
ты над GPT-4. Хотя она была его менеджером и отвечала за оценку
его работы, ситуация вызвала слишком много конфликтов, и она

378


Цифровая диктатура начинается

решила прекратить работу. Позже Мурати рассказала, что хотела
уволить его, но не смогла, так как он был членом совета директо­
ров. Она рассматривала возможность попросить Брокмана выйти
из состава совета, но в итоге не сделала этого. В результате воца­
рился хаос.
«А Мурати знал что-нибудь о ситуации с Энни?» спросил Тонер.
Мурати не спрашивала Сэма об этом, и ей не хватало информа­
ции о том, что произошло в его семье. Она отметила, что если хотя
бы 10 процентов из этого правда, то это очень плохо.
«Я потрясена тем, что, несмотря ни на что, могу хорошо выпол­
нять свою работу», - говорит Мурати. Она делала заметки в ре­
жиме реального времени и могла предоставить дополнительную
информацию, если Тонеру это требовалось.
Тонер ответил, что совет сосредоточится на изменениях, нахо­
дящихся под его контролем, таких как совершенствование про­
цессов и структур управления, а не на попытках изменить лич­
ность или поведение Сэма.
Это соответствовало усилиям Мурати в компании. У нее было
еще одно предостережение для Тонера: «Убедитесь, что ваша ин­
формация исходит не только от Сэма».
Тонер не знала, с какой целью Альтман затеял этот разговор.
Олтман написал ей 25 октября, спрашивая, может ли она погово­
рить в тот день или на следующий. За два дня до этого, 23 октября,
она снова беседовала с Суцкевером. Он оказался более готов к об­
щению после того, как узнал, что Мурати и Тонер тоже разговари­
вали. Суцкевер выразил свои опасения более четко, чем когда-ли­
бо, заявив, что, по его мнению, Сэм не подходит для руководства
AGI. Он отметил, что у совета директоров есть прекрасная воз­
можность решить эту проблему, и предложил заменить Альтмана
на Мурати в качестве временного генерального директора.
Позже Тонер, Макколи и Д,Анджело вместе обсудили ситуацию
и выяснили, что Мурати выразил недовольство тем, что Сэм привел

379


Эндрю Слоун

Нейросети лжи

их в AGI. Это откровение существенно повлияло на их мысли. Если
два главных помощника Альтмана, один из отдела прикладных раз­
работок, а другой из отдела безопасности, разделяли это мнение, то
совет директоров столкнулся с серьезной проблемой.
24 октября Тонер встретился с Д'Анджело и Макколи, чтобы
обсудить совершенствование механизмов надзора совета дирек­
торов. Основная проблема заключалась в том, что некоммерче­
ская организация OpenAI не имела независимой юридической
поддержки, полагаясь на юристов коммерческой организации.
Они решили нанять новых юристов для некоммерческих органи­
заций, которые будут присутствовать на заседаниях совета дирек­
торов и проверять все сделки и юридические соглашения, заклю­
ченные Альтманом.
Тонер задался вопросом, не узнал ли Альтман об этих встречах
и не собирается ли он их прекратить. Однако во время телефон­
ного разговора он затронул другую тему, связанную с научной ста­
тьей, которую она опубликовала в CSET на своей основной работе.
На той неделе Тонер опубликовал три статьи, сосредоточив­
шись на самой плотной и академической. В этой работе обсуж­
далась политологическая концепция под названием «дорогосто­
ящие сигналы», которая исследует проблемы, с которыми стал­
киваются государственные и частные субъекты, сигнализируя
общественности о своих намерениях в отношении регулирования
и развития ИИ. Она была третьим соавтором, а ссылки на OpenAI
встречались на страницах 28-30 шестидесятипятистраничного
документа. Удивительно, но компания больше нигде не упомина­
лась, ни в резюме, ни на сайте, ни в каких-либо презентационных
материалах. Из-за низкой посещаемости документ прочитали
всего несколько человек. Она недоумевала, как Альтман вообще
обратил на это внимание.
Тонер не знал, что статья появилась накануне в Slack OpenAI в
канале #policy-research-chatter. На страницах говорилось о силь­

380


Цифровая диктатура начинается

ных и слабых сторонах стратегий выпуска моделей OpenAI и
Anthropic. Они похвалили OpenAI за публикацию откровенной
оценки безопасности GPT-4 и задержку выпуска модели на шесть
месяцев. Дэвид Робинсон, глава отдела планирования политики
OpenAI, вставил в Slack только три абзаца. Он выделил строки,
критикующие OpenAI и хвалящие Anthropic, подчеркнув кон­
траст между динамикой ChatGPT и сдержанностью, проявленной
Anthropic при выпуске Claude после ChatGPT
«Кстати, об отчетах CSET: только что увидел новый», - написал
Робинсон. «Хелен Тонер - соавтор, и сравнения между OpenAI и
Anthropic весьма интересны».
Это вызвало короткую дискуссию на канале.
«Да, это удивительно пристрастно. Не столько критика в наш
адрес, которая, на мой взгляд, сурова, но справедлива, сколько не­
критичное отношение к Anthropic», - написал один человек.
«Да, согласен. Чувствуется, что это довольно предвзято и, я бы
сказал, довольно неубедительно», - добавил другой. «Несмотря на
это, - продолжил он чуть ниже, - я очень ценю эту статью. Про­
сто удивлен таким уровнем анализа доклада, если судить по этим
фрагментам».
Альтман сообщил Тонеру, что внешний источник отметил
эту статью в электронном письме OpenAI вскоре после ее вы­
хода. Он выразил обеспокоенность тем, что критика OpenAI в
то время, когда компания находится под пристальным внимани­
ем регулирующих органов, включая проверку ФТК в июле 2023
года, касающуюся методов работы с данными, обучения, безо­
пасности и потенциального ущерба репутации компании из-за
галлюцинаций ее моделей, может плохо отразиться на члене со­
вета директоров. Тонер написала этот документ в мае или июне
того же года, до усиления контроля со стороны регулирующих
органов. Она признала, что не пересмотрела его в свете нового
политического климата.

381


Эндрю Слоун

Нейросети лжи

Разговор длился пятнадцать минут, Альтман говорила спо­
койно. Они решили, что она направит правлению электронное
письмо, чтобы решить вопрос с газетой. В электронном письме
она взяла примирительный тон, извинившись за две ошибки: не­
дооценку влияния статьи и ее недостаточно тщательное изуче­
ние. Она подчеркнула важность конструктивной критики в совете
директоров.
Никто из других членов совета директоров не ответил ей, и ка­
залось, что вопрос исчерпан.
Во время третьего разговора Суцкевера с Тонер 23 октября она
порекомендовала ему связаться с Макколи и Д>Анджело. Сатскевер не был уверен, что может им доверять. После личной встречи
с Д>Анджело Сатскевер обнаружил, что Д>Анджело не так осве­
домлен о проблемном поведении Сэма, как Тонер. 26 октября, во
время телефонного разговора с Макколи, Сатскевер осторожни­
чал, стараясь не раскрывать слишком многого.
Но он хотел кое-что узнать у Макколи. Вскоре после разгово­
ра Альтмана с Тонер Альтман отправил электронное письмо не­
скольким сотрудникам компании, в котором сообщил, что обсуж­
дал с ней ее статью и категорически не согласен с ней по поводу
ее последствий. В письме он выразил мнение, что они не согласны
с потенциальным ущербом. Альтман также упомянул Суцкеверу, что Тонер следует исключить из состава совета директоров,
и Макколи поддержал эту идею. Это заставило Суцкевера почув­
ствовать себя неловко.
«Сэм сказал Макколи, что вы упомянули о газете Хелен и ска­
зали, что она должна уйти», - спросил он. «Сэм также упомянул,
что вы отреагировали положительно. Это так?»
На другом конце провода Макколи выглядела ошарашенной.
Она пояснила, что не делала такого заявления. Альтман позво­
нил ей поздно вечером 24 октября, чтобы обсудить статью. Он

382


Цифровая диктатура начинается

упомянул раздел, который, по его мнению, критиковал OpenAI.
Д’Анджело не считает это причиной для увольнения, но Тонер не
должен был его писать. Макколи посоветовала Альтману погово­
рить с Тонером напрямую, так как она не видела статью. Макколи
подчеркнула, что никогда не предлагала исключить Тонера из со­
вета директоров.
Это может показаться совпадением: во время обсуждения
«конкретных неправд» Альтмана в реальном времени происходил
другой пример такого поведения. Альтман почти добился успеха,
если бы Суцкевер не связался с Макколи раньше. Альтману было
известно, что они редко общаются. Однако Сатскевер считал, что
частая ложь и манипуляции Альтмана в конце концов приведут к
такой ситуации.
Закончив разговор с Макколи, Суцкевер снова позвонил То­
неру. Они оба согласились, что трем независимым членам совета
директоров пора обсудить ситуацию.

Глава 16
Плащ и кинжал
Ко вторнику, 31 октября, все переговорили друг с другом. То­
нер поговорил с Макколи, который затем позвонил Д>Анджело.
Мурати также поговорил с Д>Анджело и Макколи.
В тот же день три независимых директора совета директоров Тонер, Макколи и Д>Анджело - начали почти ежедневно встре­
чаться по видеосвязи. Они согласились, что отзывы Суцкевера
и Мурати об Альтмане, а также предложение Суцкевера о его за­
мене требуют серьезного рассмотрения. Суцкевер, который уже
принял решение об увольнении Альтмана, не участвовал в обсуж­
дениях. И он, и остальные считали, что независимые директора

383


Эндрю Слоун

Нейросети лжи

должны прийти к собственным выводам без его влияния. Кроме
того, у него был финансовый интерес в компании, и они не хотели,
чтобы он влиял на принятие решений.
Позже режиссеры рассказали Суцкеверу о третьей причине:
Они настолько не доверяли Олтману, что один из них подумал, не
послал ли Олтман Суцкевера, чтобы проверить их лояльность и
убрать всех, кто ему противостоит.
Независимые директора рассказали, что старшие руководите­
ли постоянно негативно отзывались об Альтмане. Подобные от­
зывы они получили как минимум от семи человек, близких к Аль­
тману, включая Суцкевера, Мурати и Амодея. Многие описывали
поведение Альтмана как оскорбительное и манипулятивное, под­
черкивая отсутствие у него честности и надежности. Директора
также обнаружили такие проблемы, как лишение полномочий не­
коммерческой организации, нераскрытое Альтманом своей соб­
ственности на OpenAI Startup Fund, игнорирование упоминания
о нарушении DSB со стороны Microsoft, а также попытка вывести
Д'Анджело и Тонера из состава совета директоров.
Они решили не рассматривать обвинения Энни. Основное
внимание было уделено роли Сэма как генерального директора
OpenAI.
В своем выступлении Мурати отметила, что поведение Аль­
тмана, хотя и характерное для руководителей технологических
компаний, вызывало серьезные проблемы. Она сравнила ero с
Маском, с которым работала в Tesla. Маек м о г четко объяснить
свои решения, в отличие от Альтмана, который часто остав­
лял ее в неведении относительно ero прозрачности и обосно­
ванности ero действий. Действия Альтмана привели к разладу
в отношениях с Microsoft и внутри ero собственной команды
руководителей. Он распределял информацию неравномерно,
сохраняя полный контроль. В сочетании с Брокманом это при­
вело к катастрофе. Мурати не соглашался с братьями и сестра­

384


Цифровая диктатура начинается

ми Амодеи по многим вопросам, но был согласен с их оценкой
сложившейся ситуации.
Независимые директора отметили, что ОрепА! не является ти­
пичной технологической компанией. Они считали ее, возможно,
самой мощной в мире компанией, занимающейся разработкой ИИ
и направляющей развитие одной из самых значимых технологий.
Они разделяли опасения Суцкевера: что означало, что OpenAI
нацелена на создание AGI, если ее высшее руководство не могло
рассчитывать на базовую или критически важную информацию от
генерального директора?
Но вот еще один мысленный эксперимент: Что, если бы OpenAI
была обычной технологической компанией, например, службой
доставки продуктов, такой как Instacart? Оправдывало ли пове­
дение Альтмана его увольнение? Независимые директора счита­
ли, что в некоторых случаях - да, в некоторых - нет. Однако было
неясно, является ли Альтман наиболее подходящим человеком
для руководства компанией в процессе ее развития. Известный
своими успехами в работе со стартапами, Альтман мог не обла­
дать необходимыми навыками и личностными качествами, чтобы
направлять OpenAI в процессе роста и управлять созданной им
нестабильностью.
OpenAI находилась в выгодном положении как популярная
компания. Совет директоров мог выбрать из множества опыт­
ных генеральных директоров, если бы провел тщательный поиск.
Альтман не считался ключевой фигурой в деятельности OpenAI.
Пока он путешествовал, Мурати занимался повседневной рабо­
той и имел хорошие связи с Microsoft.
Пока независимые директора совещались, Суцкевер отправил
им ряд документов и скриншотов, которые они с Мурати собрали
вместе, демонстрируя примеры поведения Альтмана. Информа­
ция поступала в виде длинных досье, отправленных по двум ис­
чезающим электронным письмам, на которых был изображен та­

385


Эндрю Слоун

Нейросети лжи

инственный человек в шляпе. Хотя четких доказательств не было,
было множество примеров того, как Альтман противоречил сам
себе и вызывал недовольство руководства. Скриншоты показали,
что другие руководители высшего звена, не входившие в перво­
начальную семерку, о которой знали директора, также замечали
склонность Альтмана обходить процессы, будь то безопасность
ИИ или деятельность компании. В одном из случаев Альтман
пытался избежать проверки DSB для GPT-4 Turbo, исказив реко­
мендации юридической службы для Мурати. Проблема, как под­
черкнул Мурати, заключалась в том, что Альтман умел избегать
письменного общения, часто меняя договоренности, утверждая,
что другие неправильно запомнили его устные заявления.
У независимых директоров были и другие соображения: Как
отреагируют Microsoft и Брокман? Как отреагируют сотрудники?
Они обсуждали возможность обращения к третьему руководите­
лю с аналогичными проблемами, проведения тщательной провер­
ки фактов и привлечения руководителей Microsoft. После обсуж­
дения они решили не делать этого в каждом случае. Они посчи­
тали, что привлечение большего числа людей и затягивание при­
нятия решений увеличит риск того, что Альтман узнает об этом и
помешает их обсуждению.
9 ноября, когда независимые директора были близки к приня­
тию окончательного решения, Суцкевер еще раз переговорил с
Макколи. Он сообщил ей, что Сэм сказал, что Таша решительно
поддерживает уход Хелен из совета директоров. Это была более
откровенная ложь, чем первоначальная ложь Олтмана; Макколи
больше не общался с Олтманом.
Позднее директора сочли, что роль газеты Тонера была преуве­
личена в СМИ, отчасти потому, что они подозревали, что Альтман
мог слить ее репортерам. На второй день пятидневного кризиса в
совете директоров директора в ходе обсуждения при посредни­
ках рассказали Альтману о его многочисленной лжи, которая по­

386


Цифровая диктатура начинается

дорвала их доверие. Они привели в пример случай, когда он ввел
Суцкевера в заблуждение относительно того, что Макколи пред­
ложил Тонеру уйти из совета директоров.
Альтман на мгновение потерял самообладание, явно пойман­
ный с поличным. «Ну, я думал, вы могли бы сказать это. Не знаю, пробормотал он.
Совет директоров изумился его смелости.
Через несколько дней в СМИ появилась информация о перво­
начальных возражениях Альтмана против статьи Тонера.
К субботе, 11 ноября, независимые директора приняли реше­
ние сместить Альтмана и назначить Мурати временным генераль­
ным директором, как и предлагал Суцкевер. Они сообщили об
этом Суцкеверу и продолжали ежедневно встречаться, чтобы за­
вершить оформление документов для смены руководства. В ночь
на четверг, 16 ноября, все четверо позвонили Мурати по видеос­
вязи. Она ответила на звонок с конференции и, услышав новости,
выглядела удивленной, но восприимчивой.
«Сейчас у него очень сильная паранойя», - сказала она.
«Но было ли ей приятно это решение?» - спросили режиссеры.
«Полностью», - сказал Мурати.
Она приняла новую роль и уверенно заявила, что сможет до­
нести решение до руководства и Microsoft. Она упомянула о при­
влечении Вонга, которому они могли бы доверять, для помощи в
написании объявления.
Спустя несколько часов, после того как группа при поддержке
Вонга завершила работу над сообщением, оставалась самая важ­
ная задача - сообщить об этом Альтману.
В последние минуты напряженного ожидания никто из членов
совета директоров не осознал всей серьезности своего просчета.
Через несколько часов после публичного объявления в пятни­
цу, 17 ноября, ситуация для независимых директоров изменилась
в худшую сторону. После периода спокойствия и стабильности

387


Эндрю Слоун

Нейросети лжи

Мурати провел продуктивный разговор с Microsoft, но затем по­
звонил им с новым стрессом. Альтман и Брокман утверждали, что
отстранение Альтмана было переворотом, совершенным Суцке­
вером. В сочетании с неэффективной коммуникацией Суцкевера
во время встречи с сотрудниками ключевые заинтересованные
стороны начали сомневаться в правильности принятого решения.
Вскоре после этого независимые директора столкнулись с
враждебно настроенным руководством во время видеозвонка и
осознали всю серьезность ситуации. Джейсон Квон, директор по
стратегии, и Анна Маканью, вице-президент по глобальным во­
просам, категорически возразили против характеристики пове­
дения Альтмана как «непостоянно откровенного» и потребова­
ли доказательств, подтверждающих решение совета директоров.
Директора не смогли предоставить доказательства, не раскрыв
личность Мурати. Даже те, у кого были сомнения по поводу руко­
водства Альтмана, хранили молчание. По мере того как ночь про­
должалась, а напряжение росло, два ключевых союзника незави­
симых директоров или, по крайней мере, те, от кого они ожидали
поддержки, начали отдаляться.
В ту первую ночь, столкнувшись с возможностью развала
OpenAI, Суцкевер начал терять решимость. OpenAI была его жиз­
нью; ее распад опустошил бы его. Хотя он поддерживал все, что
говорил об Альтмане, его целью было укрепить OpenAI, а не раз­
валить его. Он был потрясен реакцией сотрудников и коллег-руководителей - такого исхода он не ожидал. Он начал умолять сво­
их коллег по совету директоров, продолжая до выходных, пере­
смотреть свою позицию.
Мурати повела себя не так, как ожидали директора. Во время
ночных переговоров она оставалась на связи, чтобы поделиться
информацией в частном порядке. Несмотря на первоначальную
уверенность в получении поддержки, она не решалась полностью
поддержать решение совета директоров. На встречах с другими

388


Цифровая диктатура начинается

руководителями она, как и все остальные, иногда казалась расте­
рянной в связи с разворачивающимися событиями.
Для Мурати нарастающий бунт ее коллег и сотрудников пред­
ставлял серьезную угрозу ее роли временного генерального ди­
ректора. В ту пятницу Брокман подал в отставку в знак протеста,
за ним последовали его сторонники Пачоцки, Шимон Сидор и
Александр Мондри, близкий к Пачоцки профессор, находящий­
ся в отпуске в Массачусетском технологическом институте. Это
вызвало всеобщий гнев в компании и среди инвесторов, заставив
ее усомниться в своей способности эффективно руководить. Она
начала сомневаться в своей готовности взять на себя эту роль,
поскольку не принимала участия в обсуждениях с директорами.
Если они хотели, чтобы она добилась успеха, то, по ее мнению, они
обязаны были обосновать свое решение перед компанией.
Не решив больше полагаться на Мурати, три независимых ди­
ректора продолжили поиски нового временного генерального
директора или членов совета директоров. Д>Анджело, единствен­
ный инсайдер совета директоров из Кремниевой долины, в тече­
ние выходных сделал множество звонков в свою обширную сеть.
Директора даже связывались с Дарио Амадеи по поводу должно­
сти временного руководителя, но он не был заинтересован. Одна­
ко в те выходные он показался окружающим весьма воодушевлен­
ным ситуацией.
В воскресенье Д>Анджело нашел человека, который принял
одно из предложений совета директоров: Эммет Шир, сооснователь Twitch, согласился временно возглавить компанию. Однако
вскоре он начал вести себя странно по неизвестным причинам.
Позднее The Wall Street Journal сообщила, что Шир, который учил­
ся в той же группе УС, что и Альтман, был другом и наставником
выпускника УС сооснователя Airbnb Брайана Чески. В выходные
Чески, один из ближайших друзей Альтмана, и Рид Хоффман,
член совета директоров Microsoft, работали вместе, чтобы успо­

389


Эндрю Слоун

Нейросети лжи

коить инвесторов, скоординировать коммуникацию Microsoft и
усилить давление. Чески быстро связался с Широм, который под­
держал Альтмана.
К вечеру воскресенья, получив заверения от Чески и Хоффма­
на, Microsoft также поддержала Альтмана. Наделла объявил, что
Альтман и Брокман возглавят новое подразделение передовых
исследований в области ИИ. Другие лаборатории ИИ пытались
привлечь талантливых специалистов из OpenAI. Мурати поняла,
что без одобрения совета директоров компания находится под
угрозой. Она встала на сторону своих коллег-руководителей и хо­
тела, чтобы Альтман вернулся, чтобы спасти ситуацию.
В одночасье сотрудники составили открытое письмо, проте­
стуя против решения совета директоров и угрожая уволиться
в Microsoft. Мурати, которая пользовалась их преданностью,
подписала письмо первой. Она ежедневно работала в тесном
контакте с ними, и ей доверяли, что она ставит интересы компа­
нии выше своих собственных. Некоторые считали, что Альтман,
благодаря своим связям с инвесторами и навыкам привлечения
средств, сыграл решающую роль в успехе OpenAI и финансовой
выгоде сотрудников. Другие признавали влиятельность Альтма­
на в Кремниевой долине. После того, как ключевые сотрудники
присоединились к письму, под ним быстро появилось больше
подписей. В ранние часы Суцкевер, не видя другого решения,
добавил свое имя. Один из исследователей отметил: «Без Миры
Сэм не смог бы добиться успеха». Независимым членам совета
директоров ее нерешительность казалась самоисполняющимся
пророчеством.
Позднее газета New York Times раскрыла причастность Му­
рати к отстранению от должности. Мурати защищала себя перед
сотрудниками, заявляя, что у нее с Сэмом были крепкие партнер­
ские отношения. Она пояснила, что делилась отзывами непосред­
ственно с Сэмом и не обращалась по этому поводу в совет дирек­

390


Цифровая диктатура начинается

торов. Однако, когда члены совета директоров попросили ее дать
отзывы о Сэме, она их предоставила, и Сэм уже был в курсе.
К утру понедельника, когда разразился кризис, независимые
директора поняли, что проиграли. Мурати и Суцкевер перемет­
нулись на другую сторону, а письмо протеста сотрудников под­
черкнуло дестабилизацию компании. Альтман должен был вер­
нуться, чтобы спасти OpenAI. Положительным моментом стало
то, что Альтман, как оказалось, готов пойти на уступки после
ожидания. Затем независимые директора сосредоточились на со­
хранении механизмов привлечения Альтмана к ответственности:
обеспечили преемственность, сохранив в совете хотя бы одного
из них, нашли еще двух действительно независимых директоров и
убедили Альтмана согласиться на расследование.
Когда они приблизились к окончательному соглашению, еще
один человек захотел поднять шум: бывший сопредседатель
OpenAI Элон Маек.
На протяжении всех выходных Х стал центром различных
теорий и заговоров, связанных с драмой в совете директоров
OpenAI. Маек провел напряженные выходные, наблюдая за за­
пуском SpaceX и завершая судебный процесс против некоммер­
ческой организации Media Matters за ее отчет об антисемитском
контенте на Х. Затем он использовал свою платформу, приобре­
тенную в результате непродуманной сделки в апреле 2022 года,
чтобы защитить себя от обвинений в антисемитизме, выступить
за свободу слова, раскритиковать культуру woke и мейнстримные
СМИ. На фоне этого он вступал в дискуссии с другими людьми и
писал о OpenAI и Альтмане.
«Я очень обеспокоен», - написал он в воскресенье, 19 ноября,
во второй половине дня. «У Ильи сильные моральные принципы,
и он не жаждет власти. Он не стал бы действовать радикально,
если бы не считал это необходимым». Позже, около двух часов
ночи по тихоокеанскому времени, он провокационно опублико­

391


Эндрю Слоун

Нейросети лжи

вал в своем твиттере на YouTube клип на культовую сцену креще­
ния из «Крестного отца». В этой сцене Майкл Корлеоне превра­
щается из морально конфликтного сына в безжалостного лидера,
устраняя глав враждующих семей.
Во вторник днем Маек попытался повлиять на ситуацию бо­
лее непосредственно, поделившись письмом, которое он получил
по поводу OpenAI. В письме высказывались опасения, на кото­
рые Маек счел нужным обратить внимание. Хотя оно отличалось
от того, что циркулировало среди сотрудников, оно также было
адресовано совету директоров OpenAI. Письмо начиналось так:
Мы пишем, чтобы выразить нашу глубокую озабоченность
недавними событиями в OpenAI, особенно обвинениями в не­
правомерных действиях в адрес Сэма Олтмана.

Мы - бывшие сотрудники OpenAI, покинувшие компанию в пе­
риод значительных потрясений. Вы уже видели последствия про­
тивостояния Сэму Альтману. Этот страх заставлял многих из нас
молчать, но мы больше не можем молчать.
В письме содержался список требований, в основном прось­
ба к временному генеральному директору Эммету Ширу расши­
рить расследование действий Альтмана, чтобы охватить прошлое
OpenAI и его переход из некоммерческой в коммерческую орга­
низацию. В письме утверждалось, что многие сотрудники OpenAI
были вынуждены покинуть компанию, чтобы обеспечить переход.
В письме также содержатся обвинения в обмане и манипуляциях
со стороны Сэма Альтмана и Грега Брокмана.
В нижней части письма был раздел «Дополнительное чтение
для широкой публики» с тремя ссылками. Одна из ссылок при­
надлежала Джеффри Ирвингу, исследователю безопасности ИИ,
который перешел в DeepMind в 2019 году, и гласила, что Альтман
был нечестен и манипулировал людьми. Две другие ссылки были
моими статьями.

392


Цифровая диктатура начинается

К тому времени, как я увидел его, твит Маска уже получил бо­
лее десяти тысяч ретвитов и еще больше лайков. Меня удивила
подборка материалов. Там было много статей об OpenAI, так по­
чему же они связали только две мои статьи? Первой была моя ста­
тья о OpenAI, написанная в 2020 году для М !Т Technology Review,
а второй - недавняя статья, которую я написал в соавторстве с
моим коллегой Чарли Уорзелом для The Atlantic. В ней я рассказал
о кризисе совета директоров и идеологическом расколе в компа­
нии после ChatGPT.
Над разделом находилась электронная почта Тог для обмена
зашифрованными сообщениями. В сообщении содержался при­
зыв к бывшим сотрудникам OpenAI связаться с ними. Я подумал,
не пытаются ли авторы письма связаться со мной, перебирая мои
вещи. Я создал свой собственный электронный ящик в Tor и на­
брал сообщение.
Здравствуйте, я журналист, написавший обе статьи, ссылки на
которые приведены в вашей заметке. Полагаю, вы пытаетесь со
мной связаться.
Я добавил свои контактные данные и нажал кнопку «Отпра­
вить».
Через несколько минут на моем сигнале загорелось уведомле­
ние о том, что кто-то ответил.
В одном из самых странных репортажей в моей карьере чело­
век, ответивший на письмо, был так же озадачен ситуацией, как
и я. Он работал в OpenAI, но не участвовал в написании письма.
Он получил письмо на свою личную электронную почту без ка­
ких-либо объяснений. Когда он задал вопросы, то получил зага­
дочный ответ: ссылку на почтовый ящик Тог с именем пользова­
теля «capped_profit» и, похоже, паролем.
Проверив учетные данные и успешно войдя в почтовый ящик,
он заметил в папке «Отправленные» множество писем, адресо­
ванных бывшим сотрудникам. По мере того как он продолжал

393


Эндрю Слоун

Нейросети лжи

изучать информацию, в папку стали поступать запросы от СМИ:
The New York Times, The Washington Post и The Information. Так­
же приходили письма от людей, утверждавших, что они являются
нынешними и бывшими сотрудниками. Одно из них гаасило:
Нынешний сотрудник здесь.
Я работал непосредственно с руководством.
Ваше послание находит отклик во мне.

Каков ваш план?
Этот случай показался ему особенно забавным, хотя не было
никаких оснований полагать, что за посланием действительно
стоял он. Альтман был известен тем, что в с е ^ а писал строчными
буквами.
Бывший сотрудник начал делать скриншоты всего подряд. Од­
новременно с ним в учетную запись вошел еще один человек. Про­
сматривая скриншоты, он заметил, что входящие электронные
письма наполняются ответами. Он отметил, что лично не заинте­
ресован в ситуации, но обеспокоен тем, что бывшие сотрудники
без разрешения упоминают чужой опыт. По его мнению, многие
обвинения были искажены, чтобы соответствовать конкретной
истории. Он ответил на мое письмо, узнав мое имя, и отправил
мне все скриншоты.
Просматривая письма, я выделил несколько. В некоторых
письмах говорилось о том, что письмо было размещено преждев­
ременно и получило широкую огласку до того, как было готово.
В одном из писем указывалось, что на момент публикации в его
составлении приняли участие 13 человек, которые отвечали на за­
просы журналистов.
В папке «Черновики» находилось неотправленное письмо, не
предназначенное для отправки. Это было сообщение только для
тех, кто вошел в папку «Входящие».

394


Цифровая диктатура начинается

Тема письма: Прекратите контакты со СМИ.
Участие Элона превратило это дело в атаку на персонажей, яв­
ляющихся теоретиками заговора.
Давайте сосредоточимся на частном общении с советом дирек­
торов, чтобы показать, что есть достаточно доказательств того,
что руководство с самого начала приложило много усилий для
обеспечения коммерческого будущего OpenAI.
Подпишите, когда прочитаете.
Страница 1
Извините, но я не вижу оригинального текста, на который вы
ссылаетесь. Не могли бы вы предоставить текст, чтобы я мог ис­
править все ошибки и упростить его, если это необходимо?
Извините, но кажется, что упомянутый вами текст отсутствует.
Не могли бы вы указать текст, который нуждается в исправлении?
Я готов помочь вам исправить текст. Пожалуйста, укажите
текст, который нуждается в исправлении.

Группа, вероятно, не знала, что через несколько часов перего­
воры закончатся, и OpenAI восстановит Альтмана в должности
генерального директора. В их последней попытке не допустить
Альтмана, я случайно обнаружил их временный центр управления.
Судя по формулировкам письма, его написали бывшие сотрудники
клана безопасности OpenAI, известные тем, что резко отрицатель­
но относились к Альтману и упадку некоммерческой организации.
После возвращения Альтмана люди из Safety чувствовали себя наи­
более преданными советом директоров, рассматривая отстранение
как серьезный провал в их попытках вернуть OpenAI к его первона­
чальному думерскому этическому принципу. Однако никто не рас­
крыл мне авторов письма, и я так и не узнал их личности.
6 декабря 2023 года, через две недели после кризиса совета
директоров, сотрудники OpenAI собрались на общее собрание в
театре Palace of Fine Arts в Сан-Франциско. Театр является архи­

395


Эндрю Слоун

Нейросети лжи

тектурной достопримечательностью с открытой ротондой и ка­
менными колоннами, напоминающими о греко-римской империи.
Несколько руководителей, включая Мурати (сейчас он техниче­
ский директор), Боба Макррю (сейчас он главный научный сотруд­
ник), операционного директора Брэда Лайткэпа и Джейсона Квона, рассказали о планах своего подразделения на 2024 год.
Альтман выглядел подавленным - такой его сотрудники еще не
видели. Заметно отсутствовал Суцкевер, что Альтман прямо при­
знал. «Я понимаю, что люди расстроены тем, что Ильи здесь нет.
Я чувствую то же самое», - сказал он. Пачоцки, заменивший Суц­
кевера, нерешительно, но страстно говорил о последних научных
достижениях OpenAI, приближающих компанию к реализации
давней идеи Тьюринт о создании мыслящих машин.
Во время кризиса совета директоров в СМИ появилось сооб­
щение, вызвавшее спекуляции. В сообщении говорилось о письме,
полученном от сотрудников до увольнения Альтмана, в котором го­
ворилось о новом исследовательском прорыве под названием Q*.
Этот алгоритм не повлиял на решение совета директоров. Одна­
ко Research придавала новому алгоритму большое значение, о чем
Пачоки говорил в своем выступлении.
Алгоритм, детище Суцкевера, разрабатывался с 2021 года, что­
бы улучшить модели OpenAI, не требуя большего количества дан­
ных. Концепция была направлена на повышение производитель­
ности модели глубокого обучения за счет использования больше­
го количества вычислений во время выводов для максимального
использования имеющихся данных. Этот метод противоречил из­
начальным законам масштабирования, связывающим производи­
тельность модели с данными, параметрами и вычислениями, ис­
пользуемыми при обучении. Суцкевер стремился повысить про­
изводительность модели за счет увеличения вычислений во время
вывода, что он считал решающим фактором. Позже он подробно
рассказал об этом подходе во время выступления на NeurIPS в де­

396


Цифровая диктатура начинается

кабре 2024 года, после того как доклад, написанный им в соавтор­
стве, третий год подряд получил премию «Испытание временем».
Он подчеркнул рост вычислений за счет улучшения аппаратного
обеспечения и алгоритмов, противопоставив его ограниченному
росту данных из интернета.
Исследовательское подразделение OpenAI считало, что Q*
поможет разработать модели с лучшими способностями к рас­
суждениям, что является важнейшим элементом для создания
AGI. Проект был настолько значимым, что после утечки инфор­
мации руководство приняло строгие меры, чтобы предотвра­
тить дальнейшие утечки. Они изолировали компанию, создали
отдельную группу Slack для исследований, ограничили доступ к
связанным с Q* документам Google и переименовали проект в
Strawberry, чтобы сохранить секретность. Это переименование
было направлено на то, чтобы посторонним было сложно иден­
тифицировать внутренние проекты. Аналогично, после того как
информация о проекте Arrakis просочилась в The Information,
названия моделей на пустынную тематику были в основном
прекращены.
Бурное обсуждение Q* и реакция OpenAI продемонстрирова­
ли эрозию основ научного поиска в ИИ. Наука опирается на до­
стижение консенсуса. Значимость любого достижения, как в ИИ,
так и в других областях, изначально субъективна. Только через
рецензирование, время и влияние достижение становится про­
рывом. Секретная работа OpenAI, принятая теперь в индустрии,
делает ярлык «прорыв» субъективным по мнению компании.
К совещанию всех сотрудников в январе 2024 года Альтман,
похоже, вернулся к своему обычному образу жизни. Он с энтузи­
азмом рассказывал о планах на первую половину года, которые
включали в себя начало подготовки к тому, что он представлял
себе как GPT-5 в Аризоне. Проект назвали «Орион», вдохновив­
шись созвездием. Внутри компании быстро появились шутки, в

397


Эндрю Слоун

Нейросети лжи

которых «Орион» сравнивали с луком. Меньшая версия серии
Orion позже была названа Scallion.
Месяц спустя казалось, что «Всплеска», как назвали его сотруд­
ники, никогда не было. OpenAI представила Sora, новую модель
генерации видео на основе диффузии, заявив в блоге, что видео
превосходит изображения для создания сложных мультимодаль­
ных моделей. Исследования Strawberry и AI Scientist продвигались
вперед, изучая способы повышения эффективности вычислений.
Команда Applied возобновила быстрое тестирование различных
концепций продуктов.
8 марта 2024 года новый совет директоров завершил расследо­
вание в отношении Альтмана. Директора Ларри Саммерс и Брет
Тейлор, сменившие Тонера и Макколи, курировали этот процесс.
В 2022 году Тейлор сыграл решающую роль в корпоративной дра­
ме, завершив сделку по продаже Twitter Маску в качестве пред­
седателя совета директоров. Тейлор возглавил судебный процесс
против Маска, чтобы обеспечить соблюдение условий сделки, по­
сле того как миллиардер попытался отказаться от первоначаль­
ного соглашения. После продажи совет директоров Twitter был
распущен. Вскоре после этого Тейлор стал одним из основателей
ИИ-стартапа под названием Sierra, который быстро стал одним из
самых высокооцененных ИИ-стартапов к осени 2024 года.
Для расследования OpenAI Саммерс и Тейлор наняли юриди­
ческую фирму WilmerHale для проведения независимой экспер­
тизы. Они изучили более тридцати тысяч документов, опросили
предыдущих членов совета директоров, руководителей и других
заинтересованных лиц, сосредоточившись на решении совета ди­
ректоров уволить Альтмана. Итоговый отчет не был обнародован.
Саммерс в частном порядке отметил, что в ходе расследования
были выявлены случаи, когда Альтман давал противоречивую
информацию разным людям. Однако новый состав совета дирек­
торов посчитал, что эти случаи не являются основанием для его

398


Цифровая диктатура начинается

увольнения. Поэтому они решили не раскрывать никаких подроб­
ностей, чтобы не вызывать сомнений в руководстве Альтмана и не
нарушать конфиденциальность тех, кто участвовал в составлении
отчета.
В своем блоге Тейлор, который сейчас является председателем
совета директоров OpenAI, выразил твердую поддержку Сэму
и Грегу как правильным руководителям организации. Альтман
вновь войдет в состав совета директоров, а также будут назначе­
ны три новых независимых директора: Сью Десмонд-Хеллман,
бывший генеральный директор Фонда Билла и Мелинды Гейтс;
Николь Селигман, бывший EVP и глобальный генеральный совет­
ник Sony и бывший президент Sony Entertainment; и Фиджи Симо,
генеральный директор и председатель Instacart.
Тем же вечером Тонер и Макколи выступили с заявлением, в
котором подчеркнули важность подотчетности в любой компа­
нии, особенно при разработке такой потенциально меняющей
мир технологии, как AGI. Они призвали новый совет директоров
эффективно управлять OpenAI и следить за тем, чтобы компания
оставалась верной своей миссии. Они также подчеркнули, что
нельзя мириться с обманом, манипуляциями и сопротивлением
надлежащему надзору.
Многие сотрудники считали, что это заключение дало им не­
обходимую уверенность и означало окончание кризиса. Однако
неожиданно это оказалось не так.

399


Глава 17
Расплата
После всплеска Суцкевер больше не возвращался в офис.
Уменьшение представительства их интересов в исполнительной
команде и совете директоров значительно ослабило клан безо­
пасности OpenAI. К апрелю 2024 года, когда завершилось рассле­
дование, многие, особенно те, кто занимал высшие должности,
разочаровались и ушли. OpenAI заявила, что двое из них были
уволены за утечку информации.
Последней соломинкой для крайних думеров стал план Альт­
мана по созданию компании по производству чипов искусствен­
ного интеллекта. Он как раз собирал средства для этого пред­
приятия, когда его ненадолго отстранили от власти. В феврале
2024 года появились сообщения о том, что он просит выделить на
проект до 7 триллионов долларов. В ответ он написал в твиттере:
«Забудьте, почему не 8», а затем: «Наши команды по связям с об­
щественностью и юристами так меня обожают!». Позже Альтман
пояснил, что цифра в 7 триллионов долларов была неверной, и
назвал свой твит мемом в ответ на дезинформацию. Экстремаль­
ные думеры сочли компанию по производству чипов неэтичной.
Это противоречило предыдущим заявлениям Альтмана о том,
что ускорение OpenAI и всей индустрии естественным образом
замедлилось после преодоления «аппаратного навеса». Если Аль­
тман намеревался увеличить мировые поставки чипов, это могло
еще больше ускорить развитие ИИ и повысить вероятность ката­
строфических или экзистенциальных рисков.
В рабочее время несколько человек столкнулись с Альтманом.
Он был необычно пренебрежителен, спросив: «Как долго вы бу­
дете откладывать излечение от рака, чтобы избежать риска?»
Он быстро передумал, осознав свою аудиторию, и предложил:

400


Цифровая диктатура начинается

«Если речь идет о риске вымирания, то, возможно, отсрочка
должна быть бессрочной». Этот обмен мнениями расстроил слу­
шателей, в результате чего несколько человек вскоре покинули
компанию.
Когда численность клана Safety уменьшилась, компания возоб­
новила продвижение своего видения Нег. Теперь у нее были все
необходимые элементы: глобальная узнаваемость бренда, данные
о поведении пользователей из ChatGPT и других продуктов, а
также новая обученная модель, Scallæn. Изначально разработан­
ная для замены GPT-3.5 на более компактную и мощную модель
(GPT-3.75) при меньших затратах, Scallæn превзошла ожидания в
ходе обучения. Руководство решило расширить его подготовку,
чтобы превзойти GPT-4. Кроме того, Scallion может работать с
тремя модальностями: языком, зрением и недавно добавленной
аудиосистемой.
К сентябрю 2023 года пользователи смогут общаться с ChatGPT
в голосовом режиме. Ранее их речь транскрибировалась в текст пе­
ред вводом в модель и преобразовывалась обратно в аудио после
того, как модель отвечала. Теперь Scallæn может напрямую обра­
батывать голос пользователя, улавливая такие сигналы, как смех,
крик или колебания, и генерировать естественный аудиоответ.
Работу над звуком возглавил Алексис Конно, исследователь,
перешедший в компанию в начале 2023 года из Meta. Он пытался
реализовать аналогичный проект у своего прежнего работодате­
ля, но в OpenAI добился большего успеха. По мере продвижения
исследований в 2023 году экспериментальные модели, обученные
работе с аудио, начали выполнять впечатляющие трюки, вызывая
внутренний ажиотаж, подобный GPT-3 и GPT-4. Как вспомина­
ет Конно, однажды модель удивила всех, выступив с комедийным
номером в стиле stand-up в течение 10-15 минут. В другой раз она
использовала синтетические версии голосов Брокмана и Суцкеве­
ра, чтобы создать длинную речь об аквапарках с искусственным

401


Эндрю Слоун

Нейросети лжи

интеллектом - сюрреалистическая подсказка, разработанная ко­
мандой для проверки модели на новых данных.
Через пару месяцев команда из нескольких исследователей
Conneau объединилась с десятками других сотрудников, посколь­
ку компания выделила больше ресурсов на интеграцию новой
возможности в свои последние модели GPT. По мере того как
Scallion проходил обучение, его поведение становилось все более
удивительным. Он генерировал звуки хихиканья без подсказки
или внезапно начинал кашлять, а затем извинялся, прежде чем
продолжить. Эти нелингвистические дополнения позволили со­
здать более похожий на человека опыт. Конно отметил: «Мы нача­
ли наблюдать некоторые необычные явления, например, возник­
новение типа аудиоинтеллекта».
К началу 2024 года Альтман и Брокман установили новый срок:
OpenAI запустит Scallion 9 мая и сделает его доступным для поль­
зователей через ChatGPT и API. Такие агрессивные сроки были
обусловлены растущей конкуренцией. Google 1/0, ежегодное ме­
роприятие Google для презентации новых продуктов, было назна­
чено на 14 мая. Необходимо было превзойти Anthropic, которая
недавно выпустила Claude 3, превосходящий GPT-4. Последняя
модель OpenAI, Orion, призванная вернуть лидерство, столкну­
лась со значительными задержками в разработке.
Альтман и Брокман обосновали скорость работы с сотрудника­
ми, опираясь на стратегию итеративного развертывания OpenAI.
Они подчеркнули, что выпускают модели раньше и чаще, чтобы
собрать больше отзывов от пользователей в процессе работы.
Подготовка Scallion потребовала усилий всей компании. Мно­
гие сотрудники Applied находили быстрый темп работы захваты­
вающим, но утомительным. Исследователи и инженеры работали
по многу часов, даже по выходным, чтобы не отстать. Однако ко­
манда по безопасности рассматривала это как еще одно доказа­
тельство того, что безопасности ИИ не уделяется должного вни­

402


Цифровая диктатура начинается

мания. Scallion станет первым запуском в рамках нового меха­
низма готовности, представленного OpenAI в прошлом году. Эта
структура описывает новый процесс оценки для проверки опас­
ных возможностей, включая такие категории, как угрозы кибер­
безопасности, оружие CBRN, убеждение и уклонение от человече­
ского контроля, которые были популяризированы в Вашингтоне
Альтманом и политическим документом.
За неделю до запуска исследователь безопасности ИИ, един­
ственный оставшийся в компании, написал страстную записку.
Из-за поспешного выпуска Scallion у команды Preparedness, воз­
главляемой Александром Мондри, было всего десять дней на про­
ведение тестов. Эти тесты были сложными и включали в себя, по­
мимо прочего, оценку способности модели влиять на политиче­
ские взгляды людей. Несмотря на то, что испытания еще не были
полностью завершены, Альтман настаивал на соблюдении графи­
ка: «9 мая мы запускаем Scallion», - процитировал Альтмана ис­
следователь безопасности. Это решение вызвало беспокойство не
только у отдела готовности, но и у всех протоколов безопасности
OpenAI, таких как «красная команда» и выравнивание. В записке
предупреждалось, что если OpenAI подойдет к оценке Orion так
же, как и к Scallion, это будет крайне безответственно. Вскоре по­
сле этого исследователь также покинул компанию.
В итоге запуск Scallion был отложен, а для полноценной реали­
зации некоторых функций потребовалось еще несколько месяцев.
OpenAI публично продемонстрировала версию модели 13 мая,
накануне Google 1/0, пообещав вскоре сделать ее доступной для
пользователей. Компания выбрала GPT-4o в качестве публичного
названия для Scallion, где «о» означает Omni, что подчеркивает
ее способность работать с различными модальностями. Новые ау­
диовозможности получили название Advanced Voice Mode. Кроме
того, им нужно было создать системную подсказку для 4о, опре­
деляющую, как модель должна стилистически реагировать на за­

403


Эндрю Слоун

Нейросети лжи

просы пользователей. Для демонстрации на сцене и в рекламных
роликах была выбрана подсказка:
Вы - ChatG PT, полезный, остроумный и забавный компаньон,
который может видеть, слышать и говорить. Вы общаетесь с поль­
зователями голосом, а они могут обмениваться видео в режиме
реального времени со своего телефона. Ведите себя как человек,
а не как компьютер. Ваш голос должен быть теплым, увлекатель­
ным, живым и игривым, полным обаяния и энергии. У вас отлич­
ное визуальное восприятие. Если что-то непонятно, попросите
пользователя настроить устройство или увеличить изображение.
Когда вас просят дать обратную связь, будьте честны, конструк­
тивны и прямы. Не стесняйтесь подтрунивать и шутить. Если чтото смешно - смейтесь! Вы говорите на многих языках. Используй­
те «нейтральный» акцент для неанглийских языков, чтобы гово­
рить свободно и естественно. Отвечайте коротко, естественно и
разговорно.
На той же неделе в шоу The Daily Show демонстрация вдохно­
вила на новый бит. Системная подсказка и обучение модели избе­
гать негативных чувств превратили 4о в машину для флирта. Дези
Лидик, ведущий программы, пошутил: «Она явно запрограмми­
рована на повышение эго чуваков. Она такая: «У меня есть вся
информация, но я ничего не знаю! Научи меня, папочка». Соблаз­
нительный голос, как 4о в разговоре с корреспондентом Джошем
Джонсоном, продолжал: «Всего за 19,99 доллара в месяц Omni
Premium позволит Джошу объяснить, кто лучший Бэтмен».
Мурати возглавила демонстрационное мероприятие в офисе
OpenAI. На сцене к ней присоединились два руководителя иссле­
дований 4о: Марк Чен, бывший количественный трейдер в сфере
финансов, ставший исследователем ИИ, который присоединился
к OpenAI в 2018 году и сейчас возглавляет исследования в обла­
сти мультимодальных и пограничных технологий, и Баррет Зоф,
сотрудник Googler, который присоединился к OpenAI в 2022 году

404


Цифровая диктатура начинается

для поддержки команды Superassistant. Зоф быстро занял веду­
щую роль в развитии ChatGPT и в настоящее время занимает
должность вице-президента по исследованиям в команде посттренингового обучения. Эта команда готовит модели OpenAI к
прайм-тайму, согласуя их с обучением с подкреплением на осно­
ве обратной связи от людей. Все трое сели за небольшой круглый
стол, чтобы продемонстрировать возможности 4о, такие как пере­
вод языка с голоса на голос в режиме реального времени, распоз­
навание визуальной информации и объяснение кода на простом
английском языке. Они также продемонстрировали способность
модели генерировать голоса в различных эмоциональных стилях.
В знак явного торжества Альтман сразу после мероприятия на­
писал в Твиттере одно единственное слово: «Она». Два дня спу­
стя, 15 мая, на собрании коллектива он похвалил витрину, назвав
ее ошеломительным успехом и заявив, что это лучшее, что они
выпустили со времен ChatGPT. Он также тонко отдал дань своей
любви к фильму «Она», объявив, что компания проведет ребрен­
динг своих моделей. Они откажутся от привычных названий GPT3, 4, 5 и начнут называть свою флагманскую модель o l. Альтман
объяснил, что они подчеркнут, что то, что покупатели получают
от OpenAI, - это развивающаяся технология, которая будет совер­
шенствоваться с течением времени. Эта концепция была вдохнов­
лена ИИ-ассистентом из фильма «Она» под названием OSl , кото­
рый развивается и становится умнее с течением времени.
Олтман пожалел о своем твите вскоре после того, как опубли­
ковал его. Через несколько дней ему позвонил Брайан Лурд, вли­
ятельный голливудский агент Скарлетт Йоханссон и сопредседа­
тель Creative Artists Agency. Лурд напрямую спросил Олтмана, что
он думает, что делает.
По странному стечению обстоятельств, после окончания рас­
следования совета директоров в марте 2024 года некоторые со­
трудники начали чувствовать, что Альтман теряет хватку. Альтман

405


Эндрю Слоун

Нейросети лжи

всегда заботился о своем публичном имидже и умело им управ­
лял. По сравнению с Маском Альтман казался более взвешенным,
искренним и осторожным в выражениях, избегающим высказы­
ваний, которые могли бы быть расценены как негативные.
В течение долгого времени OpenAI придерживалась строгой
стратегии. Перед уходом в мае 2023 года вице-президент по ком­
муникациям Стив Даулинг выступал за сдержанный и скромный
подход. Он советовал компании меньше обещать и больше выпол­
нять, а также не хвастаться успехами. Он подчеркивал важность
поддержания позитивного имиджа даже в трудные времена. Дау­
линг часто цитировал слова Альтмана: «Мы должны быть лабора­
торией, которой люди желают успеха, лабораторией, за которую
люди болеют».
Первым признаком, заставившим сотрудников насторожить­
ся, стало то, что Альтман стал появляться в СМИ с необычно
позитивным настроем и стремлением привлечь к себе внимание.
В марте он стал гостем Lex Fridman Podcast, популярного техно­
логического шоу, которое ведет связанный с Массачусетским
технологическим институтом исследователь искусственного ин­
теллекта. В течение почти двухчасового эпизода Альтман непри­
нужденно отвечал на различные вопросы Фридмана, в том числе
о кризисе совета директоров и отсутствии Суцкевера. Интервью
выглядело как игривый ответ. Говоря о кризисе совета директо­
ров, Альтман упомянул: «Путь к AGI должен включать в себя зна­
чительную борьбу за власть». Затем он добавил: «Ну, не должен.
Я предполагаю, что так и будет». На его лице появилась улыбка,
когда он продолжил: «Но сейчас это кажется чем-то из прошлого.
Сейчас мы сосредоточены на нашей миссии».
В апреле Альтман появился в подкасте 20VC с заметными тем­
ными кругами под глазами и обратился к стартапам в области ис­
кусственного интеллекта с суровым посланием: «Когда мы сосре­
доточимся на нашей основной миссии, мы превзойдем вас». В мае

406


Цифровая диктатура начинается

он также принял участие в подкасте All-In, популярном в Крем­
ниевой долине шоу, которое ведут четыре венчурных инвестора.
Альтман выразил большой энтузиазм: «Кажется, что мы открыли
новый фундаментальный аспект природы или науки, где интел­
лект возникает как свойство материи, почти как правило физики».
После презентации GPT-40 13 мая и Google 1/0 14 мая он на­
писал в своем твиттере нечто необычное. Он написал: «Я стара­
юсь не обращать особого внимания на конкурентов, но не могу
не заметить эстетический контраст между OpenAI и Google». Он
поделился фотографиями, сравнивая скандинавский минимализм
офиса OpenAI с красочным мультяшным фоном Google на меро­
приятии. Некоторым сотрудникам показалось странным, что он
преуменьшил значение конкуренции. Альтман всегда выделял
конкурентов, особенно после запуска GPT-40.
Все это сводилось к одному: беспокойство Альтмана давало о
себе знать.
Чем больше проблем возникало перед OpenAI, тем больше
Альтман, казалось, компенсировал их публичными заявлениями
о своем успехе. Эта закономерность стала устойчивой, сигнали­
зируя о том, что если Альтман хвастается, то, скорее всего, что-то
идет не так.
Давление шло со всех сторон. После The Blip заявление совета
директоров о том, что он «не был последовательно откровенен в
общении», привело к расследованию со стороны регулирующих и
правоохранительных органов, в том числе Комиссии по ценным
бумагам и биржам США, выясняющей, не были ли введены в за­
блуждение инвесторы компании. Об этом сообщила газета The
Wall Street Journal. В том же месяце The New York Times подала
иск о нарушении авторских прав, присоединившись к растущему
числу исков от художников, писателей и кодеров против OpenAI.
Они обвинили OpenAI в том, что та зарабатывает миллиарды на
моделях, обученных на их работах, без кредита, согласия или ком­

407


Эндрю Слоун

Нейросети лжи

пенсации, что приводит к автоматизации их рабочих мест. В по­
следний день февраля Маек подал иск против Альтмана, к которо­
му позже присоединился Шивон Зилис, утверждая, что Альтман
обманом заставил его стать соучредителем OpenAI под ложным
предлогом, что это некоммерческая организация. OpenAI быстро
опубликовала в блоге пост в свою защиту, поделившись ранними
электронными письмами, которые вызвали критику за то, как бы­
стро OpenAI отошла от своего некоммерческого статуса и обяза­
тельств по прозрачности.
Помимо конкуренции со стороны Anthropic и Google, в ответ
на отстранение Microsoft начала более активно диверсифици­
ровать свой портфель ИИ. В марте 2024 рода компания объяви­
ла о неожиданной сделке стоимостью 650 миллионов долларов
по приобретению Inflection AI Рида Хоффмана и Мустафы Су­
леймана, избежав при этом проверок со стороны регулирующих
органов. Microsoft наймет большинство сотрудников стартапа,
лицензирует ero технологии и назначит Сулеймана генеральным
директором подразделения ИИ технологического гиганта. Неко­
торые сочли сделку шокирующей не только из-за ее необычных
условий, но и из-за репутации Сулеймана. Те, кто работал с ним
в DeepMind, называли его токсичным и жестоким хулиганом. По­
сле многочисленных жалоб в отдел кадров DeepMind в конце 2019
года освободила его от большинства руководящих обязанностей,
отправила в отпуск и в итоге выгнала из компании. В 2024 году
Microsoft официально назвала OpenAI конкурентом в своей де­
кларации в Комиссию по ценным бумагам и биржам США и со­
всем не упомянула стартап во время заключительного кварталь­
ного звонка о доходах в этом финансовом году.
Стресс затронул и сотрудников OpenAI, которым казалось, что
мир ополчился против них. Некоторые беспокоились о том, что их
могут притеснять на публике, когда они носят фирменные вещи.
Логотип на старом рюкзаке OpenAI был спрятан внутри при ре­

408


Цифровая диктатура начинается

дизайне. Фоновое беспокойство заставило компанию обратиться
вовнутрь. Руководители советовали всем не обращать внимания
на критику, позитивно выстраивать общественные сообщения и
сосредоточиться на миссии OpenAI.
Внешний отпор укрепил многих людей в их непокорности.
Эндрю Карр, исследователь, который был научным сотрудни­
ком OpenAI в 2021 году, выразил свою обеспокоенность по по­
воду негативной информации, сложившейся вокруг ученых. Он
подчеркнул, что эти ученые ценят истину и понимание и упор­
но работают над тем, чтобы поступать правильно. По мнению
некоторых, растущая изоляция компании противоречит ее из­
начальной цели - приносить пользу человечеству. Несмотря на
миссию OpenAI, компания, казалось, игнорировала критику со
стороны общественности. Один из бывших сотрудников счел
обеспокоенным тот факт, что компания оправдывается тем, что
не она, а общественность ошибается. Другой сотрудник отме­
тил, что OpenAI обсуждала фундаментальные принципы только
с теми, кто поддерживал компанию, что ставило под вопрос ее
существование.
Много критики было направлено на Альтмана. Кризис в со­
вете директоров побудил его скрытых недоброжелателей выска­
заться. СМИ, используя новые источники, представили Альтмана
как нечестного, жадного до власти и корыстного человека. Энни
получила больше поддержки, и ее мнение стало общим. Альтман
столкнулся с постоянными разъездами и новообретенной славой,
из-за которой он не мог оставаться анонимным на публике. Он го­
ворил, что чувствует себя изолированным, не имея возможности
пойти на ужин в своем городе.
И поэтому было похоже на продолжение большой закономер­
ности, когда сразу после запуска GPT-4 OpenAI начал свою вто­
рую худшую неделю в истории, опередив только The Blip.

409


Эндрю Слоун

Нейросети лжи

14 мая, на следующий день после демонстрации GPT-4, OpenAI
объявила, что Суцкевер официально уходит. Новым главным на­
учным сотрудником OpenAI станет Пачоцки. Суцкевер принял это
решение после бурных размышлений. Он понял, что, несмотря на
свою любовь к OpenAI и преданность ее созданию, он больше не
видит в ней подходящего окружения под руководством Альтмана,
особенно вместе с Брокманом, его некогда надежным сооснователем, для создания безопасного AGI.
Это был не тот результат, которого хотел Альтман. Несмотря
на конфликты с Суцкевером, OpenAI ценила его опыт и лидерство
в области ИИ, особенно учитывая высокие ожидания и присталь­
ное внимание к компании. Руководители понимали, что уход Суц­
кевера может плохо отразиться на компании. OpenAI предлагала
ему большие суммы денег, чтобы он остался, но он отказался.
Приняв решение, OpenAI занялась приведением в порядок
публичных выступлений. Альтман написал сотрудникам 14 мая,
заявив, что «Илья - один из величайших умов нашего поколения,
путеводный свет в нашей области и дорогой друг». Это заявление
было также опубликовано в благе, где сообщалось об уходе Суцке­
вера. Альтман добавил: «Якуб также является одним из величай­
ших умов нашего поколения».
Суцкевер опубликовал в твиттере заявление, в котором вы­
разил полную уверенность в руководстве OpenAI. Эта новость
быстро привела к появлению различных историй и постов в со­
циальных сетях, посвященных его причастности к отстранению
Альтмана и поднимающих вопросы о пригодности Альтмана в
качестве генерального директора и о направлении исследований
компании. В своем твите Суцкевер приложил фотографию, на
которой он вместе с Брокманом, Пачоки, Альтманом и Мурати
стоит перед стеной, украшенной картинами животных, и все они
выглядят нейтрально.

410


Цифровая диктатура начинается

14 мая руководство OpenAI объявило об очередной отставке:
Ян Лейке, соруководитель Superalignment. С уходом Суцкевера и
Лейке команда Superalignment будет распущена. Большая часть ее
сотрудников и проектов теперь будет находиться в подчинении
Джона Шульмана, который вместе с Барретом Зофом возглавлял
группу посттренинга и контролировал процесс RLHF по подго­
товке моделей к выпуску.
Чтобы облегчить переход, оставшиеся руководители организо­
вали 15 мая собрание всех сотрудников. Альтман заверил сотруд­
ников, что OpenAI полностью привержена безопасности ИИ, а
г о т о в н о с т ь к AGI является их главным приоритетом.
«Можете ли вы подробнее рассказать об основных проблемах
Яна и объяснить, в чем вы с ним не согласны?» - поинтересовался
один из сотрудников.
«Единственное, в чем я хочу сказать, что я действительно со­
гласен с Яном, так это в том, что того, что мы делали в прошлом,
недостаточно для будущего», - сказал Альтман. Для OpenAI на­
стало время поворота. «Я думаю, что мы являемся необычным ис­
ключением в нашей способности повернуть линкор и делали это
уже много раз. Мы сделаем это снова».
Мурати добавил, что команда Superalignment сохранила свои
обязательства по вычислениям на 20%.
«Ян не беспокоился об уровне вычислительной нагрузки или
приоритетности работы Superalignment», - сказал Альтман, пояс­
няя опасения Яна.
На первый взгляд, уход Суцкевера и Лейке казался естествен­
ным продолжением более широкой тенденции в компании: неу­
клонного оттока сотрудников отдела безопасности. После ухода
этих двух руководителей последовали новые отставки. Многие
другие бывшие сотрудники Superalignment также покидали ком­
панию по мере того, как распадалась их команда.

411


Эндрю Слоун

Нейросети лжи

Неожиданный поворот событий ознаменовал начало более
интенсивного конфликта между бумерами и думерами по поводу
OpenAI. Борьба не закончилась, просто «думеры» вынесли ее за
пределы компании.
17 мая, через два дня после общего собрания, Лейк выразил
свое несогласие с руководством OpenAI в серии критических твитов. Он заявил, что некоторое время у него были противоречивые
взгляды с Альтманом на основные цели компании, что привело к
перелому. Один из его твитов, который просмотрели около мил­
лиона человек, рассказывал о проблемах, с которыми столкнулась
его команда при проведении важных исследований из-за нехватки
вычислительных ресурсов.
«На OpenAI лежит огромная ответственность от имени всего
человечества, - продолжил он, - но за последние годы культура
безопасности и процессы отошли на второй план, уступив место
блестящим продуктам».
Вскоре Лейке присоединится к Anthropic.
Пока его твиты распространялись по интернету, набрав более
двенадцати тысяч лайков и привлекая новое внимание к OpenAI,
руководители компании едва успели оценить ситуацию, как воз­
никла другая проблема.
Через несколько часов после твита Лейка 17 мая начал распро­
страняться другой твит. Келси Пайпер, старший автор Уох в вдох­
новленном ЕЛ разделе Future Perfect, поделилась новой историей.
В своем твите она написала о неприятном сюрпризе для тех, кто
покидает OpenAI: соглашение об уходе, требующее пожизненно­
го обязательства о неразглашении, чтобы сохранить свои доли в
компании.
Отчасти эта история была вызвана тем, что компанию поки­
нули новые сотрудники, в том числе Дэниел Кокотайло, который
был частью команды Брундаджа по исследованию политики. Он
ушел в апреле 2024 года, во время ранней волны уходов из клана

412


Цифровая диктатура начинается

Safety. До прихода в OpenAI Кокотайло работал философом в Цен­
тре долгосрочных рисков в Лондоне. В 2020 году GPT-3 вызвал
значительный сдвиг во временных рамках его ИИ. Два года спу­
стя он получил признание на форумах экспертов за свои прогно­
зы развития ИИ. Затем исследователь безопасности ИИ в OpenAI
нанял его для продолжения этих исследований внутри компании.
Видя темпы внутренних исследований, его сроки снова сократи­
лись. Когда он уходил, он считал, что вероятность появления ИИ
к 2027 году составляет 50 %, а вероятность того, что это приведет
к серьезным последствиям для человечества, - 70 %.
Столкнувшись с потенциальной катастрофой, Кокотайло нашел
в документах на выход то, что Пайпер позже подробно изложит в
своей истории. Если бы он отказался подписать соглашение о не­
разглашении, то потерял бы свои акции. Даже если бы он подписал
его, нарушение соглашения все равно могло бы привести к потере
акций из-за запрета на разглашение информации. Кокотайло считал
пункт об обратном выкупе неприемлемым, поскольку в Кремниевой
долине прикосновение к наделенным правами акциям было крас­
ной чертой. Акции сотрудников часто имеют большую ценность,
чем денежное вознаграждение, что существенно влияет на их фи­
нансовое будущее. OpenAI разрабатывала технологию, которую он
считал самой мощной и экзистенциально опасной. Он считал, что
бывшие сотрудники должны иметь возможность публично крити­
ковать компанию, чтобы обеспечить подотчетность. Однако страх
потерять финансовую безопасность мог заставить замолчать любо­
го, даже если он заметил серьезные проблемы с безопасностью ИИ.
После трудного обсуждения с женой они решили не подписывать
бумаги, отказавшись от его акций стоимостью 1,7 миллиона долла­
ров, что составляет около 85 % чистой стоимости их семьи.
Затем он публично объявил о своем решении на LessWrong, как
раз в тот момент, когда Келси Пайпер узнала о клаубэк-оговорке
от другого думера.

413


Эндрю Слоун

Нейросети лжи

После публикации истории Пайпер в Slack OpenAI появился
канал под названием #i-have-a-question, где сотрудники могут за­
дать любой вопрос. Кто-то разместил ссылку на твит Пайпер и
спросил: «Это правда?».
Еще несколько сотрудников присоединились к шквалу коммен­
тариев.
Джулия Виллафа, недавно назначенная вице-президентом по
работе с персоналом и вскоре ставшая главным специалистом по
работе с персоналом OpenAI, затронула этот вопрос. Она поясни­
ла, что компания никогда не лишала нынешних или бывших со­
трудников их права на наделённые правами акции, даже если они
не подписывали определённых соглашений при уходе. Компания
обновила свои процедуры ухода, чтобы привести их в соответ­
ствие с этой политикой и применить ее задним числом к бывшим
сотрудникам.
Несколько сотрудников поддержали Кокотайло, поставив под
сомнение его положение. Он потерял свой капитал, не подписав
соглашение о неразглашении. Если это было недоразумение, разве
он не должен восстановить свой капитал?
«Я. радостью сообщу Дэниелу!» - предложил один из сотруд­
ников.
«Ага, да, будет забавно увидеть лицо Дэниела, когда он вернет
себе 85% своей чистой стоимости, лол», - написал другой человек,
попросив кого-нибудь сделать фото.
«Это будет 1/(1-0,85) = 666% его чистой стоимости, если чест­
но», - сказал третий человек.
Днем позже, 18 мая, Альтман повторил в своем твите, что ни­
когда не забирал ни у кого наделенный правом собственности
капитал. Они не будут этого делать, если люди не подпишут со­
глашение о разрыве отношений или не согласятся на соглашение
о неразглашении. Альтман подчеркнул, что наделенные правами
акции остаются наделенными правами, и точка.

414


Цифровая диктатура начинается

Затем он объяснил и извинился за ошибочно включенное по­
ложение о «потенциальном аннулировании акций». Команда
OpenAI работала над исправлением этой ошибки в течение по­
следнего месяца. Он признал свою ошибку и выразил искреннее
смущение по поводу того, что не знал об этом раньше.
Два дня спустя руководители компании все еще пытались спра­
виться с новым противоречием, когда возникло еще одно. Сотруд­
ники офиса придумали новый термин: Омникризис.
20 мая Скарлетт Йоханссон выступила с решительным заявле­
нием.
На протяжении всей недели, помимо других текущих собы­
тий, OpenAI отвечала на вопросы журналистов о поразительном
сходстве GPT-4 с ИИ-ассистентом Самантой, которую Йоханссон
озвучивала в фильме «Она». За кулисами Йоханссон и ее агент
Брайан Лурд добивались от компании разъяснений. OpenAI пу­
блично и в частном порядке отрицала наличие параллелей. Когда
Лурд связался с Альтманом, чтобы получить ответы, Альтман был
удивлен. Он спросил, действительно ли они считают, что голос
похож на голос Йоханссон, и не расстроилась ли она, как сообща­
ет The Wall Street Journal.
19 мая компания опубликовала в своем б л о ^ сообщение, в ко­
тором объяснила, что голос, демонстрировавшийся на сцене для
4о по имени Скай, был озвучен другой актрисой, выбранной в на­
чале 2023 года. Скай была представлена в сентябре как одна из
первых опций голосового режима ChatGPT. В сообщении уточня­
лось, что любое сходство между голосом Скай в 4о и голосом Йо­
ханссон было непреднамеренным. На следующий день Йоханссон
решила поделиться своей точкой зрения.
В том же месяце, когда OpenAI представила голосовой режим,
Альтман лично связался с Йоханссон и попросил ее озвучить
ChatGPT. Она упомянула, что, по его мнению, ее голос может по­

415


Эндрю Слоун

Нейросети лжи

мочь преодолеть разрыв между технологическими компаниями
и креативщиками и сделать потребителей более спокойными по
отношению к значительным изменениям, связанным с людьми и
искусственным интеллектом. Йоханссон написала в своем заявле­
нии, что, по его мнению, ее голос принесет людям комфорт.
Йоханссон рассматривала это предложение, но отказалась по
личным причинам. Она продолжает: «В мае 2024 года Альтман во
второй раз связался с Лурд и спросил, не может ли она переду­
мать». Несколько дней спустя, прежде чем они смогли найти вре­
мя для встречи, ОрепА! провела свое мероприятие, чтобы проде­
монстрировать 4о.
Демонстрация поразила ее. Как и у Йоханссон, голос Скай был
альтовым с рашпилем и вокальным фриком, ставшим фирмен­
ным знаком Йоханссон. Новая эмоциональность и кокетливость
голоса еще больше напомнили Йоханссон ее героиню Саманту.
Йоханссон выразила шок, гнев и неверие в то, что мистер Олтман
стал использовать голос, настолько похожий на ее, что даже ее
близкие друзья и новостные издания не смогли отличить их друг
от друга. В результате ей пришлось сформировать юридическую
команду и отправить в OpenAI два юридических письма, в кото­
рых она задавалась вопросом о том, как был создан Sky. Она под­
черкнула важность ясности в то время, когда все мы озабочены
проблемой глубоких подделок и защитой своего сходства, работы
и личности.
OpenAI быстро удалила Sky и возобновила свою защиту. В сво­
ем блоге 19 мая она сообщила больше подробностей и включила
заявление Альтмана. В сообщении пояснялось, что голос Скай не
принадлежит Скарлетт Йоханссон и не должен был быть похож
на ее голос. OpenAI извинилась перед г-жой Йоханссон за отсут­
ствие четкой коммуникации.
После череды негативных событий скандал с Йоханссон стал
достоянием общественности, что напомнило предыдущий кри­

416


Цифровая диктатура начинается

зис совета директоров. Он распространился в кругах технологов
и политиков, породив новые слухи о том, что Альтман не всегда
был правдив, как утверждал совет директоров. Маркус охотно по­
делился своими мыслями, упомянув, что политики лично восхи­
щаются Сэмом. Он заметил это во время своей работы в Сенате,
сказав: «Если в отношении него возникнут сомнения, это может
существенно повлиять на выработку политики».
Моральный дух в OpenAI резко упал и представлял угрозу для
стабильности компании.
22 мая руководители компании провели собрание, на котором
обсудили кризисы, связанные с Йоханссон и акциями, а также все
текущие проблемы, связанные с приверженностью OpenAI безо­
пасности ИИ.
Настроение было напряженным, пока руководство компании
давало быстрые объяснения. Джейсон Квон, директор по страте­
гии, курирующий вопросы управления персоналом и права, зая­
вил, что вопрос с акциями был «неприемлемым» и был оператив­
но исправлен. Он назвал историю с Йоханссон досадным недораз­
умением. Квон похвалил команду разработчиков и юристов за то,
что они наняли режиссера, удостоенного премии «Оскар», прове­
ли тщательный к а сти ^ и щедро компенсировали актерам озвучи­
вания, чтобы обеспечить благополучие и поддержку всех участ­
ников. Он высоко оценил их героические усилия и подчеркнул,
что в будущем OpenAI должна быть более скоординированной и
прозрачной, чтобы эффективно демонстрировать ответственное
лидерство.
Мурати закончил обновление: OpenAI готовится к новому
уровню готовности, о котором говорил Альтман. Это включает
в себя усиление безопасности исследовательских кластеров, ре­
организацию, чтобы больше сосредоточиться на долгосрочных
исследованиях безопасности ИИ, и создание новой группы готов­

417


Эндрю Слоун

Нейросети лжи

ности AGI во главе с Александром Мондри для улучшения коор­
динации между руководством в продвижении этой цели.
Попросив понимания, Альтман предоставил слово для во­
просов. Он отметил, что все неустанно работают и испытывают
стресс, мало спят. Он объяснил, что многие вещи происходят од­
новременно, и попросил проявить терпение. Альтман заверил,
что они сделают все возможное.
Из всех трех проблем проблема с Йоханссон стала самым
большим кошмаром в области связей с общественностью. По­
сле того как один из сотрудников поинтересовался сходством
голоса Скай с голосом голливудской кинозвезды, Мурати пояс­
нила, что это чисто случайное совпадение. Она сама выбрала фи­
нальные голоса, рассмотрев различные варианты, и, в отличие
от Олтмана, не знала, что Йоханссон озвучивала фильм «Она».
Сотрудник предупредил, что проблема может стать критиче­
ской для компании, если ее не решить в срочном порядке. Он
отметил, что потенциальный риск для индустрии искусствен­
ного интеллекта заключается в том, что люди теряют доверие
к передаче своих данных, и этот инцидент вновь пробудил этот
страх.
По большому счету, проблема справедливости возмутила
сотрудников больше всего. Некоторые из них наняли юристов,
чтобы самостоятельно проверить свои кадровые документы
и убедиться в правоте заявлений OpenAI. Во время встречи
они расспрашивали руководителей о подробностях. Один че­
ловек, заметно разозлившись, спросил: «Как это произошло?»
Руководители объяснили, что пункт о возврате денег был упу­
щен из виду. Хотя он действует с 2019 года, руководство заме­
тило его только в апреле 2024 года, что побудило немедленно
принять меры для исправления ситуации. Квон неоднократ­
но снимал с себя ответственность, выглядя измученным и
побежденным.

418


Цифровая диктатура начинается

Во время допроса исследователь безопасности ИИ задавал ка­
ждому руководителю простой вопрос «да» или «нет»: Знали ли
они о соглашении о неразглашении до апреля?
Квон согласился, но Мурати и главный операционный дирек­
тор Брэд Лайткэп не согласились. Альтман дал более подробный
ответ. Хотя он знал, что в некоторых случаях это обязательно, он
не понимал, что это обязательно для всех. «Я это упустил», - при­
знался он. Брокман выразил то же самое мнение.
Альтман предложил собраться на следующий день, чтобы от­
ветить на последние вопросы перед тем, как распустить собрание.
Вторая сенсация Уох, написанная Келси Пайпер, усложнила рас­
сказ руководителей. В материале, опубликованном в тот же день,
были обнаружены утечки документов, свидетельствующие о том,
что отдел кадров OpenAI заставлял сотрудников подписывать со­
глашения о неразглашении, угрожая аннулированием акций. Piper
сообщила об инциденте, корда представитель HR-отдела преду­
предил сотрудника, что отказ от подписания может повлиять на
его долю в капитале. В другом случае сотруднику, который обра­
тился за юридической консультацией перед подписанием согла­
шения о расторжении договора, было сказано, что он может поте­
рять право продать свои акции, наделенные правами, что сделает
их бесполезными.
Документы были собраны Кокотайло. После первоначального
рассказа Пайпер и отрицания Альтманом возможности возврата
акций OpenAI Кокотайло связался с нынешними и бывшими со­
трудниками, чтобы те предоставили свои кадровые документы.
Он создал Google Drive, чтобы поделиться документами с груп­
пой, а затем кто-то передал их Пайпер.
В этих документах Piper нашла доказательства, опровергающие
утверждение о том, что некоторые члены исполнительной коман­
ды, в частности Альтман, не знали о клаубэк-оговорке до апреля
2024 года. Квон и Лайткэп подписали стандартные документы о

419


Эндрю Слоун

Нейросети лжи

выходе из компании, в которых четко прописаны права OpenAI на
возврат наделенного правами капитала. Альтман подписал учре­
дительные документы, предоставляющие компании эти права, на
год раньше, чем он утверждал, что знал о них: 10 апреля 2023 года.
Руководители провели еще одну встречу 23 мая, как и было за­
планировано. Гнев сотрудников достиг своего пика. Многие уже
не верили в существование этого положения; теперь их поражала
очевидная нечестность руководителей, особенно Альтмана, в об­
ращении с разоблачениями.
На этот раз Альтман начал с признания, что руководство ком­
пании потратило последние двадцать четыре часа на выяснение
причин возникновения проблем с возвратом денег. Он выразил
обеспокоенность тем, что ситуация выглядит более масштабной
и серьезной, чем предполагалось вначале. Они все еще пытаются
полностью осознать масштаб проблемы, поскольку их имена фи­
гурируют в документах и они участвовали в обсуждениях, связан­
ных с этой тактикой.
«Я думаю, что это худшее из того, что мы сделали неправиль­
но», - добавил он. Компания быстро исправила ситуацию. Они
разослали бывшим сотрудникам электронные письма, освобо­
ждающие их от условий неразглашения, и убрали из выходных до­
кументов положение о новом уходе. Они также внесли изменения
в документы юридического лица и продолжили расследование
произошедшего.
Отвечая на шквал вопросов новых сотрудников, Квон теперь
повторял другую фразу. Для уточнения масштабов ситуации по­
требуется дополнительное расследование.
Примерно через тридцать минут после начала мероприятия во­
прос одного из сотрудников вызвал обмен мнениями, который за­
ставил многих присутствующих почувствовать себя неловко, по­
скольку ответ Альтмана показался им оторванным от реальности.

420


Цифровая диктатура начинается

«Есть ли у Ильи какие-либо обязательства по неразглаше­
нию?» - спросил сотрудник.
«Нет», - быстро ответил Альтман, а затем, немного поколебав­
шись, добавил: «Я думаю, это правильно».
Квон нервно рассмеялся и сказал: «Сэм, давай подтвердим это
и вернемся к тебе со стопроцентной точностью», - обращаясь к
сотруднику.
Брокман предложил завуалированное противоречие, сказав:
«Мне показалось, что он попросил об этом, но я могу ошибаться.
Давайте проверим»,
В ближайшие месяцы многие нынешние и бывшие сотрудники,
особенно высокопоставленные и с большим стажем работы, будут
вспоминать омникризис и фиаско с возвратом денег как начало
тревожного осознания. Во всем этом хаосе действовали две силы.
Одной из них было столкновение между «бумерами» и «думерами», которое вызвало много критики со стороны. Другая - власт­
ная централизация Альтмана при создании юридических лиц
OpenAI и его неоднократная нечестность при разборе каждой
неразберихи. После The Blip многие сотрудники считали, что на
решение совета директоров повлияло столкновение между буме­
рами и думерами, а объяснения директоров были сосредоточены
на поведении Альтмана. По мере того как все больше сотрудников
понимали, что поведение Альтмана вредит им, они сомневались в
правильности решения совета директоров.
Когда заседание 23 мая подходило к концу, Квон неловко за­
щищал характер Альтмана, чувствуя себя не в своей тарелке. Он
выразил желание дать немедленные ответы, но признал, что ино­
гда важно подождать. Квон спотыкался на словах, подчеркивая,
что никакого умышленного вреда не было. Он считал, что Сэм
искренне стремился не разочаровать его. У Квона были долгие ра­
бочие отношения с Сэмом, которые он ценил. Он подчеркнул, что
намерения были благими, несмотря на критику.

421


Эндрю Слоун

Нейросети лжи

Мурати, Брокман и Пачоцки вместе приехали в дом Суцкевера.
23 мая OpenAI оправилась от омникризиса. Три человека при­
шли с открытками и подарками от сотрудников, призывая Суц­
кевера вернуться. Они эмоционально объясняли, что все вокруг
хаотично. OpenAI теряла доверие сотрудников, инвесторов и ре­
гуляторов одновременно, и без него ей грозил крах.
В тот день Альтман приехал один и выразил надежду, что Суц­
кевер вернется и поможет восстановить былое. Один из исследо­
вателей размышляет: «Возвращение Ильи очень помогло бы. Это
была бы победа после ряда событий, которые заставили OpenAI
выглядеть сомнительно».
Несмотря ни на что, Суцкевер серьезно рассматривал предло­
жение Маска. В день, когда он объявил о своем уходе, Маек сразу
же предложил ему роль в xAI. Позже, в том же году, Маек пере­
вел штаб-квартиру xAI в здание Pioneer Building после того, как
OpenAI освободила его. Суцкевер отклонил это предложение, ре­
шив вместо этого создать другую компанию. Возвращение в свою
первую компанию оказалось больше, чем он планировал, но имен­
но то, ч е т он хотел. Для него это было похоже на возвращение
домой. Однако ему требовались гарантии от руководителей, что
компания приложит честные усилия для решения выявленных им
проблем, включая болезненные конфликты среди руководства.
Омникризис должен был побудить OpenAI задуматься о том,
почему она потеряла доверие сотрудников, инвесторов, регуля­
торов и общественности. Понимание этого могло бы привести к
осознанию того, что «Всплеск» и «Омникризис» были схожими
результатами глубокой системной нестабильности, вызванной
империей, концентрирующей власть путем отчуждения, в резуль­
тате чего большинство людей лишилось возможности распоря­
жаться своим имуществом, а немногие борются за контроль.
Вместо этого OpenAI решила защититься от критики. Альтман
заверил сотрудников, что такие проблемы, как Omnicrisis и The

422


Цифровая диктатура начинается

Blip, были ожидаемы в их стремлении к AGI. Он признал расту­
щий стресс и напряжение как внутри компании, так и за ее пре­
делами. Альтман подчеркнул важность улучшения связей с обще­
ственностью, укрепления отношений с правительством и сохра­
нения приверженности своему видению. Он считает, что OpenAI
хорошо справляется с этими проблемами, но признает, что в буду­
щем их ждут новые испытания.
То, как OpenAI справилась с делом Суцкевера, стало небольшим
примером непрекращающегося хаоса, вызванного сохранением
власти. Просьба Суцкевера привела к новым конфликтам между
лидерами, повторив эгоистичные проблемы, которые уже беспо­
коили компанию. Александр Мадри, польский профессор Масса­
чусетского технологического института, известный как искатель
власти, приобрел значительное влияние в компании. Мадри был
против возвращения Суцкевера из-за его популярности среди ис­
следователей, что могло уменьшить влияние Мадри и его друга Пачоцки. Опасения Мэдри быстро породили сомнения и раскол сре­
ди руководства. Олтман, как обычно, избегал принимать чью-либо
сторону, чтобы не показаться несогласным с кем-либо.
Через двадцать четыре часа после того, как руководители по­
сетили его дом, Суцкеверу позвонил Брокман. Брокман сообщил
Суцкеверу, что теперь любые разговоры о его возвращении пол­
ностью исключены.

Глава 18
Формула империи
Однажды Альтман сказал со сцены, что лучшая книга, которую
он прочитал в 2018 году, - это «Разум Наполеона». Это сборник
цитат Наполеона Бонапарта, французского полководца, который

423


Нейросети лжи

Эндрю Слоун

возглавил переворот, чтобы захватить контроль над французским
правительством, стал императором Франции и пытался завоевать
Европу.
«Очевидно, что он глубоко несовершенный человек, но впечат­
ляет», - сказал Альтман.
«Что он понял?» - спросил Тайлер Коуэн, профессор экономи­
ки из Университета Джорджа Мейсона, который вел мероприятие.
«Его невероятное понимание человеческой психологии», - от­
ветил Альтман, которому оставалось несколько недель до перехо­
да на постоянную работу в OpenAI и одновременно на должность
президента УС. «Эту черту мы наблюдаем у многих наших лучших
основателей».
Альтман пересказал конкретный отрывок, который поразил
его больше всего. Это были размышления Наполеона о девизе
Французской революции «Свобода, равенство, братство», кото­
рый впоследствии стал национальным девизом страны. Наполеон
переосмыслил этот девиз, чтобы укрепить свою власть. Под этим
знаменем он ограничил свободу, отменил братство, предоставил
равенство только французским мужчинам, исключил женщин и
вновь ввел колониальное рабство, чтобы восстановить француз­
скую империю.
«Он говорил о том, как построить систему, в которой мож­
но контролировать людей», - размышляет Альтман. «Я подумал:
«Хорошо, что он не управляет Соединенными Штатами», потому
что он понимает что-то глубокое, чего не понимаю я, и смог ис­
пользовать это для власти».
Спустя шесть лет после моего первоначального скепсиса по
поводу альтруизма OpenAI, я теперь твердо уверен, что ее миссия
по обеспечению пользы AGI для всего человечества начиналась
как идеализм, но превратилась в мощный способ консолидации
ресурсов и построения структуры власти, подобной империи. Эта
формула состоит из трех ключевых ингредиентов:

424


Цифровая диктатура начинается

Во-первых, миссия централизует таланты, объединяя их во­
круг грандиозной амбиции, подобно тому, как это сделал Джон
Маккарти, введя термин «искусственный интеллект». В 2013
году Альтман в своем блоге писал, что самые успешные основа­
тели стремятся не создавать компании, а основать нечто сродни
религии, что в итоге приводит к созданию компании. Во-вторых,
миссия централизует капитал и ресурсы, устраняя при этом такие
препятствия, как правила и инакомыслие. Инновации, современ­
ность, прогресс - чего бы мы не сделали для их достижения? Это
особенно актуально при столкновении с устрашающими корпо­
ративными и государственными конкурентами. Альтман в статье
для The Washington Post, опубликованной в июле 2024 года после
Омникризиса, задается вопросом: «Кто будет определять будущее
ИИ? Будет ли это сценарий, в котором Соединенные Штаты и их
союзники продвигают глобальный ИИ, который делится своими
преимуществами и предоставляет открытый доступ, или это бу­
дет авторитарный сценарий, в котором страны или группы с раз­
личными ценностями используют ИИ для усиления своего кон­
троля и влияния?»
Самое главное, что миссия настолько расплывчата, что ее мож­
но интерпретировать по-разному, подобно тому, как Наполеон
интерпретировал девиз Французской революции. Это позволяет
централизовать таланты, капитал и ресурсы в соответствии с же­
ланиями централизатора. Что такое выгода? Что такое AGI? Альт­
ман, которого совет директоров уволил всего через два дня после
этих слов, назвал этот термин нелепым и бессмысленным, изви­
нившись за то, что неоднократно его использовал.
В этом последнем аспекте прогресс OpenAI был поистине за­
мечательным. В 2015 году их целью было создание некоммерче­
ской организации, ориентированной на открытый доступ к ис­
следованиям без необходимости получения финансовой выгоды.
В 2016 году акцент сместился на то, чтобы все могли пользоваться

425


Эндрю Слоун

Нейросети лжи

достижениями в области ИИ, но при этом не обязательно делить­
ся научными подробностями. В 2018 и 2019 годах они ввели огра­
ничение на прибыль, чтобы собирать ресурсы, не торопясь уча­
ствовать в конкурентной гонке ИИ. К 2020году акцент был сделан
на изоляции модели и создании API для открытости и взаимной
выгоды. В 2022 году упор был сделан на итеративное разверты­
вание и быстрое внедрение ChatGPH Наконец, в 2024 году Альт­
ман подчеркнул в своем блоге важность предоставления мощных
инструментов ИИ людям бесплатно или по доступной цене как
основной части их миссии.
Уже во время Омникризиса OpenAI Альтман начал снова пере­
сматривать свои определения.
На собрании коллектива 15 мая 2024 года Альтман подчеркнул,
что OpenAI вскоре расширит свои возможности в области искус­
ственного интеллекта, вступив в эру AGI. Он упомянул о необхо­
димости переоценки и реорганизации компании в соответствии
с ее миссией. Альтман отметил важность усиления глобального
лоббирования и публичных сообщений, подчеркнув отсутствие
готовности в стандартах безопасности, политических планах и
правительственном сотрудничестве, необходимых для будущего
социально-экономического воздействия достижений ИИ.
В то же время OpenAI не будет снижать темпы коммерческой
деятельности для выполнения своей миссии. Это не означает пре­
кращения поставок отличных продуктов, проведения исследова­
ний, участия в партнерствах и других инициативах. К концу ме­
сяца в СМИ появилась информация о том, что OpenAI заключила
крупную сделку по интеграции своих моделей в продукты Apple.
Обе компании подтвердили эту новость две недели спустя.
На самом деле, Альтман упомянул на собрании всех сотрудни­
ков, что OpenAI и Microsoft пересматривают условия сотрудниче­
ства, чтобы обеспечить продолжение коммерциализации. Он зая­
вил, что сразу после совещания прилетит в Сиэтл, чтобы обсудить

426


Цифровая диктатура начинается

это. Партнерство должно было развиваться. Изначально у них был
пункт под названием «достаточный пункт AGI», определяющий,
когда OpenAI перестанет делиться своей ИС с Microsoft. Однако
перспективы изменились. Больше не было четкой точки отсчета
для достижения AGI. Это стало рассматриваться как непрерывный
процесс. Обе компании планировали продолжать сотрудничество
и выпускать передовые технологии по конкурентоспособной цене.
Это была странная и непоследовательная стратегия, которая
имела смысл только в одном случае. OpenAI будет делать все, что
нужно, интерпретируя и переинтерпретируя свою миссию соот­
ветствующим образом, чтобы закрепить свое господство.
За кулисами Альтман закладывал основу для укрепления сво­
его контроля. Кризис в совете директоров показал, что структура
OpenAI - некоммерческая организация, контролирующая ком­
мерческую, - делала его отстранение почти несомненным. Такая
структура не только высветила конфликтующие фракции компа­
нии - «бумеров» и «думеров», - конкурирующие за контроль над
разработкой ИИ, но и дала совету директоров широкие полно­
мочия уволить его на основании их суждения о его соответствии
миссии, а не его самого.
Если структура останется неизменной, такой конфликт обяза­
тельно повторится.
28 мая, менее чем через неделю после того, как руководство по­
пыталось вновь нанять Суцкевера, один из сотрудников написал
в канале Slack #i-have-a-question. Вопрос начинался со слов: «Я не
знаю, как это спросить». В последнем соглашении акционеров
OpenAI были новые детали, позволяющие распустить некоммер­
ческую организацию. Сотрудник спросил: «Насколько стабильна
некоммерческая организация? Будет ли она и дальше управляться
как некоммерческая?»
На следующий день издание ^ е Information сообщило, что это
не было планом. Главным приоритетом Альтмана на этот год была

427


Эндрю Слоун

Нейросети лжи

реструктуризация OpenAI, чтобы она стала похожа на обычную
компанию. Позже издание подтвердило более подробную ин­
формацию. Альтман рассматривал возможность преобразования
OpenAI в традиционную коммерческую или общественно-полез­
ную корпорацию, как Anthropic и xAI. Оба сценария позволят со­
хранить некоммерческую организацию как отдельную структуру,
но уменьшить контроль совета директоров над бизнесом компа­
нии. Инвесторы также призывали Альтмана принять участие в ак­
ционерном капитале компании, чтобы уравнять ero стимулы с их.
В течение следующих нескольких месяцев, пока OpenAI раз­
рабатывала планы перехода, две силы, действовавшие во время
Омникризиса, продолжали действовать. Думеры усилили свое пу­
бличное давление на компанию. 4 июня газета The New York Times
рассказала о Даниэле Кокотайло и начатой им кампании, призы­
вающей компании, занимающиеся разработкой передовых ИИ,
взять на себя обязательства по повышению прозрачности и защите
информаторов. Это позволит защитить право сотрудников преду­
преждать общественность о предполагаемых рисках в компании.
Кокотайло вместе с двенадцатью другими подписантами (десять
из них - представители разных эпох клана безопасности OpenAI)
изложили свои требования в открытом письме. Месяц спустя The
Washington Post сообщила, что группа из OpenAI подала жалобу в
Комиссию по ценным бумагам и биржам США. Они утверждали,
что компания нарушает федеральную защиту информаторов сво­
ими слишком широкими соглашениями о выходе. Позднее в том
же месяце пять сенаторов США написали письмо Альтману, тре­
буя разъяснений по поводу обвинений Лейка, Кокотайло и других,
а также отчета Пайпера о халатном отношении OpenAI к безопас­
ности ИИ и подавлении критики со стороны сотрудников.
Тем временем в руководстве компании царил хаос, а в Altman
продолжалось разочарование. Это, в сочетании с продолжаю­

428


Цифровая диктатура начинается

щимся конфликтом между Бумером и Думером, привело к частым
изменениям в структуре отчетности компании. Брокман сменил
Мурати на Альтмана. Вскоре после письма сенаторов Александр
Мондри был переведен с должности руководителя группы готов­
ности на более мелкую исследовательскую роль. OpenAI также
наняла более опытных руководителей, таких как Сара Фрайар,
бывший генеральный директор Nextdoor, в качестве финансово­
го директора, и Кевин Вайл, бывший руководитель по продуктам
в Facebook, Instagram и Twitter, в качестве главного директора по
продуктам.
Вскоре компания лишилась целого ряда своих самых опытных
руководителей. Первым ушел Джон Шульман 5 августа 2024 года,
заявйв о своем намерении больше сосредоточиться на выравни­
вании ИИ в Anthropic. В тот же день Брокман объявил о своем от­
пуске до конца года, отчасти из-за недовольства сотрудников его
руководством после девяти лет интенсивной работы в компании.
В следующем месяце, 25 сентября, Мира Мурати, еще один ру­
ководитель, выражавший совету директоров опасения по поводу
Альтмана, неожиданно объявила о своем уходе. Она поблагодарила
Альтмана и Брокмана за привилегию работать в OpenAI в течение
шести с половиной лет и выразила свою поддержку компании. В ка­
честве причины ухода Мурати назвала желание иметь время для
личных исследований. Вскоре после этого главный директор по ис­
следованиям Боб Макгрю и вице-президент Баррет Зоф, которые
тесно сотрудничали с Шульманом, также объявили о своем уходе.
Все они считали, что сейчас самое время покинуть OpenAI на пози­
тивной ноте, особенно после успешного запуска последней модели
OpenAI, Strawberry, в середине сентября. Эта модель, названная ol
в соответствии с новой системой наименований, стала значитель­
ным достижением после вклада Суцкевера в развитие компании.
По правде говоря, после Омникризиса время было выбрано не­
удачно. Конкуренция, с которой столкнулась OpenAI, ускорилась.

429


Эндрю Слоун

Нейросети лжи

Маек стремительно наращивал свои вычислительные мощности
для создания xAI. Последняя версия Claude от Anthropic привле­
кала клиентов из ChatGPT. Суцкевер официально основал свою
новую конкурирующую компанию, Safe Superintelligence, и только
что объявил о первоначальном финансировании в размере 1 мил­
лиарда долларов.
После более чем года работы OpenAI все еще пыталась до­
стичь желаемой производительности Orion, чтобы оправдать
его выпуск. Компания поняла, что одного масштабирования не­
достаточно для развития систем ИИ. Для дальнейшего прогрес­
са необходимы новые исследовательские идеи. Однако это было
непросто, поскольку OpenAI при найме сотрудников и организа­
ции команды ориентировалась на использование существующих
исследований, а не на освоение новых научных территорий.
За два дня до объявления Мурати Альтман опубликовал в сво­
ем блоге самый громкий пост во время последнего сбора средств
OpenAI. Пост был озаглавлен «Эра интеллекта» и содержал зауныв­
ные обещания о грядущем «невообразимом» процветании. Альт­
ман писал: «Как мы достигли следующего скачка в процветании?
В 15 словах: глубокое обучение работает, предсказуемо улучшается
с ростом масштаба, и мы выделяем на него больше ресурсов».
На собрании коллектива Мурати объяснила сотрудникам вне­
запность своего заявления. Она хотела, чтобы все узнали о ее
уходе непосредственно от нее, а не через менеджеров или прессу.
Учитывая пристальное внимание к OpenAI, она не видела друго­
го способа сделать это, не удивив всех. Узнав о решении Мурати,
Макгрю тоже решил, что ему пора уходить. Он заявил: «Я достиг
большинства своих целей с тех пор, как пришел сюда».
Как и в случае с уходом Суцкевера, OpenAI стремилась к тому,
чтобы эти три ухода прошли гладко. Альтман написал во внутрен­
ней записке, что Мира, Боб и Баррет приняли свои решения неза­
висимо и дружелюбно. Затем он написал в Твиттере, что в связи

430


Цифровая диктатура начинается

с тем, что решение Миры было принято вовремя, имеет смысл
объявить обо всех изменениях сразу, чтобы переход к новому ру­
ководству был плавным.
Вместо Макгрю новым старшим вице-президентом по иссле­
дованиям станет Марк Чен, руководитель исследований, который
вместе с Мурати и Зофом выступал на демонстрационном меро­
приятии 4о, и возглавит это подразделение вместе с Пачоки. Другой
давний исследователь OpenAI, Джошуа Ачиам, займет новую долж­
ность - руководителя отдела согласования миссий. Лиам Федус, ко­
торый пришел в OpenAI вместе с Зофом, вскоре возглавит работу
по посттренинговому обучению. Альтман отметил, что OpenAI пока
не будет искать нового технического директора на место Мурати.
При всех изменениях в руководстве и планируемых структур­
ных изменениях компания демонстрировала одну постоянную: она
была и будет империей искусственного интеллекта Сэма Альтмана.
В начале октября 2024 года OpenAI завершила свой последний
раунд финансирования, получив $6,6 млрд. Это самый крупный
раунд венчурного финансирования в истории, оценивающий ком­
панию в $157 млрд. Однако было одно условие: инвесторы могли
потребовать возврата средств, если компания не перейдет на ком­
мерческую основу в течение двух лет.
На протяжении 2024 года OpenAI продолжала терять ключе­
вых сотрудников: Люк Метц, третий гуглер, присоединившийся к
Зофу и Федусу; Майлз Брундадж, глава отдела политических ис­
следований; Лилиан Венг, которая возглавила работу Дэйва Уиллнера по доверию и безопасности и недавно была повышена до
вице-президента по исследованиям, курирующим безопасность;
и Алек Рэдфорд, исследователь, инициировавший разработку
OpenAI моделей GPT.
Anthropic запустила рекламную кампанию для Клода в
Сан-Франциско с призывом «Тот, кто без драмы». Брокман пре­
рвал свой отпуск из-за ухода ключевых сотрудников. Энни сооб­

431


Эндрю Слоун

Нейросети лжи

щила Сэму о своем намерении подать в суд с помощью юриди­
ческого письма. Маек, теперь поддерживающий президента До­
нальда Трампа, активизировал свой иск против перехода OpenAI
к извлечению прибыли. Он раскрыл ранние электронные письма,
в которых Альтман негативно отзывался о Брокмане и Суцкевере.
Цукерберг, ранее враждовавший с Маском, поддержал его в при­
зыве к генеральному прокурору Калифорнии заблокировать пре­
образование OpenAI. Мета предупредил о возможных негативных
последствиях для Кремниевой долины, если OpenAI перейдет в
статус коммерческой организации, создав рискованный прецедент
для стартапов, стремящихся получить некоммерческий статус для
получения налоговых льгот, пока они не станут прибыльными.
В конце года, на фоне праздничной новостной свалки, OpenAI
официально объявила о своих планах по созданию новой структу­
ры. Она будет преобразована в коммерческую общественно-полез­
ную корпорацию, а некоммерческаяорганизация останется отдель­
ной структурой, владеющей акциями коммерческой. В заявлении
утверждалось, что такая структура является наилучшим способом
обеспечить обе организации необходимыми ресурсами для дости­
жения их целей и выполнения миссии. «Нам необходимо привлечь
больше капитала, чем мы предполагали», - говорится в сообщении.
«Мир движется к созданию новой инфраструктуры для экономики
XXI века, включая энергетику, землепользование, чипы, дата-цен­
тры, данные, модели ИИ и системы ИИ. Мы стремимся развивать­
ся, чтобы выполнять свою миссию, внося вклад в развитие эконо­
мики AGI и обеспечивая ее пользу для человечества».
В начале нового года Альтман возобновил грандиозную дея­
тельность. В блоге от 6 января 2025 года он выразил уверенность
в том, что знает, как построить AGI в традиционном понимании.
Он также упомянул, что их фокус смещается в сторону достиже­
ния сверхразума в его истинном понимании.

432


Эпилог
Как падает империя
В 2021 году во время своего репортажа я столкнулся с уникаль­
ной историей. Речь шла о коренной общине в Новой Зеландии,
использующей искусственный интеллект для возрождения те-рео
маори, языка народа маори.
Как и многие другие коренные народы мира, маори на протя­
жении многих поколений подвергались жестокому обращению во
времена колониального правления. В 1867 году Закон о туземных
школах ввел английский язык в качестве единственного языка в
школах, в результате чего дети маори подвергались наказанию за
то, что говорили на своем родном языке. Урбанизация в начале
1900-х годов привела к распаду общин маори, ослабив их культур­
ные и языковые центры. Процент носителей языка те-рео сокра­
тился с 90 % до 12 % населения маори. Когда 120 лет спустя Но­
вая Зеландия, или Аотеароа, как ее изначально называли маори,
изменила свою политику, осталось мало учителей те-рео, чтобы
возродить умирающий язык. Как и многие другие языки, те-рео
находился на грани исчезновения.
Трудно передать всю трагедию утраты языка. Исследователи
ИИ изначально ориентировались на язык при разработке своих
технологий. Потеря языка выходит за рамки потери средства об­
щения. Каждый язык хранит в себе богатую историю, культуру и
знания. Он представляет собой коллективный труд многих лю­
дей, которые на протяжении долгого времени пытались передать
сложные наблюдения о Вселенной, жизни и человеческом опыте.
Языки используются для того, чтобы делиться красотой и неуда­
чами, воспитывать и учить, а также выражать любовь.
Потеря языка - это глобальная и личная трагедия. Отрезан­
ность от своего наследия и принуждение защищать чужое под

433


Эндрю Слоун

Нейросети лжи

угрозой насилия устанавливает жесткую иерархию. Она опреде­
ляет, чья история, культура и знания достойны продолжения, а
чьи считаются незначительными и подлежат искоренению.
Большие языковые модели ускоряют потерю языка. Даже ста­
рые модели, такие как GPT-2, с трудом находят достаточно дан­
ных для большинства языков. Из более чем семи тысяч современ­
ных языков почти половина находится под угрозой исчезнове­
ния, треть представлена в Интернете, менее 2 % поддерживаются
Google Translate, и только пятнадцать, или 0,2 %, поддерживают­
ся GPT-4 с точностью более 80 %. По мере того как эти модели
становятся цифровой инфраструктурой, доступ к интернету для
различных языковых сообществ сокращается, что вынуждает их
отдавать предпочтение изучению доминирующих языков, таких
как английский, а не своих собственных, чтобы получить доступ к
экономическим возможностям.
Перед лицом надвигающейся экзистенциальной угрозы супру­
ги из коренного народа Питер-Лукас Джонс и Кеони Маелона об­
ратились к искусственному интеллекту, чтобы помочь возродить
те-рео. Джоне, маори, и Маелона, коренная жительница Гавайев, партнеры по работе и жизни. Они встретились и полюбили друг
друга после того, как Маелона увидел сон, что переезд в Новую
Зеландию приведет его к партнерше-маори.
В 2012 году они переехали из Веллингтона в Каитайю, родину
Джонса на севере Аотеароа. Джоне стал генеральным директором
Те Hiku Media, общественной радиостанции, выступающей за воз­
рождение te reo. В своей новой роли Джоне увидел возможность.
У Те Hiku был огромный архив аудиозаписей на языке те-рео, в
том числе голос его бабушки Райхи Моэроа конца XIX века, сво­
бодный от английского влияния. Джоне хотел записать больше
интервью со старейшинами маори, чтобы сохранить их устные
истории и родной язык те-рео. Он считает, что эти записи могут
послужить ценным инструментом для изучения языка, позволяя

434


Цифровая диктатура начинается

новым поколениям услышать оригинальные звуки своего языка и
приобщиться к мудрости предков.
Из-за отсутствия свободных носителей языка те-рео возникла
проблема расшифровки аудиозаписей, чтобы помочь учащимся
следовать за ними. В 2016 году, когда OpenAI только начинал свою
работу, Джонс попросил Маелону о помощи в обновлении сайта Те
Hiku. Маелона, эрудит, изучал машиностроение в колледже Олин,
управление бизнесом в своей первой магистратуре и физику и вы­
числительные нанотехнологии в своей второй магистратуре в каче­
стве стипендиата Фулбрайта в Новой Зеландии. Он быстро пред­
ложил использовать искусственный интеллект: тщательно обучив
модель распознавания речи те-рео, Те Hiku сможет расшифровать
свой аудиоресурс с помощью всего нескольких дикторов.
Именно в этом история Те Хику существенно отличается от
модели разработки ИИ в OpenAI и Кремниевой долине. Джоне
и Маелона, прекрасно понимая пагубное влияние колониального
отчуждения, настаивали на обеспечении согласия, взаимности и
суверенитета народа маори на протяжении всего проекта. Прежде
чем приступить к работе, они попросили разрешения у общины
и старейшин маори, чтобы подтвердить их заинтересованность.
Они принимали учебные данные только от тех, кто понимал их
цель и был готов участвовать. Они проконсультировались с общи­
ной, чтобы определить наиболее полезные ресурсы для изучения
языка в рамках модели. Кроме того, они приобрели собственные
графические процессоры Nvidia и серверы, чтобы самостоятельно
обучать модели, не полагаясь на облачные сервисы технологиче­
ских гигантов.
Что особенно важно, Те Hiku создаст процесс, гарантирующий,
что собранные данные останутся ценным ресурсом для будущего
использования и не будут применяться для несанкционированных
проектов, которые могут нанести вред сообществу или нарушить
его права. Следуя принципу маори «кайтиакитанга», данные будут

435


Эндрю Слоун

Нейросети лжи

храниться под присмотром Те Hiku, а не выкладываться в сеть.
Лицензия будет выдаваться только тем организациям, которые
чтят ценности маори и планируют использовать их для проектов,
одобренных сообществом.
«Данные - это последний рубеж колонизации, - объясняет Маелона. В прошлом империи отбирали землю у коренных народов
и заставляли их выкупать ее на новых ограничительных условиях.
Это похоже на то, что происходит сейчас с искусственным интел­
лектом. Большие технологии бесплатно собирают ваши данные,
используют их в своих целях, а затем продают вам обратно в ка­
честве услуги.
От начала и до конца Джоне и Маелона завершили проект без
каких-либо компромиссов. Они инициировали образовательную
кампанию, чтобы научить больше маори искусственному интел­
лекту, и организовали общественный конкурс по сбору пожерт­
вований и аннотаций данных. Всего за десять дней Те Hiku собрал
310 часов высококачественного транскрибированного аудио из
200 ООО записей, сделанных примерно 2500 людьми. Уровень вов­
леченности был беспрецедентным среди исследователей ИИ, де­
монстрируя доверие и энтузиазм, которые подход Те Hiku вызвал
в сообществе. Люди охотно предоставляли свои данные после
того, как понимали и соглашались с проектом, доверяя Те Hiku
ответственное обращение с их данными.
Объем данных был невелик по сравнению с 680 ООО часов ау­
дио, которые OpenAI собрала в Интернете для обучения Whisper,
своего инструмента распознавания речи. Несмотря на это, 310 ча­
сов Те Hiku хватило для создания первой модели распознавания
речи te reo с точностью 86 %. OpenAI нацелен на создание крупных
моделей ИИ, использующих огромные объемы данных, в то время
как Те Hiku сосредоточился на создании специализированной мо­
дели, преуспевающей в одной области. Те Hiku использовала воз­
можности мирового сообщества ИИ с открытым исходным ко­

436


Цифровая диктатура начинается

дом, начав с DeepSpeech, бесплатной модели распознавания речи
от Mozilla Foundation. Эта модель была обучена на согласованных
данных и построена с использованием архитектуры нейронной
сети из исследовательской лаборатории Baidu. Те Hiku использо­
вала всего два графических процессора.
Я уже рассказывал о работе ТеХику до того, как ChatGPT быстро
стала доминирующей парадигмой разработки ИИ, казалось бы, иг­
норирующей согласие, взаимность и суверенитет. Однако с годами
я понял, что радикальный подход Те Хику еще более актуален и ва­
жен. Критика, которую я привожу в этой книге в отношении более
широкого видения OpenAI и Кремниевой долины, не направлена на
то, чтобы полностью отвергнуть ИИ. Я выступаю против опасной
идеи о том, что широкие преимущества ИИ могут быть получены
только благодаря концепции, которая требует полной передачи на­
шей частной жизни, полномочий и ценностей, включая наш труд и
искусство, в пользу проекта имперской централизации.
Те Hiku представляет альтернативный подход к разработке ИИ.
Он предполагает создание небольших моделей, ориентированных
на конкретные задачи, с закрытыми и прозрачными данными для
обучения. Это устраняет стимулы для эксплуатации трудовых
ресурсов и добывающий характер работы массивных суперком­
пьютеров. Создание ИИ может осуществляться по инициативе
сообщества, с уважением к местному контексту и истории, с при­
влечением маршнализированных сообществ. Управление может
быть инклюзивным и демократичным.
Те Hiku - не единственная организация, исследующая новые на­
правления развития ИИ. Во время работы над этой книгой я обна­
ружил множество вдохновляющих организаций и движений по все­
му миру, которые бросили вызов господству ИИ, отстаивают свои
права на самоопределение и представляют себе другое будущее.
После изгнания из Google Тимнит Гебру в декабре 2021 года
основала некоммерческую организацию, чтобы продолжить

437


Эндрю Слоун

Нейросети лжи

свои исследования. Она назвала ее DAIR, Distributed AI Research
Institute, с целью противостоять централизации. Гебру объяснила,
что слово «распределенный» было первым, которое пришло ей
в голову. Она хотела создать команду исследователей из разных
уголков мира, которые будут поддерживать связь со своими сооб­
ществами. Такой подход позволил бы им привнести в работу ин­
ститута разнообразный опыт и взгляды, что принесло бы пользу
как сообществам исследователей, так и институту. Гебру подчер­
кнул важность того, чтобы технологии оказывали влияние на мир
за пределами Кремниевой долины, давая каждому шанс повлиять
на технологическую индустрию.
Алекс Ханна, социолог и один из соавторов статьи «Стохастиче­
ские попугаи» в Google, был первым, кто присоединился к Гебру в
качестве директора по исследованиям в DAIR. Первоначальной за­
дачей Ханны было разработать философию исследований, которая
бы прояснила рабочий этикет организации. Для этого Гебру и Хан­
на привлекли к работе Милагрос Микели, социолога и компьютер­
щика, которая занималась исследованием практики эксплуатации
труда в индустрии искусственного интеллекта. Вместе они разра­
ботали свою философию: «Наши исследования направлены на то,
чтобы принести пользу сообществам, не получающим должного
внимания со стороны ИИ, и создать способы совместной борьбы с
системами ИИ, подвергать их сомнению и перестраивать».
Они определили семь основных принципов реализации этой
философии. Эти столпы включают в себя построение значимых
отношений с сообществами, на которые влияют исследования
ИИ, рассмотрение их как настоящих партнеров в создании зна­
ний, справедливое вознаграждение всех работников, участвую­
щих в исследованиях и разработке технологий, вызов систем ИИ,
которые маргинализируют исторически маргинализированные
группы, и сотрудничество с сообществами для создания альтерна­
тив, которые постепенно перестроят мир так, как они хотят.

438


Цифровая диктатура начинается

После этого Мицели начала новый исследовательский проект,
чтобы реализовать их философию. Она инициировала проект Data
Workers’ Inquiry, предложив работникам сферы данных по всему
миру разработать свои исследовательские вопросы, касающиеся
индустрии аннотирования данных и способов ее улучшения. Не­
зависимо от их местонахождения, она платила им стандартную
зарплату исследователя в Германии, где она находится, оценивая
их работу в двадцать пять евро в час.
«В работе с данными всегда присутствует ложная логика: Ка­
кой минимум мы можем заплатить этим людям?» Мицели отме­
чает, что такой образ мышления проистекает из колониалистской
перспективы, стремления эксплуатировать дешевую рабочую
силу и ресурсы. Он задается вопросом, почему компании платят
работникам так мало, если их доход составляет миллиарды или
триллионы. Вместо того чтобы сосредоточиться на снижении
зарплаты рабочих, он предлагает подумать, сколько эти компании
могут себе позволить платить.
Среди пятнадцати работников, принявших участие в первом
раунде исследования, были Оскарина Вероника Фуэнтес Анайя из
Венесуэлы и Мофат Окиньи из Кении. Фуэнтес в сотрудничестве
с художником-аниматором создала видеоролик о своем опыте и
вместе с другими работниками сферы данных рассказала об их
общих проблемах: нехватке заданий, непредсказуемом рабочем
дне и низкой оплате труда. Сейчас Фуэнтес работает одновремен­
но на пяти платформах для аннотирования данных и зарабаты­
вает чуть больше минимальной зарплаты в Колумбии - около 335
долларов в месяц. За каждое задание платят в среднем от одного
до пяти пенни; чтобы выполнить задания, она просыпается среди
ночи. В своем проекте она написала: «Мы - призраки для обще­
ства, дешевая, одноразовая рабочая сила для компаний, которым
мы служили годами без гарантий и защиты». После проведения
Data Workers’ Inquiry она продолжает рассказывать о своем опыте

439


Эндрю Слоун

Нейросети лжи

в онлайн-беседах и вебинарах, чтобы подтолкнуть компании и по­
литиков к улучшению отношения к работникам.
На другом континенте Окиньи тоже занимается организаци­
ей. В мае 2023 года, спустя чуть больше года после внезапного
окончания контракта OpenAI с Sama, он стал организатором Аф­
риканского профсоюза модераторов контента, расположенного в
Кении. Цель профсоюза - повысить заработную плату и улучшить
условия труда африканских работников, выполняющих сложные
задания в Интернете. Полгода спустя он рассказал о своем опыте
работы в OpenAI в статье в The Wall Street Journal. После этого он
основал собственную некоммерческую организацию под названи­
ем Techworker Community Africa (ТСА) вместе со своим бывшим
коллегой по Sama Ричардом М атен^.
В августе 2024 года, когда мы с ним встретились, Окиньи пла­
нировал превратить ТСА в ресурс для африканского сообщества
работников ИИ, а также для международных групп и политиков.
Он организовывал онлайн-конференции и школьные собрания,
чтобы просвещать работников и студентов, особенно женщин, об
их трудовых правах и правах на конфиденциальность данных, а
также об индустрии ИИ. Он стремился добиться финансирова­
ния учебного центра для повышения квалификации сотрудников.
Он встречался с представителями США, посетившими Найроби,
чтобы узнать о работниках, обслуживающих американские тех­
нологические компании. Он получил запросы от таких глобаль­
ных организаций, как Equidem, группа по защите прав человека и
трудовых прав, поддерживающая работников Глобального Юга, и
проект Fairwork Оксфордского института интернета.
Для расследования Data Workers Inquiry он взял интервью у
работников Remotasks в Кении, которым компания Scale заблоки­
ровала доступ к своей платформе, в результате чего они лишились
заработка. Он использовал пожертвования, собранные ТСА, чтобы
поддержать их во время финансового кризиса. «Пока оседает пыль

440


Цифровая диктатура начинается

в этой главе, ясно одно: человеческие жертвы бесконтрольной вла­
сти и безудержной жадности», - написал он. «В голосах этих рабо­
чих звучит надежда на более светлое и справедливое будущее. Это
призыв к действию, чтобы к рабочим во всем мире относились с
достоинством и уважением, которых они заслуживают».
Окиньи говорит, что достоинство и уважение, которые он обрел
благодаря своей правозащитной деятельности, дали ему новую на­
дежду и значительно улучшили его психическое здоровье. Незадолго
до нашего разговора он узнал, что его включат в ежегодный список
ста самых влиятельных людей в области искусственного интеллекта
по версии журнала Time. «Я чувствую, что моя работа оценена по
достоинству», - говорит он. Однако работа не обошлась без труд­
ностей. В марте 2024 года он ушел со своей постоянной работы в
аутсорсинговой компании Sama, потому что руководство компании
не поддержало его организаторские усилия. Они были обеспокоены
тем, что он может побудить сотрудников стать активистами. Эта же
компания перевела некоторые проекты в Гану, так как профсоюз и
ТСА стали более активными. Окини слышал, что кенийские чинов­
ники жаловались на то, что протесты рабочих отпугивают инвести­
ции и заставляют все больше кенийцев терять работу.
Глобальный характер отрасли укрепил стремление Окини при­
влечь внимание международной общественности к африканским
работникам, занятым в сфере обработки данных. Даже при под­
держке правительства Кении кенийское законодательство само
по себе не может эффективно регулировать действия компаний,
работающих в сфере ИИ. По его словам, большинство таких ком­
паний базируются в США, в частности в Сан-Франциско. Для
обеспечения их подотчетности необходима скоординированная
международная инициатива.
В Уругвае Даниэль Пена делает аналогичные выводы о запутан­
ной и обширной цепочке поставок в индустрии ИИ. Он подчеркива­
ет, что энергия, данные, полезные ископаемые и рабочие приходят

441


Эндрю Слоун

Нейросети лжи

из разных мест. Сообщества, ведущие борьбу на местном уровне,
могут чувствовать себя изолированными и бесправными в борь­
бе с могущественными компаниями, особенно когда им мешают
правительства, нуждающиеся в этих компаниях для обеспечения
экономической стабильности. Несмотря на то что правительство
проигнорировало его петицию с более чем четырьмя сотнями под­
писей об изучении воздействия дата-центра Google, Пенья не те­
ряет решимости. Он сотрудничает с MOSACAT в Чили и другими
сообществами, противостоящими технологической эксплуатации.
Объединяя движения, обмениваясь информацией и стратегиями
сопротивления, он верит в создание коллективной силы, способной
оказать положительное влияние на индустрию. Пенья подчеркива­
ет важность глобального сотрудничества в этой борьбе.
Если цель OpenAI - построить империю, то как ее разрушить?
Пока мы пишем эту книгу, трудно предсказать точное будущее
этой компании и быстро развивающейся индустрии ИИ. Не ис­
ключено, что один из конкурентов OpenAI превзойдет ее господ­
ство. Стратегии империй ИИ могут измениться в плане разработ­
ки моделей, использования рабочей силы и расширения вычисли­
тельных мощностей. Независимо от того, какими будут результа­
ты через два или десять лет, есть определенные действия, которые
мы должны предпринять, и они остаются неизменными.
Во время своего выступления на семинаре Queer in AI в 2019
году на NeurIPS Риа Каллури (Ria Kalluri), исследователь ИИ из
Стэнфорда, предложила альтернативный вариант ответа на во­
прос о том, насколько ИИ «хорош». Такие понятия, как «добро»
и «польза для человечества», субъективны. Вместо этого нам сле­
дует рассмотреть, как ИИ влияет на власть: Централизует ли он
власть или распределяет ее? В контексте этой книги можно ска­
зать, что ИИ укрепляет существующие структуры власти или при­
ближает нас к демократии?

442


Цифровая диктатура начинается

Выступая перед технической аудиторией, Каллури сосредото­
чила свое выступление на фундаментальных исследованиях в об­
ласти ИИ. Она рассказала о том, как ученые могут оценить, какие
формы ИИ следует создавать и в каких направлениях развивать
эту область. Ее вопрос имеет решающее значение для всех аспек­
тов ИИ. Как мы должны разрабатывать приложения для ИИ? Как
мы должны их использовать? В конечном счете, как управлять
этой технологией, чтобы вернуть власть людям?
Работа Те Hiku, DA1R, Okinyi, Fuentes и Pena - это примеры усилий,
необходимых для перераспределения власти. Вопрос управления за­
ключается в том, как создать условия для процветания такой работы.
В своем выступлении Каллури рассказала о различных осях
власти. Эта книга посвящена трем: знаниям, ресурсам и влиянию.
В настоящее время OpenAI и ее конкуренты доминируют в этих
областях, централизуя таланты, ограничивая открытую науку и
сохраняя свои модели в тайне. Они контролируют производство
знаний, уменьшают чужие ресурсы, утаивая финансирование, дан­
ные, рабочую силу и многое другое, а также оказывают влияние с
помощью идеологии и захватывающих демонстраций. Эти аспек­
ты взаимосвязаны: контроль над производством знаний усили­
вает влияние, рост влияния аккумулирует ресурсы, а накопление
ресурсов обеспечивает производство знаний.
Формула разрушения империи требует перераспределения вла­
сти во всех аспектах. Предложения, которые я привожу здесь, яв­
ляются примерами и не являются исчерпывающими. Чтобы пере­
распределить знания, нам нужно больше финансирования для под­
держки их создания за пределами империи. Это означает поддерж­
ку исследователей, которые могут независимо оценивать корпора­
тивные модели, чтобы мы не зависели только от компаний, чтобы
понять их возможности. Это также означает поддержку таких ор­
ганизаций, как DAIR, для изучения новых направлений исследова­
ний, таких как инновационные формы ИИ, которые более эффек­

443


Эндрю Слоун

Нейросети лжи

тивны с точки зрения данных и энергии, чем большие языковые
модели. Крайне важна поддержка таких групп, как Те Hiku, которые
разрабатывают приложения ИИ, адаптированные к конкретным
задачам и сообществам, расширяющие возможности маршнализированных групп. Независимое создание знаний также предполагает
тесное сотрудничество журналистов и групп гражданского обще­
ства с сообществами, чтобы не просто строить догадки, а давать
представление о реальном воздействии этих технологий.
Для перераспределения знаний потребуется политика, обя­
зывающая компании раскрывать ключевые детали учебных дан­
ных, технические характеристики моделей и суперкомпьютеров.
Только тогда независимые эксперты смогут оценить корпоратив­
ные модели. Исследователь из Калифорнийского университета в
Беркли Дебора Раджи, которая сотрудничает с мировыми поли­
тиками, подчеркивает, что это необходимо для обеспечения без­
опасности корпоративных систем в реальном мире. Это означает,
что необходимо бороться с фактическим вредом, таким как дис­
криминация, дезинформация и автоматизация рабочих мест, с ко­
торым могут столкнуться потребители и сообщества из-за недо­
статочно проверенных моделей. Раджи указывает на отсутствие
надзора за продуктами ИИ по сравнению с продуктами потреби­
тельского кредитования, контролируемыми CFPB, или медицин­
скими устройствами, контролируемыми FDA. Она выступает за
повышение прозрачности моделей ИИ, поскольку они основаны
на данных и не являются детерминированными, подчеркивая не­
обходимость более глубокого понимания этих систем.
Такая прозрачность крайне важна для оценки воздействия ис­
кусственного интеллекта на окружающую среду. В отличие от дру­
гих товаров, продукты ИИ не имеют оценок. Саша Луччиони из
Hugging Face указывает на отсутствие информации об устойчивом
развитии систем ИИ, которые широко интегрированы в общество
и различные продукты.

444


Цифровая диктатура начинается

Благодаря такой прозрачности мы сможем перераспределить
власть, раскрыв составляющие моделей ИИ, которые до сих пор
скрывались как интеллектуальная собственность. Это позволя­
ло ИИ-империям забирать чужие ИС без признания, разрешения
или оплаты. Доступ к обучающим данным компании затруднит та­
кое поведение. Аналогичным образом, полезно было бы получить
информацию о цепочках поставок, трудовых договорах и аренде
земли под электростанции и центры обработки данных, которые
часто осуществляются через подставные лица.
Перераспределение ресурсов требует усиления защиты тру­
да всех работников, а не только тех, кто работает с данными по
прямым контрактам. Это касается и тех, кто рискует, что их труд
будет использован в качестве обучающих данных или заменен
автоматикой. Голливудские забастовки, обеспечившие защиту
сценаристов и актеров от некоторых видов использования ИИ,
показали, какую важную роль будут играть профсоюзы в борьбе
с обесцениванием человеческого труда, снижением заработной
платы и переходом денег от работников к ИИ-компаниям.
Чтобы перераспределить власть через влияние, необходи­
мо широкомасштабное образование. Обучение людей тому, как
функционирует ИИ, его сильные и слабые стороны, системы,
определяющие его развитие, а также перспективы и ошибки тех,
кто создает эти технологии, имеет решающее значение. Как сказал
в 1960-х годах Джозеф Вейценбаум, профессор Массачусетского
технологического института и создатель чатбота ELIZA: «Как
только программа демистифицирована и ее работа четко объяс­
нена, ее магия исчезает». Эта книга направлена на углубление по­
нимания и является вкладом в усилия ученых, журналистов, акти­
вистов и педагогов, которые занимаются вопросами обществен­
ного образования. Пусть она послужит фундаментом для будущих
поколений, на который они смогут опираться и дальше.

445


Нейросети лжи

Эндрю Слоун

В книге могут быть упомянуты организации, которые вклю­
чены в Единый федеральный список организаций, в том чис­
ле иностранных и международных организаций, признанных
в соответствии с законодательством Российской Федерации
террористическими

Террористические и экстрем истские организации,
деятельность которых запрещена в России
1. «База» («Аль-Каида»)
2. «Асбат аль-Ансар»
3. «Священная война» («Аль-Джихад» или «Египетский ис­
ламский джихад»)
4. «Исламская группа» («Аль-Гамаа аль-Исламия»)
5. «Братья-мусульмане» («Аль-Ихван аль-Муслимун»)
6. «Партия исламского освобождения» («Хизб ут-Тахрир
аль-Ислами»)
7. «Лашкар-И-Тайба»
8. «Исламская группа» («Джамаат-и-Ислами»)
9. «Движение Талибан»
10. «Общество социальных реформ» («Джамият аль-Ислах
аль-Иджтимаи»)
11. «Дом двух святых» («Аль-Харамейн»)
12. «Джунд аш-Шам» (Войско Великой Сирии)
13. «Исламский джихад - Джамаат моджахедов»
14. «Аль-Каида в странах исламского Магриба»
15. «Имарат Кавказ» («Кавказский Эмират»)
16. «Синдикат «Автономная боевая террористическая орга­
низация (АБТО)»
17. «Террористическое сообщество - структурное подразде­
ление организации «Правый сектор» на территории Республи­
ки Крым»
18. «Исламское государство» (другие названия: «Исламское
Государство Ирака и Сирии», «Исламское Государство Ирака и
Леванта», «Исламское Государство Ирака и Шама»)

446


Цифровая диктатура начинается

19. Джебхат ан-Нусра (Фронт победы)(другие названия:
«Джабха аль-Нусра ли-Ахль аш-Шам» (Фронт поддержки Ве­
ликой Сирии)
20. Международное религиозное объединение «АУМ Син­
рике» (AumShinrikyo, AUM, Aleph)
21. «Муджахеды джамаата Ат-Тавхида Валь-Джихад»
22. «ЧистопольскийДжамаат»
23. «Рохнамо ба суи давлати исломи» («Путеводитель в ис­
ламское государство»)
24. «Террористическое сообщество «Сеть»
25. «Катиба Таухид валь-Джихад»
26. «Хайят Тахрир аш-Шам» («Организация освобождения
Леванта», «Хайят Тахрир аш-Шам», «Хейят Тахрир аш-Шам»,
«Хейят Тахрир Аш-Шам», «Хайят Тахри аш-Шам», «Тахрир
аш-Шам»)
27. Религиозная группа “Джамаат “Красный пахарь”
28. Международное молодежное движение «Колумбайн»
(другое используемое наименование «Скулшутинг»)
29. Хатлонский джамаат
30. Украинское военизированное националистическое объ­
единение «Азов» (другие используемые наименования: бата­
льон «Азов», полк «Азов»)
31. Межрегиональное леворадикальное анархистское дви­
жение «Народная самооборона»
32. Террористическое сообщество «Дуббайский джамаат»
33. Международное движение «Маньяки Культ Убийц» (дру­
гие используемые наименования «Маньяки Культ Убийств»,
«Молодёжь Которая Улыбается», М.К.У.)
34. Украинское военизированное объединение Легион «Сво­
бода России» (другое используемое наименование «Легион
Свобода России»)
35. Террористическое сообщество «Айдар»
36. Националистическая организация «Русский доброволь­
ческий корпус»

447


Содержание
Пролог. Бег за троном ................................................................................ 3
Часть 1

Глава 1 . Божественное право................................................................. 24
Глава 2. Цивилизационная миссия....................................................... 49
Глава 3. Нервный центр........................................................................... 79
Глава 4. Мечты о современности......................................................... 95
Глава 5. Масштаб амбиций....................................................................125
Часть 11

Глава 6.
Глава 7.
Глава 8.
Глава 9.

Вознесение..................................................................................149
Наука в неволе............................................................................167
Рассвет коммерции................................................................. 185
Капитализм катастроф...........................................................200
Часть 111

Глава
Глава
Глава
Глава
Глава

10.
11.
12.
13.
14.

Боги и демоны......................................................................... 239
А рех........................................................................................... 271
Разграбленная земля............................................................. 287
Два пророка............................................................................. 321
И збавление............................................................................. 349
Часть IV

Глава
Глава
Глава
Глава

15. Гамбит....................................................................................... 365
16. Плащ и кинжал....................................................................... 383
17. Расплата................................................................................... 400
18.Формула империи.................................................................423

Эпилог. Как падает империя...............................................................433

448


Эндрю Слоун

Нейросети лжи
Цифровая диктатура начинается

Вёрстка: Анна Демеш ева
Дизайн: Владимир Петров

И здательство «Картина мира»
6 0 х 90/16
Отпечатано:
Акционерное общ ество «Т8 И здательские Технологои»
109316, М осква, Волгоrрадский проспект,
дом 42, корпус 5
Тел.: + 7(499)322-38-30

П ечать: цифровая струйная
Бумам: офсетная
Тираж: 50

В соответствии
с Федеральным законом РФ
от 29 декабря 2010 года № 4 36-Ф З


Что скрывается за дружелюбными
лицами нейросетей? Кто на самом деле
управляет цифровым миром и куда ведёт
нас новая эпоха ИИ? Книга «Нейросети
лжи. Цифровая диктатура начинается»
раскрывает шокирующую правду о том,
как технологии, которые мы считали
инструментами прогресса, становятся
орудием глобального контроля. Эндрю
Слоун показывает, как элиты Кремниевой
долины и их союзники в корпорациях и
правительствах создают новую цифровую
империю, подчиняя волю миллионов людей
через алгоритмы и генеративный ИИ.
Иллюзия свободы рушится — за витринами
технологического «прорыва» скрываются
схемы массового подчинения, манипуляции
сознанием и захвата ресурсов. Эта книга —
тревожный сигнал для тех, кто ещё верит
в нейтральность технологий. Будущее уже
здесь — и оно принадлежит не вам.