Что не так с комиссиями по этике в IT-компаниях

Как и почему Google увольняет специалистов по этике

Этика в технологиях – одна из главных проблем, которую обсуждают исследователи из компьютерных, социальных и гуманитарных наук последние двадцать лет. IT-компании все активнее начинают запускать отделы по этике. В них сотрудники изучают и предлагают процедуры и изменения, которые должны сделать технологии более этичными. Однако предлагаемые кодексы и изменения на практике не всегда работают, а самих сотрудников иногда даже увольняют. 

Последнее произошло с исследовательницей Тимнит Гебру, которую руководство Google в декабре 2020 года освободило от работы в отделе по этике компании. Почему так происходит с отделами по этике в IT-гигантах, попытаемся разобраться в этой статье.

Как Google уволил сотрудницу за исследования про этику 

В бизнесе часто есть проблемы с работой отделов по этике. Так происходит, потому что этика как система размышлений о ценностях и правилах потенциально может вступить в конфликт с интересами компаний. Ведь фирмам – к примеру, Google – не всегда может быть выгодно ограничивать коммерческую выгоду из-за этических соображений. И потому корпоративный контекст задает четкие формальные границы того, что могут делать специалисты по этическим вопросам внутри компаний. А эти границы, в свою очередь, не всегда совпадают с тем, что сами специалисты считают нужным выполнять в процессе своей работы.

В декабре 2020 года руководство Google уволило исследовательницу Тимнит Гебру, сотрудницу отдела по этике. Она признанный эксперт в своей области, работающая на пересечении компьютерных наук и этики. Среди ее самых известных работ – статья о том, что алгоритмы распознавания лиц менее эффективны в опознании женских и небелых лиц. Эта статья сделала вклад в исследования алгоритмической предвзятости – изучение систематических и повторяющихся ошибок, приводящих к несправедливым результатам (к примеру, отказ в получении социального обеспечения). Работу цитировали в СМИ, и тема предвзятости вышла за пределы научного сообщества.

Тимнит Гебру

Конфликт между Гебру и руководством Google произошел из-за новой статьи об этических и социальных проблемах вокруг обработки естественного языка (NLP), которую Гебру написала со своими коллегами. Американское издание MIT Technology Review подробно документирует эту историю, показывая, как цели сотрудников отдела по этике в Google – создание более этичных технологических продуктов – противоречили интересам компании. 

Хотя изначально их статья была одобрена внутренними рецензентами в Google, в дальнейшем руководство потребовало, чтобы Гебру и ее коллег отозвали с конференции, где планировалась первая презентация. Гебру выступила против этого решения и потребовала объяснения и более прозрачного принятия решений от руководства. 

Она предъявила ряд требований: открытое обсуждение решения о ее статье и серия встреч руководства компании с сотрудниками отдела этики в Google. После этого она ушла в отпуск, а по возвращении узнала, что уволена. При этом руководство заявило, что это было ее самостоятельное решение, что сама она отрицает. Статью, из-за которой эскалировался конфликт, уже можно почитать по ссылке.

The Abuse and Misogynoir Playbook – визуализация того, как технические компании часто обращаются со своими темнокожими сотрудницами. Источник: MIT Media Lab.

За действиями компании последовала значительная публичная реакция – активистская деятельность, большие обсуждения в Twitter, ряд статей в американских медиа. Сообщество Google Walkout – трудовые активисты, борющиеся за улучшение условий своей работы, – опубликовали открытое письмо, где призвали компанию к ответственности. На март 2021 года письмо подписали более 2500 сотрудников Google и около 4000 сторонников из академии индустрии и гражданского общества. Google же в феврале 2020 года ответил на общественную кампанию увольнением основательницы отдела по этике в Google Маргарет Митчелл, открыто критиковавшую несправедливое обращение со своей коллегой Гебру. 

В своем публичном заявлении сообщество Google Walkout предлагает следующие действия для людей, желающих солидаризироваться с уволенными из Google сотрудниками: 

  • отказаться от грантов и работы в Google; 
  • выражать солидарность с уволенными сотрудниками публично;
  • требовать от организаций документов, поясняющих политику утверждения публикаций; 
  • отказывать в рецензировании документам, которые редактировали корпоративные юристы; 
  • требовать от законодательных органов американских штатов усилить меры по защите лиц, сообщающих об этических нарушениях в IT-компаниях.

Недавно социолог Люк Старк, известный своими исследованиями алгоритмов распознавания эмоций, публично отказался от предложенного Google гранта, тем самым проявив солидарность с Тимнит Гебру и ее пострадавшими коллегами.

От этики к власти: как меняются дискуссии об алгоритмах

В настоящий момент дискуссии об алгоритмической этике значительно меняются из-за критики институционализации этики.

Сама по себе тема этики алгоритмов не нова. Одна из самых первых работ, которую можно отнести к этой теме, – эссе Джеймса Мура «Что такое компьютерная этика?», написанное в 1985 году. Эта работа стала важным основанием для дальнейших дискуссий, однако особо повышенное внимание тема этики алгоритмов получает с 2000-х годов. Классическим способом ставить этические вопросы об алгоритмах были размышления о них как о «моральных машинах». К примеру, можно ли позволять алгоритмам принимать решения? А если да, то какие именно и насколько алгоритм может нести ответственность за них? В таких постановках вопроса фокус был на алгоритме как на моральном субъекте, чьим действиям нужно дать этическую оценку. 

Чтобы ответить на эти вопросы, IT-компании начали создавать внутренние отделы по этике или обращаться к внешней экспертизе. Такие комитеты обычно занимаются созданием правил для технической разработки продуктов внутри компании или же проводят экспертную оценку уже готовых прототипов. 

Однако мы мало знаем о работе таких комитетов, так как она зачастую остается скрытой от общественности. Эффективность комитетов также многими ставится под сомнение из-за непрозрачности процедур принятия решений, ведь они устроены согласно абстрактным принципам, на деле зачастую скрывающим, по словам исследователя Брента Миттельштадта, «глубокие политические и ценностные разногласия». Но прозрачность и открытость работы таких комитетов важна для общественности, так как выпускаемые такими компаниями продукты оказывают влияние на общества по всему миру. 

В связи с этим многие критики предлагают отказываться от понимания этики алгоритмов как разговора о моральных машинах. Такие критики и исследователи, как Брайан Грин, Мона Слоан, Джаред Мур, в своих статьях утверждают: вопросы алгоритмической этики не должны быть предметом бесконечного спекулирования вокруг вариаций дилеммы вагонетки, необходимо вернуть проблемы в социальный контекст конкретных отношений власти и неравенства.

Одну из таких формулировок критики языка этики в контексте алгоритмов предлагают Кэтрин Д’Игнацио и Лорен Кляйн в своей книге «Дата-феминизм», где они смещают фокус с этики на отношения власти при обсуждении дизайна и влияния технологий на общество. Для них этика как язык описания связанных с технологиями проблем имеет ограничения, так как подразумевает, что алгоритмы влияют на все социальные группы одинаковым образом. В противовес этому универсализму, утверждают они, нужно предложить понимание того, что технологии вписаны в контексты социального неравенства, на которые влияют история и культура.  

Более того, IT-компании часто используют язык этики для того, чтобы уйти от критики и ответственности, – для описания таких ситуаций появился термин «обеление через этику» (ethics-washing). Проще говоря, это когда компании преувеличивают свой интерес к общественно полезным инициативам и этическим вопросам и одновременно активно вовлекаются в этически сомнительные практики. Компания Amazon, к примеру, гордится своим спонсорством инициативы ООН «ИИ для общего блага» (AI for Good), но мало что делает, чтобы изменить нечеловеческие условия труда сотрудников на своих складах. 

Сами специалисты по этике в технологических компаниях постоянно сталкиваются с рядом организационных ограничений. К примеру, Джейкоб Мэткалф и его коллеги исследовали институционализацию этики в Кремниевой долине и сделали вывод, что специалисты по этике внутри компании постоянно пытаются примирить личные, профессиональные и корпоративные интересы, но не всегда удачно. Получается, что этика как набор внешних нормативных требований вступает в конфликт с ролью, обязанностями и ограничениями, задающими работу специалистов по этике внутри IT-компаний. Примером тому служит описанная история с Тимнит Гебру, чью исследовательскую автономию руководство Google пыталось ограничить. 

Возможна ли реформа этики? 

В отчете «Текущее состояние этики ИИ», подготовленном в 2020 году Монреальским институтом этики ИИ,  професссорка Нью-Йоркского университета Мона Слоан утверждает, что сейчас мы наблюдаем «изменение дискурса, которое, благодаря многолетнему активизму и научной деятельности, ставит под сомнение зачастую деспотичные структуры власти, которые поддерживаются широким применением «этики» в исследованиях ИИ, практике и политических курсах». Несомненно, сама по себе этика технологий не сможет стать решением всех проблем. В будущем представители рынка, государства и гражданского общества будут дебатировать, оспаривать и предлагать сами языки описания проблем – будь то разговоры об этике или власти. 

В России публичный разговор об этике технологий пока только начинается, но он все же есть. Примером может служить доклад «Этика и ‘цифра’: этические проблемы цифровых технологий», подготовленный Центром подготовки руководителей цифровой трансформации ВШГУ РАНХиГС. В докладе обсуждаются этические вопросы, связанные с применением цифровых технологий в контексте государственного управления применительно к таким сферам, как образование, медицина, социальная сфера, полицейская деятельность. 

Кейс с давлением на Тимнит Гебру и ее коллег, а также более широкий контекст критики этического языка и превращения этики в институт американской IT-индустрии показывают ограничения, с которыми сталкиваются специалисты по этике: это корпоративное давление, непрозрачность процедур принятия решений, организация их работы, превращающая этические размышления в набор исключительно формальных правил. Для будущего продолжения диалога об этике технологий в России важно обращать внимание на те дилеммы внедрения этики, которые уже можно наблюдать в мировой практике.