Крупнейшие технологических компании – IBM, Amazon, Microsoft – отказались от технологии распознавания лиц. Это случилось в июне 2020 года на фоне протестов в США и давления на гражданских активистов. На решение повлиял общий политический контекст и продолжительная общественная кампания против полицейского произвола.
Так, 8 июня компания IBM объявила, что больше не будет заниматься исследованиями и разработкой технологий в области распознавания лиц. В своем письме для американского Конгресса CEO компании Арвинд Кришна также призвал к «национальному диалогу по поводу того, следует ли правоохранительным органам использовать технологию распознавания лиц, и если да, то каким образом».
На следующий день компания Amazon объявила, что накладывает годовой мораторий на использование технологии распознавания лиц правоохранительными органами. А уже 11 июня в Microsoft решили, что не будут продавать системы распознавания лиц полиции, пока не вступит в силу соответствующий федеральный закон, уважающий права человека.
Таким образом, в своем обращении с технологией распознавания лиц компании поступили по-разному: полный отказ в случае IBM, годовой мораторий у Amazon и отказ продажи полицейским департаментам до принятия соответствующего закона со стороны Microsoft. Чтобы лучше понять логику этих решений, важно разобраться, почему это произошло именно сейчас.
Эти решения связаны с происходящими в США протестами, спровоцированными убийством Джорджа Флойда 25 мая 2020 года. Сейчас можно натолкнуться на множество конфликтующих интерпретаций события, но для протестующих здесь верно то, что убийство олицетворяет систематические проблемы расизма в США и полицейского насилия. Движение Black Lives Matter, появившееся в 2013 году на фоне похожих эпизодов полицейского насилия, активизировалось вновь и призывает к масштабным реформам правоохранительных органов и судебной системы.
Но отказ технологических компаний не стоит воспринимать как удобную реакцию исключительно на происходящие события. Напротив, их действия нужно поместить в контекст того, как активисты продолжительное время выявляли проблемы с алгоритмами распознавания лиц. Такие проблемы связаны как с самой технологией, так и с ее применением на практике.
Белые маски, черная кожа
В 2018 году студентка MIT Джой Буоламвини вместе с специалисткой в области информатики Тимнит Гебру провели исследование алгоритмов распознавания лиц компаний IBM, Microsoft, Face++. Их работа показала, что такие алгоритмы с разной успешностью распознают людей разных гендеров и рас. Более того выяснилось, что алгоритмы наименее успешно справляются с распознаванием не белых и женских лиц.
Наихудший результат вышел у алгоритма компании IBM, который на момент проведения исследования распознавал лица чернокожих женщин на 34,4% хуже, чем лица белых мужчин. Диспропорциональную эффективность алгоритмов распознавания лиц для разных демографических групп подтверждали работы Буламвини и ее коллег и исследование Национального университета технологий и стандартов США. Работы Буоламвини приобрели большой медийный охват и широко обсуждались в социальных сетях и американской прессе.
Исследовательский интерес и активистская позиция Буоламвини взаимно усиливали друг друга. Она также основала движение Algorithmic Justice League (Лига за алгоритмическую справедливость), выступала на TED, выступала перед Конгрессом, делала видеопоэмы об алгоритмах и дискриминации по расовому и гендерному признакам.
Во всей своей деятельности она призывала к тому, чтобы реформировать саму технологическую индустрию наравне с практиками дизайна и использования технологий распознавания лиц. 3 июня 2020 года, незадолго до заявления IBM, Буоламвини выпустила текст в своем Medium-блоге, где призвала к борьбе за то, чтобы распознавание лиц не использовалось для нарушения гражданских прав правоохранительными органами. Для нее здесь важно, что из-за более высокого риска ошибки в распознавании для черных людей такие технологии представляют еще большую угрозу. Ведь для них выше вероятность того, что их некорректно идентифицируют и задержат.
Проблема распознавания лиц за пределами кода
Можно предположить, что компании отказались от исследований и разработок в области распознавания лиц исключительно по коммерческим мотивам. Но кажется, что отметать усилия активистов в этом вопросе не стоит. Все же представители Amazon неоднократно пытались как дискредитировать исследования Буламвини, так и поставить под сомнение последующие законодательные изменения в регулировании распознавания лиц.
Более того, сами работники компаний также ставят под сомнение сотрудничество своих работодателей с полицией. Например, 8 июня 2020 года 250 сотрудников Microsoft написали письмо своему руководству, где призвали отказаться от контрактов с полицией Сиэтла и официально поддержать движение Black Lives Matter. Технологическая индустрия не настолько аполитичная среда, как может показаться, и множество случаев коллективной самоорганизации и активизма среди ее представителей это демонстрируют.
Можно подумать, что проблемы с распознаванием лиц – вопрос всего лишь несовершенства алгоритмов. С этой точки зрения, проблемы с распознаванием лиц исчезли бы, если бы алгоритмы стали одинаково успешно идентифицировать представителей разных демографических групп. Но предпосылка такого суждения – идея того, что проблема исключительно в технологиях и поэтому может решена только с помощью технических изменений.
Но подобная точка зрения не учитывает то, что технология не только инструмент, она также формирует способы ее использования. Во многом об этом – идея «закона инструмента»: если вы используете молоток, то все вокруг будет выглядеть для вас, как гвоздь. В случае с распознаванием лиц важно помнить, что определенные группы, среди которых чернокожие граждане, исторически были более подвержены наблюдению и надзору, и технологии играли в этом процессе далеко не последнюю роль. Именно поэтому недостаточно просто сделать технологию более эффективной, так как это может привести лишь к усилению наблюдения за и так уязвимыми группами. Необходимы систематические изменения не только технологий, но и институтов и практик, связанных с наблюдением и надзором.
А теперь давайте вернемся к решениям технологических компаний. То, что они поступили по-разному, говорит о том, что будущее технологий распознавания лиц до сих пор имеет несколько возможных траекторий.
Если решение IBM подразумевает, что распознавание лицо само по себе есть проблема, то логика Microsoft базируется на необходимости законодательного регулирования, без которого об использовании алгоритмов в полицейской деятельности не стоит и думать. Вторая логика прослеживается и в тексте заявления Amazon, наложивших годовой мораторий на продажу своей системы распознавания лиц Rekognition.
И вероятно, ключевым политическим вопросом в будущем в отношении распознавания лиц будет именно разделение, распознаваемое в решениях этих компаний в июне 2020 года. Это будет обсуждение не только того, какие законодательные ограничения необходимы распознаванию лиц как технологии, но и того, должно ли оно вообще применяться в будущем.
В России дискуссии о распознавании лиц пока не настолько популярны со стороны ИТ-компаний. Но активисты в области цифровых прав уже призывают к ограничениям в их применении. Так, в октябре 2019 года правозащитная организация «Роскомсвобода» запустила общественную кампанию против систем распознавания лиц. Представители организации утверждают, что без законодательных ограничений, такие технологии остаются непрозрачными и небезопасными для граждан. На 19 июня 2020 года петиция собрала более 60 тысяч подписей.
