При распознавании лиц темнокожих женщин системы распознавания ошибаются почти в 35% случаев. Например, искусственный интеллект, управляющий системой банковского кредитного скоринга, чаще «отказывает» афроамериканцам. Если раньше в основе таких инцидентов был человеческий фактор, то сейчас это bias (искажение, предвзятость) в данных. Как возникают эти ошибки, выясняли эксперты научно-популярного журнала Harvard Business Review.
На протяжении нескольких последних лет исследователи пытаются выяснить, насколько глубоко систематические ошибки могут проникнуть в системы искусственного интеллекта. В 1988 году Британская комиссия по расовому неравенству обвинила британский медицинский университет в дискриминации.
Университет использовал определенную компьютерную программу, которая определяла, какие абитуриенты будут приглашаться на собеседование. Выяснилось, что эта программа необъективно оценивала шансы женщин и других участников с не европейскими именами.
Программа создавалась, чтобы имитировать работу приемной комиссии, и это удавалось с 90-95-процентной точностью. Более того, количество студентов не европейского происхождения, поступивших в этот университет, было выше, чем в большинстве других британских медицинских университетов. Применение подобного алгоритма не помогло избавиться от предвзятости и необъективности решений, принимаемых человеком, равно как и возвращение к ручному методу отбора не смогло бы стать решением.
Доходы от внедрения систем искусственного интеллекта, согласно данным Gartner, в 2018 году составят $1,2 трлн, что на 70% выше, чем в 2017 году. А к 2022 году их объем увеличится до $3,9 трлн.
Тридцать лет спустя создаваемые алгоритмы стали умнее, но проблема сохранилась. Искусственный интеллект позволяет распознать и снизить влияние человеческого фактора, но он также может и усугубить эту проблему – просто масштабируя существующие стереотипы.
Несмотря на свою прогрессивность, искусственный интеллект далек от совершенства. Он хорош настолько, насколько хороши данные для его обучения: если первоначальные обучающие образцы недостоверны, он подхватит это искажение. Поэтому часто ИИ перенимает расовые и гендерные предубеждения.
Новостной портал ProPublica выяснил, что алгоритм ведения уголовного судопроизводства, применяемый в округе Броуард, штат Флорида, ошибочно причислял темнокожих подсудимых к «группе риска», почти вдвое выше оценивая этот показатель по сравнению с белыми осужденными. Другие исследования показали, что создание и применение моделей по обработке текста с использованием естественного языка в новостных статьях может привести к демонстрации гендерных стереотипов.
Систематические ошибки могут закрасться в программные алгоритмы различными способами. Системы искусственного интеллекта учат принимать решения, которые основаны на базах данных, предоставляемых для обучения. Эти данные могут содержать необъективно принятые решения или отражать исторические и социальные неравенства даже в случаях, когда не учитываются такие важные переменные, как пол, раса и сексуальная ориентация.
Компания Amazon отказалась от использования алгоритма по приему на работу, после того как выяснилось, что он делал выбор, опираясь на слова «выполнять обязанности», «руководить», которые чаще встречались в резюме у мужчин.
Другим источником подобных погрешностей служит наличие в базах данных для обучения выборки недостоверной информации. Например, Джой Буоламвини и Тимнит Гебру из Массачусетского технологического института выяснили, что в технологиях распознавания лиц заложена большая вероятность ошибки идентификации социальных меньшинств. Особенно это касалось женщин, вероятно, по причине непригодности предоставленной базы данных для обучения системы.
ИИ бессилен везде, где нужен полноценный анализ ситуации, а не просто принятие решения, основанного на обучающей выборке данных, пальма первенства будет за человеком.
В Китае на базе ИИ реализован проект социальной направленности: разработчики создали систему, которая анализировала поведение пользователей в соцсетях и выявляла среди них тех, у кого были суицидальные наклонности, с целью оказать им своевременную психологическую помощь. На сегодня с ее помощью удалось спасти уже более 20 000 человек.
Ответственность за систематические погрешности лежит на нас самих. Ошибки снижают потенциал искусственного интеллекта для бизнеса и социума, поскольку провоцируют недоверие. Все более остро встает вопрос о степени участия человека в процессах, делегированным алгоритмам.
