Почему ошибаются умные машины, и стоит ли им доверять?

Почему искусственный интеллект ошибается, как человек? Изображение: pixabay.com.
Поче­му искус­ствен­ный интел­лект оши­ба­ет­ся, как чело­век? Изоб­ра­же­ние: pixabay.com.

При рас­по­зна­ва­нии лиц тем­но­ко­жих жен­щин систе­мы рас­по­зна­ва­ния оши­ба­ют­ся почти в 35% слу­ча­ев. Напри­мер, искус­ствен­ный интел­лект, управ­ля­ю­щий систе­мой бан­ков­ско­го кре­дит­но­го ско­рин­га, чаще «отка­зы­ва­ет» афро­аме­ри­кан­цам. Если рань­ше в осно­ве таких инци­ден­тов был чело­ве­че­ский фак­тор, то сей­час это bias (иска­же­ние, пред­взя­тость) в дан­ных. Как воз­ни­ка­ют эти ошиб­ки, выяс­ня­ли экс­пер­ты науч­но-попу­ляр­но­го жур­на­ла Harvard Business Review.

На про­тя­же­нии несколь­ких послед­них лет иссле­до­ва­те­ли пыта­ют­ся выяс­нить, насколь­ко глу­бо­ко систе­ма­ти­че­ские ошиб­ки могут про­ник­нуть в систе­мы искус­ствен­но­го интел­лек­та. В 1988 году Бри­тан­ская комис­сия по расо­во­му нера­вен­ству обви­ни­ла бри­тан­ский меди­цин­ский уни­вер­си­тет в дис­кри­ми­на­ции.

Уни­вер­си­тет исполь­зо­вал опре­де­лен­ную ком­пью­тер­ную про­грам­му, кото­рая опре­де­ля­ла, какие аби­ту­ри­ен­ты будут при­гла­шать­ся на собе­се­до­ва­ние. Выяс­ни­лось, что эта про­грам­ма необъ­ек­тив­но оце­ни­ва­ла шан­сы жен­щин и дру­гих участ­ни­ков с не евро­пей­ски­ми име­на­ми.

Про­грам­ма созда­ва­лась, что­бы ими­ти­ро­вать рабо­ту при­ем­ной комис­сии, и это уда­ва­лось с 90–95-процентной точ­но­стью. Более того, коли­че­ство сту­ден­тов не евро­пей­ско­го про­ис­хож­де­ния, посту­пив­ших в этот уни­вер­си­тет, было выше, чем в боль­шин­стве дру­гих бри­тан­ских меди­цин­ских уни­вер­си­те­тов. При­ме­не­ние подоб­но­го алго­рит­ма не помог­ло изба­вить­ся от пред­взя­то­сти и необъ­ек­тив­но­сти реше­ний, при­ни­ма­е­мых чело­ве­ком, рав­но как и воз­вра­ще­ние к руч­но­му мето­ду отбо­ра не смог­ло бы стать реше­ни­ем.

Дохо­ды от внед­ре­ния систем искус­ствен­но­го интел­лек­та, соглас­но дан­ным Gartner, в 2018 году соста­вят $1,2 трлн, что на 70% выше, чем в 2017 году. А к 2022 году их объ­ем уве­ли­чит­ся до $3,9 трлн.

Трид­цать лет спу­стя созда­ва­е­мые алго­рит­мы ста­ли умнее, но про­бле­ма сохра­ни­лась. Искус­ствен­ный интел­лект поз­во­ля­ет рас­по­знать и сни­зить вли­я­ние чело­ве­че­ско­го фак­то­ра, но он так­же может и усу­гу­бить эту про­бле­му – про­сто мас­шта­би­руя суще­ству­ю­щие сте­рео­ти­пы.

Несмот­ря на свою про­грес­сив­ность, искус­ствен­ный интел­лект далек от совер­шен­ства. Он хорош настоль­ко, насколь­ко хоро­ши дан­ные для его обу­че­ния: если пер­во­на­чаль­ные обу­ча­ю­щие образ­цы недо­сто­вер­ны, он под­хва­тит это иска­же­ние. Поэто­му часто ИИ пере­ни­ма­ет расо­вые и ген­дер­ные предубеж­де­ния. 

Новост­ной пор­тал ProPublica выяс­нил, что алго­ритм веде­ния уго­лов­но­го судо­про­из­вод­ства, при­ме­ня­е­мый в окру­ге Бро­уард, штат Фло­ри­да, оши­боч­но при­чис­лял тем­но­ко­жих под­су­ди­мых к «груп­пе рис­ка», почти вдвое выше оце­ни­вая этот пока­за­тель по срав­не­нию с белы­ми осуж­ден­ны­ми. Дру­гие иссле­до­ва­ния пока­за­ли, что созда­ние и при­ме­не­ние моде­лей по обра­бот­ке тек­ста с исполь­зо­ва­ни­ем есте­ствен­но­го язы­ка в новост­ных ста­тьях может при­ве­сти к демон­стра­ции ген­дер­ных сте­рео­ти­пов.

Систе­ма­ти­че­ские ошиб­ки могут закрасть­ся в про­грамм­ные алго­рит­мы раз­лич­ны­ми спо­со­ба­ми. Систе­мы искус­ствен­но­го интел­лек­та учат при­ни­мать реше­ния, кото­рые осно­ва­ны на базах дан­ных, предо­став­ля­е­мых для обу­че­ния. Эти дан­ные могут содер­жать необъ­ек­тив­но при­ня­тые реше­ния или отра­жать исто­ри­че­ские и соци­аль­ные нера­вен­ства даже в слу­ча­ях, когда не учи­ты­ва­ют­ся такие важ­ные пере­мен­ные, как пол, раса и сек­су­аль­ная ори­ен­та­ция. 

Ком­па­ния Amazon отка­за­лась от исполь­зо­ва­ния алго­рит­ма по при­е­му на рабо­ту, после того как выяс­ни­лось, что он делал выбор, опи­ра­ясь на сло­ва «выпол­нять обя­зан­но­сти», «руко­во­дить», кото­рые чаще встре­ча­лись в резю­ме у муж­чин.

Дру­гим источ­ни­ком подоб­ных погреш­но­стей слу­жит нали­чие в базах дан­ных для обу­че­ния выбор­ки недо­сто­вер­ной инфор­ма­ции. Напри­мер, Джой Буо­лам­ви­ни и Тим­нит Геб­ру из Мас­са­чу­сет­ско­го тех­но­ло­ги­че­ско­го инсти­ту­та выяс­ни­ли, что в тех­но­ло­ги­ях рас­по­зна­ва­ния лиц зало­же­на боль­шая веро­ят­ность ошиб­ки иден­ти­фи­ка­ции соци­аль­ных мень­шинств. Осо­бен­но это каса­лось жен­щин, веро­ят­но, по при­чине непри­год­но­сти предо­став­лен­ной базы дан­ных для обу­че­ния систе­мы.

ИИ бес­си­лен вез­де, где нужен пол­но­цен­ный ана­лиз ситу­а­ции, а не про­сто при­ня­тие реше­ния, осно­ван­но­го на обу­ча­ю­щей выбор­ке дан­ных, паль­ма пер­вен­ства будет за чело­ве­ком.

В Китае на базе ИИ реа­ли­зо­ван про­ект соци­аль­ной направ­лен­но­сти: раз­ра­бот­чи­ки созда­ли систе­му, кото­рая ана­ли­зи­ро­ва­ла пове­де­ние поль­зо­ва­те­лей в соц­се­тях и выяв­ля­ла сре­ди них тех, у кого были суи­ци­даль­ные наклон­но­сти, с целью ока­зать им свое­вре­мен­ную пси­хо­ло­ги­че­скую помощь. На сего­дня с ее помо­щью уда­лось спа­сти уже более 20 000 чело­век.

Ответ­ствен­ность за систе­ма­ти­че­ские погреш­но­сти лежит на нас самих. Ошиб­ки сни­жа­ют потен­ци­ал искус­ствен­но­го интел­лек­та для биз­не­са и соци­у­ма, посколь­ку про­во­ци­ру­ют недо­ве­рие. Все более ост­ро вста­ет вопрос о сте­пе­ни уча­стия чело­ве­ка в про­цес­сах, деле­ги­ро­ван­ным алго­рит­мам. 

Еще по теме: