Microsoft отказывается от публичной поддержки некоторых функций искусственного интеллекта, включая распознавание лиц, и признает проблемы дискриминации и точности, которые создают эти предложения. Но у компании были годы, чтобы исправить проблемы, но она этого не сделала. Это похоже на то, как производитель автомобилей отзывает автомобиль вместо того, чтобы ремонтировать его.
Несмотря на опасения, что технология распознавания лиц может носить дискриминационный характер, реальная проблема заключается в том, что результаты неточны. (Однако дискриминационный аргумент играет роль из-за предположений, сделанных разработчиками Microsoft при создании этих приложений.)
Давайте начнем с того, что сделала и сказала Microsoft. Сара Бёрд, старший менеджер по продуктам группы Azure AI в Microsoft, подвела итоги негативной реакции в прошлом месяце в сообщении в блоге Microsoft.
«Начиная с сегодняшнего дня (21 июня) новые клиенты должны запрашивать доступ для использования операций распознавания лиц в Azure Face API, Computer Vision и Video Indexer. У существующих клиентов есть один год, чтобы запросить и получить одобрение на продолжение доступа к услугам распознавания лиц на основе предоставленных вариантов использования. Вводя ограниченный доступ, мы добавляем дополнительный уровень контроля над использованием и внедрением распознавания лиц, чтобы гарантировать, что использование этих служб соответствует стандарту ответственного ИИ Microsoft и приносит ценные преимущества для пользователей и общества. Это включает в себя введение условий использования и права клиента на доступ к этим услугам.
«Возможности обнаружения лиц, включая размытие лица, экспозицию, очки, положение головы, ориентиры, шум, окклюзию и обнаружение ограничивающей рамки, будут по-прежнему общедоступны и не потребуют приложения».
Посмотрите на второе предложение, где Берд выделяет это дополнительное кольцо, через которое пользователи должны пройти, «чтобы гарантировать, что использование этих сервисов соответствует стандарту ответственного ИИ Microsoft и помогает конечному пользователю реализовать ценные и социальные выгоды».
Это, конечно, звучит хорошо, но действительно ли это изменение делает именно это? Или Microsoft просто будет полагаться на него, чтобы помешать людям использовать приложение, в котором неточности наиболее велики?
Одна из ситуаций, которую обсуждала Microsoft, касается распознавания речи, когда она обнаружила, что «технология преобразования речи в текст в технологической отрасли приводит к увеличению количества ошибок для членов некоторых чернокожих и афроамериканских сообществ, которые почти в два раза выше, чем у белых пользователей». ", - сказала Наташа Крэмптон. , директор, ответственный за искусственный интеллект в Microsoft. «Мы сделали шаг назад, просмотрели результаты исследования и обнаружили, что наше предварительное тестирование не смогло удовлетворительно отразить богатое разнообразие речи среди людей разного происхождения и из разных регионов».
Еще одна проблема, выявленная Microsoft, заключается в том, что люди из всех слоев общества склонны говорить по-разному в формальной и неформальной обстановке. Ох, хорошо? Разве разработчики не знали об этом раньше? Могу поспорить, что они это сделали, но они не подумали о последствиях бездействия.
Один из способов решения этой проблемы — пересмотреть процесс сбора данных. По своей природе люди, записанные на анализ голоса, будут немного нервничать и, вероятно, будут говорить строго и жестко. Один из способов — проводить гораздо более длительные сеансы записи в максимально спокойной обстановке. Через несколько часов некоторые люди могут забыть, что их записывают, и перейти к неформальной манере разговора.
Я видел, как это влияет на то, как люди взаимодействуют с распознаванием речи. Поначалу они говорят медленно и склонны проговаривать слишком много. Со временем они постепенно переходят в режим, который я называю «Звездный путь», и разговаривают так, как если бы они разговаривали с другим человеком.
Аналогичная проблема была обнаружена при попытках обнаружения эмоций.
Bird's Plus: «В других изменениях мы отказываемся от возможностей анализа лица, которые притворяются, что они теряют эти эмоции и атрибуты идентичности, которые касаются пола, возраста, сурира, помады лица, шеве и т. д. составить. Мы сотрудничаем с внутренними и внешними исследователями, чтобы понять ограничения и потенциальные преимущества этой технологии, а также определить ее преимущества и недостатки. В частности, в случае классификации эмоций эти усилия подняли важные вопросы о конфиденциальности, отсутствии консенсуса в определении эмоций и неспособности обобщить связь между выражением лица и эмоциональным состоянием по вариантам использования, регионам и демографическим данным. . Доступ API к возможностям, которые прогнозируют конфиденциальные атрибуты, также открывает широкий спектр способов их неправильного использования, включая подвергание людей стереотипам, дискриминации или несправедливому отказу в услугах. Чтобы снизить эти риски, мы решили не поддерживать в Face API систему общего назначения, которая пытается определить эмоциональное состояние, пол, возраст, улыбку, волосы на лице, прическу и макияж. Обнаружение этих атрибутов больше не будет доступно новым клиентам с 21 июня 2022 г., а существующие клиенты должны прекратить использование этих атрибутов до 30 июня 2023 г., прежде чем они будут выведены из эксплуатации.
Что касается обнаружения эмоций, исторически было показано, что анализ лица гораздо менее точен, чем простой анализ голоса. Распознавание эмоций по голосу оказалось очень эффективным в приложениях колл-центров, где клиент, который выглядит очень рассерженным, может быть немедленно передан старшему руководителю.
В некоторой степени это помогает Microsoft понять, что следует ограничивать способ использования данных. В этом сценарии колл-центра, если программное обеспечение работает неправильно и клиент на самом деле не рассердился, никакого вреда не будет. Супервизор просто завершает разговор в обычном режиме. Примечание. Единственный распространенный способ обнаружения эмоций с помощью голоса, который я видел, — это когда клиент злится на телефонное дерево и его неспособность понимать простые предложения. Программное обеспечение считает, что клиент зол на компанию. Разумная ошибка.
Но опять же, если программное обеспечение плохое, никакого вреда не будет.
Берд отметил, что в некоторых случаях все же можно ответственно полагаться на эти функции ИИ. «Клиенты Azure Cognitive Services теперь могут использовать пакет Microsoft Fairlearn с открытым исходным кодом и панель Fairness Dashboard для измерения справедливости алгоритмов проверки лица Microsoft на своих собственных данных, что позволяет им быстрее выявлять и устранять потенциальные проблемы справедливости, которые могут затронуть различные демографические группы».
Берд также сказал, что технические проблемы сыграли свою роль в некоторых неточностях. «Работая с клиентами, использующими нашу службу Face, мы также поняли, что некоторые ошибки, первоначально связанные с проблемами справедливости, были связаны с плохим качеством изображения. Если изображение, которое кто-то отправляет, слишком темное или размытое, возможно, модель не может правильно ему соответствовать. Мы признать, что это низкое качество изображения может быть несправедливо сосредоточено среди демографических групп.
Между демографическими группами? Разве не все они, учитывая, что все они принадлежат к определенной демографической группе? Это звучит как застенчивый способ сказать, что у цветных людей может быть плохая функциональность сопоставления. Вот почему использование этих инструментов правоохранительными органами настолько проблематично. Ключевой вопрос для ИТ: каковы последствия, если программное обеспечение окажется некорректным? Является ли программное обеспечение одним из 50 используемых инструментов или оно основано исключительно на нем?
Microsoft заявила, что работает над решением этой проблемы с помощью нового инструмента. «Вот почему Microsoft предлагает клиентам новый API качества распознавания, который распознает проблемы с освещением, размытием, окклюзией или углом головы на изображениях, отправленных на проверку лица», — сказал Берд. «Microsoft также предлагает справочное приложение, которое в режиме реального времени предоставляет рекомендации, помогающие пользователям снимать изображения более высокого качества, которые с большей вероятностью дадут точные результаты».
В интервью The New York Times Крэмптон отметил, что еще одна проблема заключалась в том, что «так называемый гендерный классификатор системы был бинарным, и это не соответствует нашим ценностям».
Короче говоря, говорит он, даже если система не мыслит только категориями мужчин и женщин, она не может легко маркировать людей, которые идентифицируют себя другими способами. В данном случае Microsoft просто решила прекратить попытки угадать жанр, что, вероятно, является правильным выбором.
© 2022 IDG Communications, Inc.