Microsoft отказывается от публичной поддержки некоторых функций на основе ИИ, включая распознавание лиц, и признает проблемы с дискриминацией и точностью, которые создают эти предложения. Но у компании были годы, чтобы решить проблемы, и она не смогла этого сделать. Это похоже на то, как производитель автомобилей отзывает автомобиль вместо того, чтобы ремонтировать его.

Несмотря на опасения, что технология распознавания лиц может быть дискриминационной, реальная проблема заключается в том, что результаты неточны. (Однако дискриминационный аргумент играет роль из-за предположений, сделанных разработчиками Microsoft при создании этих приложений.)

Начнем с того, что сделала и сказала Microsoft. Сара Берд, старший менеджер по продукту группы Microsoft Azure AI, подвела итоги прошлого месяца в сообщении в блоге Microsoft.

«Начиная с сегодняшнего дня (21 июня) новые клиенты должны запрашивать доступ для использования операций распознавания лиц в Azure Face API, Computer Vision и Video Indexer. У существующих клиентов есть один год, чтобы запросить и получить разрешение на продолжение доступа к службам распознавания лиц на основе предоставленных вариантов использования. Вводя ограниченный доступ, мы добавляем дополнительный уровень контроля за использованием и реализацией распознавания лиц, чтобы гарантировать, что использование этих служб соответствует стандарту ответственного искусственного интеллекта Майкрософт и обеспечивает ценные преимущества для пользователя, конца и общества. Это включает в себя введение условий использования и право клиента на доступ к этим услугам.

«Возможности обнаружения лиц, включая размытие лица, экспозицию, очки, положение головы, ориентиры, шум, окклюзию и обнаружение ограничительной рамки, останутся общедоступными и не требуют приложения».

Взгляните на это второе предложение, где Берд подчеркивает этот дополнительный обруч для пользователей, чтобы «убедиться, что использование этих сервисов соответствует стандарту ответственного искусственного интеллекта Microsoft и помогает конечному пользователю реализовать ценные и социальные преимущества».

Это, безусловно, звучит хорошо, но действительно ли это изменение делает это? Или Microsoft просто доверится ему, чтобы люди не использовали приложение там, где неточности самые большие?

Одна из ситуаций, которую обсудила Microsoft, касается распознавания речи, когда было обнаружено, что «технология преобразования речи в текст в технологической отрасли дает процент ошибок для членов определенных чернокожих и афроамериканских сообществ, который почти в два раза выше, чем у пользователей». белые, — сказала Наташа Крэмптон. , директор по искусственному интеллекту в Microsoft. «Мы сделали шаг назад, рассмотрели результаты исследования и обнаружили, что наши тесты перед публикацией не смогли удовлетворительно отразить богатое разнообразие речи между людьми разного происхождения и из разных регионов».

Еще одна проблема, выявленная Microsoft, заключается в том, что люди из всех слоев общества, как правило, говорят по-разному в формальной и неформальной обстановке. Ох, хорошо? Разве разработчики не знали об этом раньше? Бьюсь об заклад, они сделали, но они не думали о последствиях ничегонеделания.

Один из способов решить эту проблему — пересмотреть процесс сбора данных. По своей природе люди, записанные для анализа голоса, будут немного нервными и, вероятно, будут говорить строго и жестко. Один из способов — проводить гораздо более длительные сеансы записи в как можно более расслабленной обстановке. Через несколько часов некоторые люди могут забыть, что их записывают, и перейти к непринужденной беседе.

Я видел, как он играет с тем, как люди взаимодействуют с распознаванием речи. Сначала они говорят медленно и склонны слишком много произносить. Со временем они постепенно переходят в то, что я назову режимом «Звездного пути», и говорят так, как если бы они говорили с другим человеком.

Аналогичная проблема была обнаружена с попытками обнаружения эмоций.

Bird's Plus: «После радикального изменения мы убрали возможности анализа лица, которые претендуют на то, чтобы избавляться от эмоциональных состояний и атрибутов идентичности, таких как пол, возраст, недовольство, poils du Visage, les cheveux и т. д. макияж. Мы сотрудничаем с внутренними и внешними исследователями, чтобы понять ограничения и потенциальные преимущества этой технологии и найти компромиссы. В частности, в случае классификации эмоций эти усилия подняли важные вопросы о конфиденциальности, отсутствии консенсуса в отношении определения эмоций и невозможности обобщить связь между выражением лица и эмоциональным состоянием в различных вариантах использования, регионах и демографических группах. . Доступ API к возможностям, которые предсказывают конфиденциальные атрибуты, также открывает широкий спектр способов их неправомерного использования, в том числе подвергая людей стереотипам, дискриминации или несправедливому отказу в обслуживании. Чтобы снизить эти риски, мы решили не поддерживать универсальную систему в Face API, которая пытается определить эмоциональное состояние, пол, возраст, улыбку, растительность на лице, прическу и макияж. Обнаружение этих атрибутов больше не будет доступно для новых клиентов с 21 июня 2022 г., а существующие клиенты должны до 30 июня 2023 г. прекратить использование этих атрибутов, прежде чем они будут упразднены.

Когда дело доходит до обнаружения эмоций, исторически сложилось, что анализ лица гораздо менее точен, чем простой анализ голоса. Распознавание эмоций по голосу оказалось очень эффективным в приложениях для колл-центров, где клиент, который кажется очень рассерженным, может быть немедленно передан старшему руководителю.

В некоторой степени это помогает Microsoft понять, что именно то, как используются данные, необходимо ограничивать. В этом сценарии колл-центра, если программное обеспечение работает неправильно, а клиент на самом деле не рассердился, никакого вреда не будет. Супервизор просто нормально завершает вызов. Примечание. Единственное распространенное обнаружение эмоций с помощью голоса, которое я видел, — это когда клиент злится на телефонную сеть и ее неспособность понять простые предложения. Программное обеспечение думает, что клиент зол на компанию. Разумная ошибка.

Но опять же, если программное обеспечение плохое, никакого вреда не будет.

Бёрд отметил, что некоторые варианты использования все еще могут ответственно полагаться на эти функции ИИ. «Клиенты Azure Cognitive Services теперь могут использовать пакет Microsoft Fairlearn с открытым исходным кодом и панель Fairness Dashboard для измерения справедливости алгоритмов проверки лиц Microsoft на своих собственных данных, что позволяет им выявлять и устранять потенциальные проблемы с справедливостью», которые ранее могли повлиять на различные демографические группы. внедрять свои технологии.

Берд также сказал, что технические проблемы сыграли свою роль в некоторых неточностях. «Работая с клиентами, использующими наш сервис Face, мы также поняли, что некоторые ошибки, первоначально приписываемые проблемам справедливости, были связаны с плохим качеством изображения. Если изображение, которое кто-то отправляет, слишком темное или размытое, модель не сможет правильно его сопоставить. Мы понимаем, что такое низкое качество изображения может несправедливо концентрироваться среди демографических групп.

Между демографическими группами? Разве это не все, поскольку все принадлежат к определенной демографической группе? Звучит как скромный способ сказать, что у небелых может быть плохая функциональность сопоставления. Вот почему использование этих инструментов правоохранительными органами так проблематично. Ключевой вопрос для ИТ: каковы последствия неправильного программного обеспечения? Является ли программное обеспечение одним из 50 используемых инструментов или оно основано исключительно на нем?

Microsoft заявила, что работает над решением этой проблемы с помощью нового инструмента. «Вот почему Microsoft предлагает клиентам новый API качества распознавания, который помечает проблемы с освещением, размытием, окклюзией или углом наклона головы на изображениях, отправленных для проверки лица», — сказал Бёрд. «Microsoft также предлагает справочное приложение, которое в режиме реального времени предоставляет рекомендации, помогающие пользователям получать изображения более высокого качества, которые с большей вероятностью будут давать точные результаты».

В интервью The New York Times Крэмптон отметил, что еще одна проблема заключалась в том, что «так называемый гендерный классификатор системы был бинарным, и это не соответствовало нашим ценностям».

Короче говоря, говорит он, даже если система не думает только о мужчинах и женщинах, она не может легко навешивать ярлыки на людей, которые идентифицируют себя другими способами. В этом случае Microsoft просто решила прекратить попытки угадать пол, что, вероятно, является правильным выбором.

© 2022 IDG Communications, Inc.

Поделиться