По мере того как искусственный интеллект (AI) становится более сложным, он также становится все менее прозрачным. Алгоритмы машинного обучения могут обрабатывать огромные массивы данных, генерировать прогнозы и принимать решения — без возможности объяснить людям, что он, собственно, делает. Вопрос, должны ли мы требовать обоснований этих действий, имея в виду возможные последствия, — например, если речь идет о найме на работу или о привлечении к уголовной ответственности, — и какие меры регулирования помогут сделать AI более прозрачным, понятным и подотчетным. Мэтью Хатсон (Matthew Hutson), сотрудник Science, поговорил с Сандрой Вахтер (Sandra Wachter), специализирующейся на проблемах этики работы с данными, из Оксфордского университета, Великобритания, и Института Алана Тьюринга.
— В каких областях необходима прозрачность?
— Алгоритм может сделать для вас очень скучную работу, он эффективен, он не устает, и он часто может принимать более правильные решения, чем человек. Но прозрачность необходима там, где технологии оказывают существенное влияние на нас. Алгоритмы решают, являются ли люди подходящими кандидатами на получение ипотечных кредитов, займов или страхования, определяют процентные ставки и т.д. Они принимают решения о найме и порой судьбе абитуриентов. Еще в 1970 годах Медицинская школа Св. Георгия в Лондоне разработала программное обеспечение для первичного скрининга заявителей — а позднее было показано, что алгоритмы на деле дискриминируют по расовому и гендерному принципу.
Судьи и полиция используют алгоритмы для вынесения приговоров, предоставления условно-досрочного освобождения и профилактической работы полиции. В прошлом году ProPublica сообщила, что популярная программа под названием COMPAS переоценила риски повторного совершения преступлений чернокожими подсудимыми. Робототехника и автономные системы могут использоваться для хирургии, ухода, транспорта и уголовного правосудия. Мы должны иметь право оценивать точность и логику этих решений.
— Что уже делают регуляторы по этому поводу?
— Регуляторы во всем мире обсуждают и решают эти проблемы, но иногда они должны удовлетворять конкурирующие интересы. С одной стороны, государственный сектор должен обеспечить безопасное функционирование алгоритмов, AI и робототехники и гарантировать, что эти системы не будут дискриминировать или иным образом наносить вред людям. С другой стороны, регулирование, требующее прозрачности, может препятствовать инновациям и исследованиям и отрицательно сказываться на деловых интересах, таких как коммерческая тайна.
Регулирование может само по себе создавать проблемы, если с самого начала требования не определены четко, или если оно требует того, что технически невозможно реализовать. Некоторые люди из сообщества AI знают, что вы не всегда можете объяснить работу AI, потому что даже разработчики систем не понимают, как они работают. Те, кто сделал AlphaGo [программу, обыгравшую лучшего в мире игрока в го. — Научная Россия], не знали, как алгоритм придумывал свои ходы.
— Существуют ли различия между действиями американских и европейских регуляторов?
— США придерживаются более мягкого подхода, саморегулирования. Нынешняя политика больше ориентирована на образование исследователей и добровольные кодексы действий для частного сектора. Это может быть результатом убежденности в том, что если регулировать слишком многое, это может отрицательно повлиять на исследования, инновации и экономический рост.
ЕС скорее склонен к созданию жестких законов, которые подлежат точному исполнению. Превосходным примером может служить Правило общей защиты данных (General Data Protection Regulation, GDPR), которое начнет действовать в Евросоюзе в мае 2018 года. Эти рамочные правила определяют некоторые права на прозрачность и защищают от последствий автоматизированного принятия решений. Статья 22, например, предоставляет отдельным лицам право оспаривать полностью автоматическое решение, если оно имеет для них юридические или другие существенные последствия. Другие статьи требуют, чтобы сборщики данных, такие как рекламодатели, предоставляли людям доступ к собранным данным и сообщали людям об общей функциональности автоматизированной системы, когда решения принимаются с использованием этих данных.
— Было ли в достаточной степени принят во внимание тот факт, что люди, принимающие решения, тоже в большой степени «черные ящики»?
— Да, у людей бывают предрассудки, которые приводят к дискриминационным решениям, и мы часто не знаем, когда и почему люди предвзяты. С машинным обучением у нас есть потенциал для принятия менее предвзятых решений. Но алгоритмы, обученные на «предубежденных» данных, поддерживают и воспроизводят эти предубеждения и даже развивают новые.
— А можно ли привести пример?
— Если вы нанимаете кого-то на позицию, где нужно будет принимать управленческие решения, и скармливаете вашему алгоритму данные за последние 30 лет, эти данные будут искажены, а идеальным кандидатом будет считаться некто мужского пола, белый в возрасте 40-50 лет. Я — женщина 30 с небольшим лет, поэтому мою кандидатуру алгоритм отвергнет сразу, даже если я подхожу к этой должности. И лучше не становится — иногда алгоритмы используются для отображения объявлений о работе, поэтому я даже не увижу, что такая позиция доступна.
В других случаях речь идет скорее о менее очевидных на первый взгляд предубеждениях. Есть классический (гипотетический) пример. Люди с красными автомобилями могут быть вынуждены платить более высокие страховые взносы — и это не дискриминация по отношению к этой группе, но может иметь непродуманные заранее последствия. Спортивные автомобили часто бывают красными, и люди, которые покупают спортивные автомобили, часто можно отнести к мачо, которые склонны к опасному стилю вождения и поэтому чаще попадают в аварии. Соответственно, если с них требуют больше платить за страховку, это справедливо. Но если красные автомобили с большей вероятностью чаще повреждаются в авариях и потом продаются, то люди с меньшим располагаемым доходом могут с большей вероятностью также ездить на них — и тоже платить более высокие страховые взносы. Поэтому одних только данных, которые мы используем, недостаточно, чтобы определить логику, имеющую дискриминационный эффект.
Но я уверена, мы можем разработать более эффективные инструменты для определения предрассудков и способы их устранить.
