Обработка данных при помощи искусственного интеллекта и риски дискриминации (Э.В. Талапина, журнал "Право. Журнал Высшей школы экономики", N 1, январь-март 2022 г.)

Талапина Э.В. Обработка данных при помощи искусственного интеллекта и риски дискриминации

Э.В. Талапина - доктор юридических наук, доктор права (Франция), главный научный сотрудник Институт государства и права РАН

Дискриминация создает угрозу равенству как основному концепту правового государства. Эта проблема обретает новое звучание в связи с использованием искусственного интеллекта для принятия значимых юридических решений, поскольку искусственный интеллект способен принимать ошибочные решения в отношении конкретных лиц, в основе которых часто лежит дискриминация. Целью статьи стало изучение рисков дискриминации, чтобы учесть и избегать их в будущем правовом регулировании. Исследование основано на анализе доктринальных и нормативных источников разных стран, изучении имеющегося опыта использования искусственного интеллекта. Конкретным методом интеллектуального анализа данных является профилирование, которое не оставляет большого пространства для автономии и самоопределения личности. В связи с этим предлагается переоценить теорию информационного самоопределения, используя ее потенциал разделения ответственности между обладателем данных и обработчиком. Ввиду явных дискриминационных рисков профилирования некоторые операции уже запрещены (например, редлайнинг в США, генетическое профилирование в области страхования и занятости в ряде стран). Отдельно должны изучаться предиктивные способности искусственного интеллекта в отношении юридической оценки поведения конкретного человека. Опыт алгоритмического прогнозирования поведения человека, накопленный в рамках уголовного правосудия в США, свидетельствует о вероятностном характере такой оценки. Это способно нарушить права человека на справедливое судебное разбирательство и индивидуализацию наказания, если алгоритмическая оценка станет единственным основанием для вынесения судебного решения. В целом развитие приложений по решению рутинных правовых проблем, которые будут давать результаты на основании прошлых судебных решений, особо актуально в странах общего права, где господствует прецедентное право. С учетом того, что Россия принадлежит к континентальной системе права перспективы использования американского опыта сомнительны. Рассмотрение конкретных видов недостатков, которые способны привести к дискриминационной обработке данных, позволило сделать выводы о контурах будущего законодательства в отношении деятельности искусственного интеллекта с учетом всех проанализированных рисков дискриминации.

Ключевые слова: дискриминация, искусственный интеллект, алгоритм, профилирование, предиктивность, равенство, транспарентность

Talapina E.V. Artificial Intelligence Processing and Risks of Discrimination

E.V. Talapina - Doctor of Science (Law), Doctor of Law (France), Chief Researcher Institute of State and Law, Russian Academy of Sciences

Discrimination poses a threat to equality as a basic concept of the rule of law. In the digital age, the use of artificial intelligence to make important legal decisions has added a new dimension to the problem. More specifically, artificial intelligence is capable of making faulty decisions which are often based on discrimination about individuals The aim of the article was to examine the risks of discrimination in order to account for and avoid them in future legal regulation The research is based on an analysis of doctrinal and regulatory sources from various countries and an examination of existing experience with the use of artificial intelligence. A specific method of data mining is profiling, which leaves little room for individual autonomy and self-determination. In this context, it is suggested that the theory of information self-determination be reassessed, exploiting its potential to divide responsibility between the data owner and the processor. Due to the clear discriminatory risks of profiling, some operations are already banned (e. g. redlining in the USA, genetic profiling in insurance and employment in several countries). The undeniable predictive potential of data deserves careful consideration, especially when it comes to personalization, where the predictive abilities of artificial intelligence are used to legally assess the behavior of an individual. Experience with algorithmic prediction of human behavior in the USA criminal justice system suggests the probabilistic nature of such assessments, which has the potential to infringe human rights to a fair trial and individualization of punishment if algorithmic assessment becomes the sole basis for adjudication. In general, the development of applications to solve routine legal problems that will produce results based on past judicial decisions is particularly relevant in common law countries where case law is prevalent. Given that Russia belongs to the continental law system and that case law even on a one type of dispute is often contradictory and not consistent across the country, the prospects for using American experience are doubtful. Consideration of specific types of deficiencies that can lead to discriminatory data processing, namely incorrect data collection, aggregation of erroneous data, insensitivity of artificial intelligence to regulatory settings, allowed drawing conclusions on the contours of future legislation regarding the activities of artificial intelligence, taking into account all analyzed risks of discrimination.

Keywords: discrimination, artificial intelligence, algorithm, profiling, predictivity, equality, transparency