Теоретические и прикладные проблемы гражданско-правового регулирования технологий искусственного интеллекта

Толочко, О.Н. Теоретические и прикладные проблемы гражданско-правового регулирования технологий искусственного интеллекта / О.Н. Толочко (Разд. 1, Гл. 3) // Теоретико-прикладные аспекты развития гражданского законодательства Республики Беларусь под влиянием цифровизации / Ю.А. Амельченя [и др] ; под ред. О.А. Бакиновской. – Минск: Колорград, 2021. – С. 34–50.

Введение. Технологии искусственного интеллекта применяются во всех областях экономической и социальной жизнедеятельности человека. Вместе с тем, правовое регулирование этой новой для человечества области отношений явно отстаёт от растущих потребностей общества. Мировая юридическая наука стремится удовлетворить этот социальный запрос, однако пока спорных вопросов остаётся больше, нежели тех, по которым достигнут хотя бы относительный консенсус. Дальше всех продвинулись в этом направлении те страны, в которых наиболее активно разрабатываются такие технологии. Однако и те регионы мира, где такие технологии лишь используются в решении разных государственных и общественных задач, вопрос правового регулирования такого использования тоже стоит довольно остро. Одними из наиболее сложных здесь являются вопросы гражданского права, что, в общем, неудивительно. Цель настоящей статьи – обозначить основные направления развития норм гражданского права в сфере использования технологий искусственного интеллекта с учётом передового опыта различных государств, а также норм международного права и, по возможности, предложить оптимальные пути их решения. В то же время необходимо понимать, что проблемы, появляющиеся в связи развитием технологий искусственного интеллекта, настолько разнообразны и сложны, что в рамках одной статьи возможен лишь весьма приближённый и поверхностный взгляд на их решение.

Для определения технологий искусственного интеллекта необходимо вначале разобраться с самим понятием «интеллекта» и того, что может пониматься как его «искусственный» аналог. Под интеллектом обычно понимают свойство психики человека, обеспечивающие адекватную интерпретацию получаемых извне данные и адаптацию к изменяющимся условиям. Высшими функциями человеческого мозга являются его когнитивные способности, к которым относятся ориентация в пространстве и во времени, мышление, обучение, речь, вычисления, способность к рассуждению и пониманию. Когнитивные способности связывают человека с окружающей действительностью и позволяют с ней взаимодействовать. Кроме того, интеллект обеспечивает ему возможность создавать что-то новое, т.е. реализовывать творческую функцию.

Под искусственным интеллектом понимается способность компьютерных систем (аппаратно-программных комплексов) выполнять когнитивные функции, обычно присущие человеку. Искусственный интеллект позволяет машине самообучаться и выполнять задачи, которые ранее были доступны лишь человеку. Для этого она снабжается информационной базой; блоком, способным находить решения благодаря встроенной в него программе, и интерфейсом для взаимодействия с человеком.

Технологии искусственного интеллекта включают аппаратное и программное его обеспечение и, как уже было отмечено, позволяют имитировать творческую функцию человека. Это технологии обработки текстов на естественном языке, технологии распознавания и синтеза речи, компьютерного зрения, системы поддержки принятия решений и многие другие.

В правовой науке рассматриваемая проблематика представлена довольно многочисленными работами зарубежных и отечественных авторов. Среди зарубежных правоведов необходимо назвать Р. Сасскинда,[1] Э. Риссланд,[2] Н. Пети,[3] Й. Че,[4] Дж. Труби, Р. Брауна, Э. Дахдала.[5] В последнее время самые различные правовые вопросы, связанные развитием технологий искусственного интеллекта, стали также предметом исследований для таких правоведов как П.М. Морхат,[6] Е.П. Сесицкий,[7] И.А. Филиппова,[8] Ю.С. Харитонова, В.С. Савина,[9] В.А. Лаптев,[10] В.С. Зверева, А.В. Левашова, В.Е. Шестова[11] и многие другие.

Вместе с тем, основные проблемы, связанные с субъектностью и статусом искусственного интеллекта и влиянием его на систему правового регулирования общественных отношений, продолжают оставаться неразрешёнными.

Основная часть. Распространение технологий искусственного интеллекта затрагивает систему правового регулирования экономических отношений и частных отношений между физическими лицами. В производственную среду интегрируются промышленные роботы.

Потребители приобретают приложения, основанные на технологиях искусственного интеллекта. Вне всяких сомнений, такие технологии выступают объектами гражданского оборота.

Однако по мере усложнения системы появляются вопросы к её правовому статусу. Некоторые из систем искусственного интеллекта могут самосовершенствоваться и выходить за пределы замысла разработчика. Многие из них научились создавать новые объекты, подобных которым ранее не существовало и, соответственно, им присущи креативные способности, которые до последнего времени считались исключительным свойством человеческой личности.

По потенциальной мощности выделяют следующие виды искусственного интеллекта:
– слабый (узкий) искусственный интеллект, который в состоянии решить конкретную задачу или небольшой круг задач;
– сильный искусственный интеллект, по степени универсальности приближающийся к человеческому и способный решать широкий круг задач;
– сверхинтеллект, превосходящий уровень отдельного человека или, по ряду параметров, даже всего человечества.

По восприятию информации кибернетика делит системы искусственного интеллекта на:
– реагирующие, т.е. способные воспринимать окружающую обстановку и давать ответную реакцию;
– способные корректировать свое поведение с учетом предыдущего опыта;
– разумные, т.е. способные распознавать суждения и эмоции;
– системы искусственного интеллекта с самосознанием, способные формировать представление о себе и не уступающие человеку по мыслительным способностям.

В настоящее время созданы и применяются только реагирующие системы искусственного интеллекта и способные корректироваться с учётом опыта (самообучающиеся). Действительно сильный искусственный интеллект пока не создан.

Имеющиеся системы искусственного интеллекта в состоянии, к примеру, анализировать данные и выбирать оптимальные в сложившихся обстоятельствах варианты решений. Однако такой искусственный интеллект не обладает сознанием и функционирует только в заданном диапазоне. Тем не менее, он способен выполнять задачи намного результативнее и быстрее, чем человек.

Реагирующая система как низший тип искусственного интеллекта воспринимает обстановку и реагирует на неё, не выходя за рамки ситуации. Она не формирует память и не опирается на прошлый опыт в принятии решения. Примером подобного искусственного интеллекта является программа для игры в шахматы, например, Deep Blue, который в конце XX в. обыграл чемпиона мира Гарри Каспарова. Структурно Deep Blue состоял из программной части, ведущей расчет на первые несколько шахматных ходов, и аппаратной части – специализированных микропроцессоров, ускоряющих и углубляющих поиск имеющейся в системе информации. Программа искала решения по «дереву» шахматных ходов, то есть выбирала лучший вариант, исходя из заложенной в неё информации на основе базы данных игр гроссмейстеров. Она не могла оценивать возможные будущие ходы.

Искусственный интеллект с памятью в состоянии уже учитывать накопленную информацию – полученный опыт – и дополнять этим опытом запрограммированное ранее видение мира. Такая система корректирует свое поведение на будущее с учетом опыта – информации, изначально не заложенной в ее программу. Примером такой системы является беспилотный автомобиль. Тем не менее, это все еще слабый искусственный интеллект.

Сильный искусственный интеллект, который ещё только предстоит создать, должен обладать мыслительными способностями, сопоставимыми с человеком. Человеческий интеллект способен мыслить абстрактно, продумывать стратегию, выдвигать творческие идеи. Эти процессы пока сложно понять и воспроизвести искусственно.

Что касается сверхинтеллекта, то, как предполагается, он будет превосходить человеческий во всех аспектах. Однако его создание несёт определенную угрозу для человечества, поскольку его возможности превосходят возможности человечества. Однако пока это дело будущего.

Что касается формы, оболочки, в которую помещён искусственный интеллект, то говорят о двух основных её разновидностях: виртуальная система и киберфизическая система.

Виртуальные системы используются в программном обеспечении компьютеров. Это такие компьютерные программы как голосовые помощники, программы для анализа изображений, поисковые системы, системы распознавания речи и т.д.

Под киберфизической понимается система, состоящая из природных объектов, искусственных подсистем и управляющих устройств, позволяющих представить всё это как единое целое. Киберфизическими системами являются, в том числе, роботы и киборги.

Как виртуальные, так и киберфизические системы способны выполнять задачи в изменяющихся обстоятельствах и без контроля со стороны человека. Они могут обучаться, совершенствуя свои параметры. Окружающую действительность они воспринимают через датчики: камеры, микрофоны, термометры, датчики давления и т.д. Система собирает и анализирует поступающую информацию, обрабатывает ее, выбирает вариант решения и производит действия, которые необходимо выполнить для достижения определенной цели.

Робот – это киберфизическая система, машина, которая способна справляться с динамикой, неопределенностью и сложностью физического мира. Помимо технологий искусственного интеллекта при разработке и функционировании роботов используются также технологии машиностроения. В настоящее время созданы и применяются промышленные, сервисные и исследовательские роботы.

Деление на виртуальные и киберфизические системы является условным, поскольку программы не могут функционировать без оборудования, а роботы – без программного обеспечения. Поэтому системы искусственного интеллекта называются также программно-аппаратными комплексами.

В настоящее время в цивилистической доктрине обсуждается ряд основополагающих проблем, связанных с гражданско-правовым статусом технологий искусственного интеллекта, в том числе:
– вопрос о правосубъектности системы искусственного интеллекта в гражданском праве;
– ответственность за вред, причиненный искусственным интеллектом или при участии систем искусственного интеллекта;
– исключительные права на произведения, созданные с участием искусственного интеллекта;
– процессуальные проблемы, связанные с использованием технологий искусственного интеллекта в ходе судебного разбирательства по гражданским делам.

Вопрос о правосубъектности искусственного интеллекта обсуждается уже десятки лет. В настоящее время фактически не отрицается тезис о том, что системы искусственного интеллекта, по крайней мере, некоторые из них, должны иметь определённый правовой статус в зависимости от функционала, особенностей воплощения, степени автономности и др.[12]

В гражданском праве, как и в других отраслях, правосубъектностью обладают не только физические лица – люди. Юридические лица, являясь «правовой фикцией» личности и самостоятельной воли, тем не менее, имеют гражданские права и обязанности, несут ответственность, совершают юридические акты. С этой точки зрения аргументы о том, что только люди могут иметь фундаментальные права, не являются убедительными.

В качестве признаков субъектности, которой якобы не обладают системы искусственного интеллекта, называются также душа, сознание, чувства, интересы. Л. Соулум, оценивая данную аргументацию, указывал на сомнительность теологической трактовки души и акцентировал наличие публичных интересов и мотивов; что касается недостатка сознания у искусственного интеллекта, то данный аргумент, по мнению Л. Соулума, очень трудно оценить, поскольку мы не обладаем должным пониманием того, чем на самом деле является сознание. Если сознание может быть продуктом нейронов, то почему оно не может быть продуктом транзисторов?[13] Аналогичным образом Л. Соулум приводит контраргументы и в отношении таких позиций как чувства, интересы, воля, а также в отношении того, что искусственный интеллект не может быть чем-то большим, чем собственность людей на том основании, что он является антропогенным продуктом.[14]

В 2017 году Европарламент одобрил Резолюцию относительно норм гражданского права о робототехнике, в которой предложено признать специальный правовой статус «электронного лица» или «электронной личности» для сложных роботов, принимающих самостоятельные решения.[15] Резолюция была принята в связи с докладом, посвященным европейским нормам гражданского права о робототехнике Комитета по правовым вопросам Европарламента. Авторы доклада указали на риск дегуманизации, связанный с распространением «умных» роботов, и выступили против признания за роботами статуса субъекта права, мотивируя это тем, что нельзя допустить уравнивания естественного и искусственного интеллектов, то есть человека и машины. Европейский парламент, как можно видеть, не вполне согласился с данными тезисами. Однако Резолюция на данный момент в законодательстве Европейского Союза пока не реализована.

Один из сторонников признания искусственного интеллекта субъектом гражданского права профессор Оксфордского университета Х. Айденмюллер полагает, что «умные» роботы следующего поколения должны получить правосубъектность, в том числе, право на приобретение имущества и владение им, право на заключение договоров и т.д.[16] Однако данная точка зрения не является общепризнанной, в гораздо большей степени исследователи разделяют конструкцию специального электронного лица как нового вида субъектов гражданского права наподобие конструкции юридического лица.

Изначально вопрос о признании искусственного интеллекта субъектом права был поднят в связи с проблемой ответственности за причиненный искусственным интеллектом ущерб. Ситуации причинения роботом вреда человеку довольно часто встречаются на практике, и количество их, несомненно, в дальнейшем будет только расти. В связи с этим в гражданском праве возникает вопрос: кто должен нести ответственность за такой вред – изобретатель, разработчик программного продукта, производитель, владелец, пользователь или сама система искусственного интеллекта?

Первым возможным вариантом ответа на данный вопрос является возложение ответственности на владельца системы искусственного интеллекта.

Второй вариант может выглядеть как частичное освобождение от ответственности посредством введения страховых выплат, когда пострадавший получает компенсацию из страхового фонда. Такой вариант позволяет реализовать ответственность, в том числе, без вины владельца робота, который должен быть обязан в любом случае вносить средства в страховой фонд.

В качестве третьего варианта может быть предложено освобождение кого бы то ни было от ответственности с признанием действий, например, автономных роботов обстоятельствами непреодолимой силы.

Четвертый вариант предполагает, что в случаях, когда ущерб причинен вследствие дефекта конструкции системы, ответственность лежит на производителе, а если вред был причинён вследствие сбоя в программном обеспечении системы, – то на разработчике. Если система является самообучающейся, то ответственность в таком случае должен нести тот, кто внес наибольший вклад в ее обучение.

Пятый вариант предполагает ответственность самой системы искусственного интеллекта, однако он подразумевает наделение его самостоятельной правосубъектностью, например, в качестве «электронного лица», как предлагает упомянутая выше Резолюция Европарламента 2017 г. Вместе с тем, ряд правоведов не ожидает признания искусственного интеллекта субъектом гражданского права в обозримой перспективе. Другие исследователи отмечают, что вопрос в любом случае интересен с теоретической точки зрения на будущее.

Таким образом, с усложнением искусственного интеллекта всё труднее становится контроль за результатами его деятельности. Поведение самообучающейся системы может быть непредсказуемым. Поэтому необходимо анализировать все названные выше модели гражданско-правового регулирования рассматриваемых технологий.

В настоящее время, очевидно, система искусственного интеллекта рассматривается как объект гражданских прав, то есть имущество, принадлежащее владельцу. Вместе с тем системы искусственного интеллекта могут рассматриваться как особый вид имущества, которое может вести себя автономно, подобно животным. В этом случае отвечать за искусственный интеллект все равно должен владелец, однако определённую специфику приобретает трактовка вины владельца.

Если система искусственного интеллекта рассматривается как самостоятельный субъект права – «электронное лицо», то проблемой остаётся то обстоятельство, что действия юридических лиц исходят из действий конкретного индивида или группы людей, а действия искусственного интеллекта могут быть самостоятельными. Поэтому цивилисты не исключают, что практические потребности будут подталкивать процесс юридического признания субъектности высокоразвитой робототехники с вытекающими отсюда последствиями для института ответственности за вред, причинённый системами искусственного интеллекта.

Если вопрос о признании роботов субъектами гражданского права многие авторы считают преждевременным, то необходимость урегулирования исключительных прав на созданные искусственным интеллектом произведения признаётся практически всеми исследователями, что объясняется проблемами коммерциализации результатов, созданных такими системами. В силу способности к самообучению искусственный интеллект в настоящее время может генерировать новые объекты, в отношении которых ставится вопрос о правовой охране произведений литературы, искусства и науки.

В настоящее время нормы права интеллектуальной собственности охраняют результаты творческой деятельности только человека. Однако существующие методы работы с базами данных и технологии машинного обучения позволяют создавать программы, которые в процессе самообучения становятся независимыми от их создателя – человека. Разница между произведениями, созданными искусственным интеллектом и человеком, в настоящее время состоит лишь в том, что закон признаёт правообладателем исключительно человека, а результаты, полученные системой искусственного интеллекта самостоятельно, объектами интеллектуальной собственности не считаются. Вместе с тем, закон не отвергает предоставления исключительных прав в ситуациях, когда объекты создаются по заданию пользователя, а искусственный интеллект выступает лишь инструментом, или когда человек и искусственный интеллект вносят совместный вклад в создание объекта. Как можно видеть, грань здесь довольно тонкая: какой именно вклад в создание произведения должен внести человек как биологическое существо для того, чтобы совместный результат был закреплён за ним как за автором? Использование технических средств при создании объектов авторского права давно не является препятствием для правовой защиты: фотография, кинематограф, телевидение, звукозапись, телевещание и т.д. Степень творческого участия человека при этом может быть минимальной, например, как в случае с документальным кинематографом или в получившем широкую известность казусе с коммерческим использованием фотографий хохлатого павиана, которые сделала сама обезьяна, играя с принадлежащим британскому фотографу Дэвиду Слэйтеру фотоаппаратом.
Участие человека может быть вообще сведено к нулю, когда произведение полностью создается искусственным интеллектом. Невозможно игнорировать вопросы о том, кого надлежит считать автором такого произведения, кому принадлежит право на результаты работы программы или на часть программного кода, написанного самой программой в рамках процесса самообучения и т.д. Результаты деятельности систем искусственного интеллекта коммерциализируются и бывают довольно прибыльны: так, например, «Портрет Эдмонда Белами», созданный с применением технологии искусственного интеллекта, был продан в октябре 2018 года на аукционе Christie's почти за полмиллиона долларов.

Согласно законодательству Республики Беларусь, авторское право распространяется на произведения науки, литературы и искусства, являющиеся результатом творческой деятельности, независимо от назначения и достоинства произведений, а также способа их выражения (ч. 1 ст. 6 Закона Республики Беларусь 17 мая 2011 г. № 262-З Об авторском праве и смежных правах). Автором считается физическое лицо, творческим трудом которого создано произведение (ст. 4). Таким образом, правовая защита произведения литературы, искусства или науки связывается в Законе с его творческим происхождением, с проявлением особой, творческой, функции человеческого мозга в процессе создания произведения.

Понятие и признаки творчества, творческого вклада в Законе не определяются. Как показывает практика, результаты действия систем искусственного интеллекта вполне могут подпадать под внешние признаки охраняемых объектов авторского права. Например, музыкальные произведения могут создаваться с использованием рандомизаторов – технологических посредников, которые обращаются к базам данных и обладают огромным объёмом вычислительной мощности, что позволяет создавать принципиально новые музыкальные произведения. Вместо творческих усилий, которые прилагаются в процессе создания новых музыкальных произведений, сопоставимы по качеству результаты могут быть автоматически получены из совокупности обучающих примеров в исходной базе данных. Музыкальные композиции могут быть извлечены и закодированы в статистической модели без какого-либо участия человека или с минимальным его участием и использованы для создания новых оригинальных композиций, от полифонии до джазовых импровизаций. Появление таких креативных инструментов и исчезающее присутствие человека в музыкальном творческом процессе поднимает ряд фундаментальных вопросов с точки зрения защиты авторских прав.[17]

Законодательство и правоприменительная практика в большинстве стран мира в настоящее время исходят из того, что результаты работы искусственного интеллекта не являются охраноспособными, поскольку, по мнению законодателей, их нельзя признать в полной мере новыми: с точки зрения идеи и формы это известные уже произведения, только несколько усложнённые и более объёмные. Машина лишена воображения, и поэтому она лишь воспроизводит то, что заложено в неё человеком. На данный момент система искусственного интеллекта способна лишь на компиляцию ранее известной информации.

Как отмечают Ю.С. Харитонова и В.С. Савина, подобной позиции придерживаются юристы во многих странах. Бюро по авторским правам США регистрирует оригинальные авторские произведения при условии, что такие произведения были созданы человеком. Такую же позицию занимают суды. В решении по делу Feist Publications v Rural Telephone Service Company, Inc. 499 US 340 (1991) сформулировано, что закон об авторском праве защищает только «плоды интеллектуального труда», которые «основаны на творческих способностях ума». Аналогичное решение было принято в Австралии (Acohs Pty Ltd v. Ucorp Pty Ltd), когда суд объявил, что произведение, созданное с помощью компьютера, не может быть защищено авторским правом, поскольку оно не было создано человеком. Суд Европейского Союза также неоднократно заявлял (в частности, в решении Infopaq (C-5/08 Infopaq International A/S vs Danske Dagbaldes Forening), что авторское право распространяется только на оригинальные произведения и эта оригинальность должна отражать «собственное интеллектуальное творчество автора».[18]

Вместе с тем, в некоторых странах англосаксонской правовой семьи допускается охрана объектов, не содержащих творческую составляющую. Согласно положениям раздела 9 (3) Закона Великобритании об авторском праве, дизайнах и патентах 1988 г., в случае литературного, драматического, музыкального или художественного произведения, созданного с помощью компьютера, автором считается человек, с помощью которого совершены действия, необходимые для создания произведения. Ст. 178 указанного Закона определяет созданное компьютером произведение как произведение, которое генерируется компьютером при обстоятельствах, при которых автор произведения не является человеком.[19] Смысл этих законодательных положений в том, чтобы признать охраноспособным результат работы, посредством которой создаётся способная генерировать новые произведения компьютерная программа.

Однако судебная практика по таким делам не единообразна, в каждом деле суд решает вопрос индивидуально. Общая тенденция состоит в том, что всё чаще британские американские и европейские суды признают за физическими лицами права на некоторые участвующие в гражданском обороте объекты, в создании которых участвуют системы искусственного интеллекта, несмотря на отсутствие в них такого признака как творческое происхождение.

Одним из возможных вариантов решения проблемы может быть признание за произведениями, созданными с применением технологий искусственного интеллекта, статуса объектов смежных прав, наподобие нетворческих фотографий, каталогов, нетворческих баз данных и т.п. Для Республики Беларусь этот путь пока видится неприемлемым, поскольку смежные права в нашей стране распространяются на данный момент только на исполнения, фонограммы, передачи организаций эфирного или кабельного вещания (ст. 22 Закона об авторском праве и смежных правах 2011 г.). Другой возможный путь – это предоставление таким объектам режима sui generis, если они обладают своеобразной формой и этого требует коммерческий оборот. Однако над концепцией такого режима необходимо работать, пока что проблема не решена даже в масштабе мировых юридических наук.

Вопрос о признании за результатом, созданным путём использования технологии искусственного интеллекта, исключительных прав возникает также в связи с патентным правом. В 2019 г. в США были поданы международные заявки на изобретения, созданные искусственным интеллектом: новый тип контейнера для напитка на основе фрактальной геометрии и сигнальную лампу для привлечения внимания в спасательных операциях. В заявках в качестве изобретателя был указан искусственный интеллект, а владелец данной системы искусственного интеллекта был указан как заявитель патента и предполагаемый патентообладатель.[20] Европейское патентное ведомство указанные заявки отклонило. По мнению специалистов, не вполне уместно предоставлять исключительные права на изобретение, полученное с помощью технологии искусственного интеллекта, в тех случаях, когда деятельность человека не является значительным вкладом в полученный результат.

Вместе с тем очевидно, что перед законодателем встает вопрос обеспечения интересов разработчиков, бизнеса, инвесторов, а также государства в процессе создания и введения в коммерческий оборот объектов, создаваемых с помощью технологий искусственного интеллекта. С одной стороны, правовые нормы должны быть адекватны потребностям разработчиков, иначе процесс создания такого рода инноваций может в тормозиться: в условиях обобществления результатов экономической деятельности развитие замедляется или прекращается. С другой стороны, предоставление исключительных прав в таких случаях не вполне справедливо с позиций потребителей, поскольку неясны основания предоставления монополии на продукт, не созданный творческим трудом патентообладателя.

Таким образом, вариантами решения проблемы охраны изобретений, созданных системами искусственного интеллекта, являются а) признание их неохраноспособными, что может тормозить развитие инноваций вследствие неполучения экономической выгоды разработчиками; б) совместное авторство разработчика программы и пользователя, что подрывает концепцию авторства, поскольку продукт (изобретение) не охватывался замыслом программиста и лишь частично зависел от замысла пользователя; в) предоставление исключительных прав на изобретение владельцу системы без признания авторства за кем бы то ни было, однако это нарушает права разработчика системы искусственного интеллекта, заинтересованного в рекламе и распространении своего продукта; г) признание авторства искусственного интеллекта, однако это означает его самостоятельную субъектность со всеми вытекающими отсюда и изложенными выше проблемами.

Из всех приведенных вариантов меньшим злом видится четвёртый, поскольку он не предполагает присвоения человеком результатов чужого труда и не подрывает принципиальные основы института авторства. Третий вариант не учитывает интересов разработчика системы, который, как правило, вкладывает свой труд (обновление, адаптация, коррекция) на всех этапах функционирования системы и должен быть заинтересован в конечном результате. Второй вариант означал бы уравнивание прав реального изобретателя – человека – и владельца системы, что явно несправедливо по отношению к изобретателю-человеку. Первый вариант означает построение экономических отношений на началах безвозмездности, что может затормозить развитие инноваций.

Всё изложенное помогает понять логику авторов Резолюции Европейского парламента, предложивших конструкцию «электронного лица» наподобие юридического. Данное решение проблемы представляется на текущий момент оптимальным.

Заметной тенденцией использования технологий искусственного интеллекта в мире является также его применение при разрешении гражданских дел в судах. Такое применение ставит ряд правовых и этических вопросов, которые требуют разрешения уже сейчас, пока явление не стало повсеместным и всеобъемлющим. Правовое регулирование гражданско-процессуальных отношений в связи с применением искусственного интеллекта в правосудии должно, прежде всего, обеспечивать защиту прав и свобод человека, что означает, в том числе, соблюдение определенных этических принципов.

Учитывая важность и актуальность назревающих проблем, во многих государствах обсуждаются разные варианты их решения. Так, во Франции в настоящее время разрабатывается Этическая хартия об искусственном интеллекте, которую предлагается даже включить в преамбулу Конституции и таким образом придать ей высшую юридическую силу.[21] Данный документ призван обеспечить приоритет прав человека над искусственным интеллектом как системообразующий принцип, на котором должно строиться правовое регулирование всех сфер, затронутых развитием цифровых технологий. Процесс разработки основ правового регулирования идет и в других государствах, включая соседнюю Российскую Федерацию.[22]

Современные цифровые технологии в значительной мере видоизменили процесс судебного разрешения гражданских дел. Цифровая трансформация является дополнительным средством обеспечения доступа к правосудию, включая передачу дела в суд, ознакомление с процессом рассмотрения дела и судебным решением, а также возможность широкого ознакомления общественности с судебной практикой.

В последнем случае системы искусственного интеллекта выступают инструментом поддержки принятия судебного решения, поскольку облегчают поиск правовой информации и подбора релевантных нормативных актов и судебных постановлений по аналогичным делам.
Вместе с тем, при всём этом должно быть обеспечено уважение прав граждан в отношении приватности гражданского процесса. В частности, любые сведения, которые могут позволить идентифицировать участников процесса, должны быть удалены из публичного доступа. Кроме того, процессуальное регулирование должно обеспечивать соблюдение принципов недискриминации, независимости суда, прозрачности, контроля. Специфическими для использования в правосудии технологий искусственного интеллекта являются требования обеспечения безопасности хостинга и защиты персональных данных, для чего должны быть введены соответствующие технические стандарты и ответственность.

Обеспечение качества гражданского правосудия в условиях использования технологий искусственного интеллекта немыслимо без широкомасштабного общественного обсуждения соответствующих правовых и этических проблем. Как отмечают исследователи, расширение доступа к правосудию путём снижения стоимости судебного разбирательства может показаться благоприятным результатом, но только если при этом не снижается качество отправления правосудия.[23]

Одним из перспективных, но проблемных с этико-юридических позиций направлений использования в правосудии искусственного интеллекта является так называемое прогностическое, или предиктивное, правосудие.

Взрывное развитие уровня обработки естественного языка и технологий машинного обучения привело к появлению инструментов для построения прогностических моделей, способных раскрывать закономерности вынесения судебных решений по определённым категориям дел. Такие технологии позволяют прогнозировать, какое, т.е. в пользу какой из сторон, будет вынесено решение с наибольшей вероятностью. Прогнозная (предиктивная) аналитика судебных решений представляет собой извлечение информации из соответствующих баз данных для определения устойчивых тенденций и прогнозирования будущих результатов.

Необходимо отметить, что прогностическая аналитика развивается не только в сфере юстиции, но и в таких отраслях как банковские и финансовые услуги, страхование, фармацевтика, торговля, IT, государственное управление. Определяющей функцией предиктивной аналитики является разработка сценариев будущего на основе вероятностных допущений, что позволяет субъекту принятия решения лучше ориентироваться в этих сложных процессах. Идея «вложить» в память ЭВМ правовые нормы, судебные решения и доктрину, чтобы машина сгенерировала наилучшее решение, не нова. Еще в 1980-х годах ставились эксперименты по генерированию судебных решений на основе анализа машиной действующего законодательства, которые на тот момент не увенчались успехом: было признано, что вынесение судебного решения требует качеств и процессов, присущих исключительно человеку и человеческому сознанию.

Однако в настоящее время философский вопрос о том, можно ли доверить искусственному интеллекту такой социальный процесс как правовое регулирование, встаёт уже в новой коннотации с учётом возможностей, предоставляемых big data, машиночитаемым правом и другими высокими технологиями.

Ответ на этот вопрос в принципе должен быть отрицательным: система общественных отношений, в которой судьбу человека определяет машина, не является приемлемой по определению. Однако прогресс остановить невозможно. Появление технологий, облегчающих человеческий труд, необратимо, и такие технологии с практически стопроцентной вероятностью будут применены, в том числе, и в рассматриваемой сфере отправления правосудия. Как бы мы ни относились к идее компьютера в качестве судьи, реализация этой идеи как минимум в частичном выражении выглядит делом довольно близкого будущего.

Следовательно, задачей в настоящее время является установление таких ограничений и правил, которые позволяли бы сделать применение искусственного интеллекта в правосудии как минимум контролируемым, не допускали бы дегуманизации процесса отправления правосудия и позволяли бы вносить коррективы в судебную практику в случае и по мере ее отклонения от этических ориентиров.
Для этого уже сегодня необходимо обсуждать и принимать правовые решения как минимум по следующим этико-правовым проблемам.

Во-первых, требуется законодательное закрепление возможности (либо её отсутствия) применения в гражданском процессе систем искусственного интеллекта. Как уже отмечалось, запрет на такие технологии выглядит нереалистичным, они всё равно будут применяться по мере их разработки и предложения на рынке. Следовательно, нужно определить, какие именно технологии могут использоваться при разрешении гражданских дел, каковы требования к их разработчику и основные принципы, на которых должна строиться каждая используемая в судопроизводстве технология. Все участники гражданского судопроизводства, включая сторон, должны иметь возможность знать об использовании технологий искусственного интеллекта в разрешении данного юридического дела, о характере технологии, разработчике, базе данных, на основании которой работает технология, а также они должны иметь возможность видеть, какие именно результаты получены с применением технологии искусственного интеллекта, а какие – традиционным путём выявления фактических обстоятельств дела и применения норм права без участия компьютера.

Во-вторых, важно закрепить явным образом требование о том, что решение по делу принимается исключительно судьями как физическими лицами, что только суд несёт ответственность за содержание решения и ни при каких обстоятельствах принятие решения не может быть осуществлено системой искусственного интеллекта. Системы искусственного интеллекта не должны ни регулировать, ни ограничивать свободу суда в принятии решений. Если в процессе принятия решения использовались выводы, полученные с применением искусственного интеллекта, на это должно быть указано в мотивировочной части решения с описанием технологии и обоснованием необходимости её применения.

В-третьих, сами технологии должны быть основаны на релевантных базах данных. Требования к составу, структуре, систематизации баз, являющихся предметом анализа системы искусственного интеллекта, должны быть определёнными, прозрачными, а исходные материалы должны быть в свободном доступе. Недопустимо использовать для целей правосудия закрытые данные, недоступные для широкой публики и специалистов в области права. В противном случае вряд ли можно говорить о соблюдении фундаментальных принципов правосудия – гласность, публичность, защита прав и законных интересов всех участников гражданского судопроизводства. Технологии обработки данных и само обучающее программное обеспечение должно использоваться лишь при условии того, что можно проверить алгоритм принятия решения системой и сравнить вывод с личной позицией судьи.

Наконец, необходимо предусмотреть возможность и процедуру оспаривания выводов, полученных с применением системы искусственного интеллекта. Такие выводы не могут быть непререкаемыми, более того, должна быть возможность получить и оценить альтернативный результат. Для этого должна быть обеспечена транспарентность алгоритмов, методов, «обучающего программного обеспечения» системы искусственного интеллекта, во всяком случае, постольку, поскольку это позволяет оценить достоверность полученных выводов. Такая возможность должна быть учтена в процессуальном законодательстве с тем, чтобы использование результатов, полученных с помощью системы искусственного интеллекта, обеспечивалось процедурными правилами, включая обсуждение, оспаривание, обжалование, отмену и т.д.

Во французской доктрине был поставлен в своё время вопрос об использовании специализированными компаниями систем искусственного интеллекта для прогнозирования «поведения» конкретного судьи исходя из анализа выносимых им решений. Итогом дискуссии стали положения Закона о реформе правосудия от 23 марта 2019 г., согласно которым никто, особенно технологические компании, специализирующиеся на прогнозировании судебных процессов и аналитике, не может раскрывать модель поведения судей в отношении их судебных решений: «Идентификационные данные мировых судей (магистратов) и представителей судебной власти не могут быть использованы повторно с целью или намерением оценки, анализа, сравнения или прогнозирования их существующей или потенциальной профессиональной практики». Как пишет А. Дюфло, данная законодательная норма запретила анализ различных поведенческих моделей судей: утром или вечером они выносят более благоприятные решения, какой тип доказательств является более убедительным для того или иного судьи и т.п.[24]

Заключение. Таким образом, развитие науки и техники в сфере создания и совершенствования систем искусственного интеллекта обусловливает необходимость в постановке и разрешении теоретико-прикладных проблем, затрагивающих фактически все без исключения отрасли правоведения. В рамках юридических наук гражданско-правового цикла возникает целый ряд фундаментальных проблем, которые вряд ли могут быть решены в ближайшей перспективе, несмотря на то, что их решение в настоящее время находится в фокусе мировой цивилистики. В числе таких проблем можно выделить, в частности:
– проблему самостоятельной гражданской правосубъектности систем искусственного интеллекта;
– проблему гражданско-правовой ответственность за вред, причиненный искусственным интеллектом или при участии системы искусственного интеллекта;
– проблему охраны авторских и патентных прав на произведения, созданные с участием искусственного интеллекта;
– проблему правового регулирования использования различных технологий искусственного интеллекта в ходе рассмотрения гражданских дел в судах.

Все названные проблемы взаимосвязаны и обусловлены специфическими свойствами, присущими искусственному интеллекту как достижению научно-технического прогресса. Искусственный интеллект создан для того, чтобы заменить целиком либо отчасти человеческий труд в определённых областях, наподобие того, как это происходило в XIX–ХХ веках с заменой ручного труда машинами. Этот процесс не может быть остановлен, и в силу этого он требует адекватного правового регулирования, в идеале – с опережением, то есть даже в отношении тех вопросов, которые ещё не возникли и лишь потенциально могут возникнуть в будущем. Однако уже сегодня многие проблемы, как было показано выше, со всей очевидностью стоят перед законодателем и правоприменительной практикой.

Переложив процесс принятия решений (например, в функционировании беспилотных транспортных средств), творческий процесс (например, в создании музыкальных или художественных произведений), а также процесс обработки информации (например, при разрешении юридических дел в судах), на искусственный интеллект, человечество столкнулось с проблемой ответственности за действия, которые предпринимаются самостоятельно или при участии системы искусственного интеллекта. Ранее такие действия были прерогативой человека, правосубъектность которого является фундаментом системы правового регулирования. Субъектность технических средств и признание за ними прав, обязанностей, ответственности выпадает из всей парадигмы правового регулирования общественных отношений, ставит под сомнение основные постулаты права и потенциально может вести к дегуманизации управленческих решений. Вместе с тем, непризнание за техническими средствами правосубъектности, привычное и логичное для сложившихся правовых отношений, очевидно, может вести к неблагоприятным правовым последствиям: либо человек должен разделить субъектность и ответственность с системой искусственного интеллекта, либо взять их на себя. Оба варианта небезупречны. В случае совместной субъектности человека и машины возникает вопрос о распределении между ними правового статуса, а также вопрос определения того конкретного человека или ряда людей, которые действительно ответственны за принятие того или иного решения. Это может быть разработчик программы или несколько разработчиков, владельцы или какие-то другие люди, каждый из которых может быть минимально причастен к позитивным или негативным результатам функционирования системы. В этом случае неизбежны споры, основные принципы разрешения которых тоже должны быть определены законодательно. Исключение субъектности машины ведет к неоправданному вменению человеку ответственности за действия, выходящие за пределы его контроля, что не может расцениваться как справедливое решение проблемы. Предлагаемая европейскими парламентариями конструкция «электронного лица» с присвоением ему как позитивных, так и негативных результатов его деятельности, пока что видится среди приведенных вариантов наиболее приемлемой. Однако она может быть принята лишь при условии, что общественное правосознание будет готово к такому развитию событий, чего пока что, очевидно, не произошло.

Список цитированных источников:

1. Дюфло, А. Искусственный интеллект во французском праве / А. Дюфло // Вестник Университета имени О.Е. Кутафина. – 2021. – № 1. – С. 49–57.
2. Зверева, В. С. Основы регулирования искусственного интеллекта в России и перспективы его развития / В.С. Зверева, А.В. Левашова, В.Е. Шестова // Евразийский юридический журнал. – 2021. –№ 8 (159). – С. 69–78.
3. Лаптев, В.А. Понятие искусственного интеллекта и юридическая ответственность за его работу / В.А. Лаптев // Право. Журнал Высшей школы экономики. – 2019. – № 2. – С. 53–59. Режим доступа: https://law-journal.hse.ru/data/2019/06/26/1490724087/%D0%BB%D0%B0%D0%BF%D1%82%D0%B5%D0%B2.pdf. – Дата доступа: 10.10.2021.
4. Морхат П.М. Правосубъектность искусственного интеллекта в сфере права интеллектуальной собственности: гражданско-правовые проблемы: диссертация на соискание уч. степени докт. юрид. наук. / П.М. Морхат. – М., 2018. – Режим доступа: http://dis.rgiis.ru/files/dis/d40100102/Morhat/morhat_p_m_dissertaciya.pdf. – Дата доступа: 10.10.2021.
5. Понкин, И.В. Искусственный интеллект с точки зрения права / И.В. Понкин, А.И. Редькина // Вестник РУДН. Серия: Юридическиенауки. – 2018. – Т. 22. – № 1. – С. 91–109.
6. Резолюция Европарламента от 16 февраля 2017 года 2015/2013(INL) P8_TA-PROV(2017)0051. – Режим доступа: https://robopravo.ru/riezoliutsiia_ies. – Дата доступа: 10.10.2021.
7. Сесицкий Е.П. Проблемы правовой охраны результатов, создаваемых системами искусственного интеллекта: диссертация на соискание уч. степени канд. юрид. наук / Е.П. Сесицкий. – М., 2018. – Режим доступа: http://dis.rgiis.ru/files/dis/d40100102/Sesitskiy/sesickij_e_p_-_dissertaciya.pdf. – Дата доступа: 10.10.2021.
8. Филипова И.А. Искусственный интеллект, трудовые отношения и право: влияние и взаимодействие / И.А. Филиппова // Государство и право. – 2019. – № 11. – С. 37–45. – Режим доступа: https://elibrary.ru/download/elibrary_41506555_86110207.pdf. – Дата доступа: 10.10.2021.
9. Филипова И.А. Трансформация правового регулирования труда в цифровом обществе / И.А. Филиппова // Искусственный интеллект и трудовое право: научное издание. Н.Новгород: ННГУ, 2019. Режим доступа: https://elibrary.ru/item.asp?id=41140316. – Дата доступа: 10.10.2021.
10. Харитонова, Ю.С. Технология искусственного интеллекта и право: вызовы современности / Ю.С. Харитонова, В.С. Савина // Вестник Пермского университета. Юридические науки. – 2020. – Выпуск 49. – С. 524–549.
11. Chae, Y. U.S. AI Regulation Guide: Legislative Overview and Practical Considerations. The Journal of Robotics, Artificial Intelligence & Law. 2020. Vol. 3. No 1. – Р. 17–40. – Mode of access: https://www.bakermckenzie.com/-/media/files/people/chae-yoon/rail-us-ai-regulation-guide.pdf . – Date of access: 10.10.2021.
12. Deltorn, J.-M. Authorship in the Age of Machine Learning and Artificial Intelligence / J.-M. Deltorn, F. Macrez // The Oxford Handbook of Music Law and Policy; ed. by S.M. O'Connor. – Oxford University Press, 2019 (Forthcoming). – Centre for International Intellectual Property Studies (CEIPI) Research Paper No. 10. – 2018.
13. Eidenmueller, H. The rise of robots and the law of humans / Н. Eidenmueller // Oxford. – 2017. – № 27. – Mode of access: http://dx.doi.org/10.2139/ssrn.2941001. – Date of access: 10.10.2021.
14. Petit, N. Law and Regulation of Artificial Intelligence and Robots – Conceptual Framework and Normative Implications / N. Petit. –  Mode of access: http://dx.doi.org/10.2139/ssrn.2931339. – Date of access: 10.10.2021.
15. Rissland, E.L. Artificial Intelligence and Law: Stepping Stones to a Model of Legal Reasoning / E.L. Rissland // Yale Law Journal. – 1990. – Vol. 99. – Mode of access: https://digitalcommons.law.yale.edu/cgi/viewcontent.cgi?article=7293&context=ylj. – Date of access: 10.10.2021.
16. Solum, L. B. (1992) Legal Personhood for Artificial Intelligences / L. B. Solum // North Carolina Law Review. – Vol.70 (4). – P. 1231–1287.
17. Susskind, R.E. Expert systems in law: a jurisprudential approach to artificial intelligence and legal reasoning / R.E. Susskind // Modern Law Review. – 1986. – Vol. 49. – Iss. 2. – Mode of access: https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1468-2230.1986.tb01683.x. – Date of access: 10.10.2021.
18. The Copyright, Designsand Patent Act 1988 // Всемирная организация интеллектуальной собственности. WIPO Lex. – Режим доступа: https://wipolex.wipo.int/ru/text/580476 .– Дата доступа: 10.10.2021.
19. Truby, J., Brown R., Dahdal A. Banking on AI: mandating a proactive approach to AI regulation in the financial sector / J. Truby, R. Brown, A. Dahdal // Law and Financial Markets Review. – 2020. –Vol. 14. – Iss. 2. – Mode of access: https://www.tandfonline.com/doi/full/10.1080/17521440.2020.1760454. – Date of access: 10.10.2021.

[1] Susskind, R.E. Expert systems in law: a jurisprudential approach to artificial intelligence and legal reasoning / R.E. Susskind // Modern Law Review. – 1986. – Vol. 49. – Iss. 2. – Mode of access: https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1468-2230.1986.tb01683.x. – Date of access: 10.10.2021.
[2] Rissland, E.L. Artificial Intelligence and Law: Stepping Stones to a Model of Legal Reasoning / E.L. Rissland // Yale Law Journal. – 1990. – Vol. 99. – Mode of access: https://digitalcommons.law.yale.edu/cgi/viewcontent.cgi?article=7293&context=ylj. – Date of access: 10.10.2021.
[3] Petit, N. Law and Regulation of Artificial Intelligence and Robots – Conceptual Framework and Normative Implications / N. Petit. –  Mode of access: http://dx.doi.org/10.2139/ssrn.2931339. – Date of access: 10.10.2021.
[4] Chae, Y. U.S. AI Regulation Guide: Legislative Overview and Practical Considerations. The Journal of Robotics, Artificial Intelligence & Law. 2020. Vol. 3. No 1. – Р. 17–40. – Mode of access: https://www.bakermckenzie.com/-/media/files/people/chae-yoon/rail-us-ai-regulation-guide.pdf . – Date of access: 10.10.2021.
[5] Truby, J., Brown R., Dahdal A. Banking on AI: mandating a proactive approach to AI regulation in the financial sector / J. Truby, R. Brown, A. Dahdal // Law and Financial Markets Review. – 2020. –Vol. 14. – Iss. 2. – Mode of access: https://www.tandfonline.com/doi/full/10.1080/17521440.2020.1760454. – Date of access: 10.10.2021.
[6] Морхат П.М. Правосубъектность искусственного интеллекта в сфере права интеллектуальной собственности: гражданско-правовые проблемы: диссертация на соискание уч. степени докт. юрид. наук. / П.М. Морхат. – М., 2018. – Режим доступа: http://dis.rgiis.ru/files/dis/d40100102/Morhat/morhat_p_m_dissertaciya.pdf. – Дата доступа: 10.10.2021.
[7] Сесицкий Е.П. Проблемы правовой охраны результатов, создаваемых системами искусственного интеллекта: диссертация на соискание уч. степени канд. юрид. наук / Е.П. Сесицкий. – М., 2018. – Режим доступа: http://dis.rgiis.ru/files/dis/d40100102/Sesitskiy/sesickij_e_p_-_dissertaciya.pdf. – Дата доступа: 10.10.2021.
[8] Филипова И.А. Искусственный интеллект, трудовые отношения и право: влияние и взаимодействие / И.А. Филиппова // Государство и право. – 2019. – № 11. – С. 37–45. – Режим доступа: https://elibrary.ru/download/elibrary_41506555_86110207.pdf. – Дата доступа: 10.10.2021; Филипова И.А. Трансформация правового регулирования труда в цифровом обществе / И.А. Филиппова // Искусственный интеллект и трудовое право: научное издание. Н.Новгород: ННГУ, 2019. Режим доступа: https://elibrary.ru/item.asp?id=41140316. – Дата доступа: 10.10.2021.
[9] Харитонова, Ю.С. Технология искусственного интеллекта и право: вызовы современности / Ю.С. Харитонова, В.С. Савина // Вестник Пермского университета. Юридические науки. – 2020. – Выпуск 49. – С. 524–549.
[10] Лаптев, В.А. Понятие искусственного интеллекта и юридическая ответственность за его работу / В.А. Лаптев // Право. Журнал Высшей школы экономики. – 2019. – № 2. – С. 53–59. Режим доступа: https://law-journal.hse.ru/data/2019/06/26/1490724087/%D0%BB%D0%B0%D0%BF%D1%82%D0%B5%D0%B2.pdf. – Дата доступа: 10.10.2021.
[11]Зверева, В. С. Основы регулирования искусственного интеллекта в России и перспективы его развития / В.С. Зверева, А.В. Левашова, В.Е. Шестова // Евразийский юридический журнал. – 2021. –№ 8 (159). – С. 69–78.
[12] Понкин, И.В. Искусственный интеллект с точки зрения права / И.В. Понкин, А.И. Редькина // Вестник РУДН. Серия: Юридическиенауки. – 2018. – Т. 22. – № 1. – С. 93.
[13] Solum, L. B. (1992) Legal Personhood for Artificial Intelligences / L. B. Solum // North Carolina Law Review. – Vol.70 (4). – P. 1262–1265.
[14] Там же, р. 1267–1279.
[15] Резолюция Европарламента от 16 февраля 2017 года 2015/2013(INL) P8_TA-PROV(2017)0051. – Режим доступа: https://robopravo.ru/riezoliutsiia_ies. – Дата доступа: 10.10.2021.
[16] Eidenmueller, H. The rise of robots and the law of humans / Н. Eidenmueller // Oxford. – 2017. – № 27. – Mode of access: http://dx.doi.org/10.2139/ssrn.2941001. – Date of access: 10.10.2021.
[17] Deltorn, J.-M. Authorship in the Age of Machine Learning and Artificial Intelligence / J.-M. Deltorn, F. Macrez // The Oxford Handbook of Music Law and Policy; ed. by S.M. O'Connor. – Oxford University Press, 2019 (Forthcoming). – Centre for International Intellectual Property Studies (CEIPI) Research Paper No. 10. – 2018.
[18] Харитонова, Ю.С. Технология искусственного интеллекта и право: вызовы современности / Ю.С. Харитонова, В.С. Савина // Вестник Пермского университета. Юридические науки. – 2020. – Выпуск 49. – С. 531.
[19] The Copyright, Designs and Patent Act 1988 // Всемирная организация интеллектуальной собственности. WIPO Lex. – Режим доступа: https://wipolex.wipo.int/ru/text/580476 .– Дата доступа: 10.10.2021.
[20] Харитонова, Ю.С. Технология искусственного интеллекта и право: вызовы современности / Ю.С. Харитонова, В.С. Савина // Вестник Пермского университета. Юридические науки. – 2020. – Выпуск 49. – С. 534.
[21] Дюфло, А. Искусственный интеллект во французском праве / А. Дюфло // Вестник Университета имени О.Е. Кутафина. – 2021. – № 1. – С. 49–57.
[22]Зверева, В. С. Основы регулирования искусственного интеллекта в России и перспективы его развития / В.С. Зверева, А.В. Левашова, В.Е. Шестова // Евразийский юридический журнал. – 2021. –№ 8 (159). – С. 69–78.
[23] Дюфло, А. Искусственный интеллект во французском праве / А. Дюфло // Вестник Университета имени О.Е. Кутафина. – 2021. – № 1. – С. 51.
[24] Там же, с. 53.