«Европейская этическая хартия об использовании искусственного интеллекта в судебных системах и окружающих их реалиях» (CEPEJ(2018)14)
Актуально на 07.11.2026.
Как цитировать: "Европейская этическая хартия об использовании искусственного интеллекта в судебных системах и окружающих их реалиях" (CEPEJ(2018)14). CEPEJ(2018)14). https://bukva.ai/docs/hartiya-cepej201814
(Вместе с «Углубленным исследованием вопроса...», <Видами использования>,«Глоссарием», «Контрольным перечнем вопросов...», «Пояснительной запиской»)
(Принята г. Страсбурге 03.12.2018 — 04.12.2018 на 31-м пленарном заседании Европейской комиссии по эффективности правосудия)
ЕВРОПЕЙСКАЯ КОМИССИЯ ПО ЭФФЕКТИВНОСТИ ПРАВОСУДИЯ
ЕВРОПЕЙСКАЯ ЭТИЧЕСКАЯ ХАРТИЯ
ОБ ИСПОЛЬЗОВАНИИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В СУДЕБНЫХ
СИСТЕМАХ И ОКРУЖАЮЩИХ ИХ РЕАЛИЯХ
CEPEJ(2018)14
<*> Для публикации использован перевод документа на русский язык, размещенный на интернет-сайте Совета Европы https://rm.coe.int/ru-ethical-charter-en-version-17-12-2018-mdl-06092019-2-/16809860f4, подготовленный Секретариатом Совета Европы при участии советника по правовым и судебным вопросам Посольства Франции в Российской Федерации Бенжамэна Данло, а также Кристины Дрожжа. Вместе с тем в связи с большим количеством неточностей в тексте при подготовке к публикации указанный перевод подвергся глубокой редакционной переработке и уточнениям, выполненным издательским домом «Развитие правовых систем».
Введение
Признавая растущее значение искусственного интеллекта (ИИ) <1> в современном обществе и ожидаемые преимущества начала его использования в полной мере для повышения и качества правосудия, ЕКЭП официально принимает пять нижеследующих основополагающих принципов, носящих название «Европейская этическая хартия по использованию ИИ в судебных системах и окружающих их реалиях».
<1> Определение искусственного интеллекта см. в Глоссарии, прилагаемом к настоящему документу.
| Данная Хартия предназначена для государственных и частных лиц, ответственных за разработку и внедрение инструментов и услуг, основанных на искусственном интеллекте и направленных на обработку судебных решений и данных (машинное обучение или любые другие методы, вытекающие из науки о данных). Это касается также государственных лиц, ответственных за законодательную или нормативную базу, разработку, контроль или использование таких инструментов и услуг. Использование подобных инструментов и услуг в судебных системах направлено на повышение эффективности и качества правосудия и должно поощряться. Вместе с тем оно должно осуществляться добросовестно, с учетом основных прав человека, изложенных в Европейской конвенции по правам человека и Конвенции о защите персональных данных, а также в соответствии с другими основополагающими принципами, изложенными ниже, которыми следует руководствоваться при разработке государственной политики в области правосудия в этой сфере. По мнению разработчиков систем обработки судебных решений с помощью ИИ, в гражданских, коммерческих и административных вопросах такая обработка способна повысить предсказуемость применения закона и способствовать последовательности принимаемых судебных решений при условии соблюдения изложенных ниже принципов. В уголовно-правовых вопросах их использование должно рассматриваться с самыми серьезными оговорками в целях предотвращения дискриминации на основе конфиденциальных данных в соответствии с гарантиями справедливого судебного разбирательства. Независимо от того, предназначена ли обработка данных для оказания помощи в предоставлении юридических консультаций, в разработке документов, в процессе принятия решений или же для консультирования пользователя, крайне важно, чтобы она осуществлялась с соблюдением принципов прозрачности, беспристрастности и достоверности и подтвержденным внешним и независимым экспертным заключением. |
|---|
Применение Хартии
Принципы Хартии должны постоянно применяться, контролироваться и оцениваться государственными и частными лицами в целях постоянного совершенствования их применения.
В этой связи желательно, чтобы обозначенные лица проводили регулярный контроль за ходом имплементации принципов Хартии, разъясняя при необходимости причины невозможности ее применения или частичного применения, с приложением плана действий по принятию необходимых мер.
Упомянутые в Хартии независимые органы власти могли бы периодически оценивать степень приверженности принципам Хартии всеми заинтересованными сторонами и предлагать усовершенствования для ее адаптации к изменяющимся технологиям и видам использования таких технологий.
Пять принципов Европейской этической хартии об использовании искусственного интеллекта в судебных системах и окружающих их реалиях
1. ПРИНЦИП УВАЖЕНИЯ ОСНОВОПОЛАГАЮЩИХ ПРАВ: обеспечить разработку и внедрение инструментов и услуг, основанных на искусственном интеллекте, соответствующих основным правам.
2. ПРИНЦИП НЕДИСКРИМИНАЦИИ: определенным образом препятствовать развитию или усилению любой дискриминации между отдельными лицами или группами лиц.
3. ПРИНЦИП КАЧЕСТВА И БЕЗОПАСНОСТИ: при обработке судебных решений и данных необходимо использовать сертифицированные источники и нематериальные данные с применением моделей, разработанных на междисциплинарной основе, в безопасной технологической среде.
4. ПРИНЦИП ПРОЗРАЧНОСТИ, БЕСПРИСТРАСТНОСТИ И ДОСТОВЕРНОСТИ: сделать методы обработки данных доступными и понятными, разрешить проведение внешнего аудита.
5. ПРИНЦИП КОНТРОЛЯ ПОЛЬЗОВАТЕЛЕМ: избегать предписывающего подхода и позволить пользователю выступать в роли информированного лица, ответственного за свой выбор.
1. ПРИНЦИП СОБЛЮДЕНИЯ ОСНОВОПОЛАГАЮЩИХ ПРАВ: обеспечить разработку и внедрение инструментов и услуг, основанных на искусственном интеллекте, соответствующих основным правам
Обработка судебных решений и данных должна преследовать четкие цели и полностью соответствовать основным правам, гарантированным Европейской конвенцией по правам человека (ЕКПЧ) и Конвенцией о защите персональных данных (Конвенция о защите частных лиц в отношении автоматизированной обработки данных личного характера, СЕД № 108 с поправками, внесенными протоколом СДСЕ № 223).
При использовании в целях разрешения спора или в качестве инструмента, помогающего в вынесении судебных решений или в предоставлении консультации участникам судебного процесса, технические средства, основанные на искусственном интеллекте, не должны препятствовать осуществлению права на доступ к правосудию и права на справедливое судебное разбирательство (равенство возможностей и соблюдение принципа состязательности).
Они также должны использоваться в полном соответствии с принципами верховенства права и независимости судей в процессе принятия решений.
Поэтому предпочтение следует отдавать так называемым подходам, основанным на «этике с момента их разработки» <2> или «на правах человека с момента их разработки». Они состоят во внедрении уже на фазе разработки и изучения правил, запрещающих прямое или косвенное нарушение базовых ценностей, защищаемых конвенциями.
<2> Этический выбор осуществляется изначально разработчиками программы и, следовательно, не оставляется на усмотрение пользователя.
2. ПРИНЦИП НЕДИСКРИМИНАЦИИ: определенным образом предупреждать развитие или усиление любой дискриминации между отдельными лицами или группами лиц
Учитывая возможность выявления существующих неравенств при применении данных методов обработки, выражающихся в группировании или классификации данных, касающихся отдельных лиц или групп лиц, государственные и частные задействованные лица должны удостовериться в том, что указанные методы не порождают и не усугубляют такую дискриминацию, равно как и не приводят к бесконтекстному анализу или использованию.
Особое внимание следует уделять как на этапе разработки, так и на этапе применения, в частности, когда обработка прямо или косвенно основана на «конфиденциальных» данных. Таковыми могут быть признаны предполагаемое расовое или этническое происхождение, социально-экономическое положение, политические взгляды, религиозные или философские убеждения, членство в профсоюзах, генетические данные, биометрические данные, данные о здоровье или данные о половой жизни или половой ориентации. С целью ограничить и по возможности нейтрализовать эти риски должны быть предусмотрены меры по корректировке, а также повышение осведомленности заинтересованных лиц при констатации подобных фактов дискриминации.
Что же касается борьбы с такой дискриминацией, следует поощрять использование машинного обучения и междисциплинарного научного анализа.
3. ПРИНЦИП КАЧЕСТВА И БЕЗОПАСНОСТИ: в том, что касается обработки судебных решений и данных, необходимо использовать сертифицированные источники и нематериальные данные с применением моделей, разработанных на междисциплинарной основе, в безопасной технологической среде
Разработчики моделей машинного обучения должны иметь возможность собрать широкий опыт соответствующих специалистов системы правосудия (судей, прокуроров, адвокатов и т.д.), а также исследователей/преподавателей в области права и социальных наук (например, экономистов, социологов и философов).
Формирование смешанных проектных групп в короткие циклы проектирования для создания функциональных моделей является одним из организационных методов, который позволяет максимально эффективно использовать этот мультидисциплинарный подход.
Проектные группы должны постоянно обмениваться информацией о существующих этических гарантиях и поддерживать обратную связь.
Данные, основанные на судебных решениях, которые вводятся в программное обеспечение, реализующее алгоритм машинного обучения, должны поступать из сертифицированных источников и не должны изменяться до момента начала их фактического использования механизмом обучения. Поэтому весь процесс должен быть отслеживаемым для обеспечения гарантии того, чтобы не произошло никаких корректировок, меняющих содержание или смысл обрабатываемого решения.
Созданные модели и алгоритмы также должны обладать способностью быть аккумулированными и исполнимыми в безопасной среде, обеспечивающей целостность и нерушимость системы.
4. ПРИНЦИП ПРОЗРАЧНОСТИ, беспристрастности и достоверности: методы обработки данных сделать доступными и понятными, разрешить проведение внешнего аудита
Необходимо найти баланс <3> между защитой интеллектуальной собственности определенных методов обработки и требованием обеспечения прозрачности (доступ к процессу разработки), нейтральности (отсутствие предвзятости) <4>, лояльности и достоверности (приоритет — интересам правосудия) в зависимости от правовых последствий и воздействия на лиц, которые могут иметь данные методы. Следует отметить, что эти меры затрагивают всю цепочку проектирования и эксплуатации, поскольку методология отбора, а также качество и организация данных напрямую влияют на этап обучения.
<3> В этой связи интересно предложение, внесенное на с. 46 исследования МСИ-НЭТ Совета Европы под названием «Алгоритмы и права человека»: «Решение, состоящее в требовании обнародования целых алгоритмов или исходного программного обеспечения, является утопическим в этом контексте, поскольку частные компании рассматривают свои алгоритмы в качестве стратегического авторского программного обеспечения и обеспечивают им соответствующую защиту. Однако представляется возможным потребовать частичную публикацию важной информации, в частности, об использованных алгоритмах, целях, преследуемых при оптимизации алгоритмов, подборе данных для настройки программы, средних значениях и типовых отклонениях в полученных результатах или же об объеме и типе данных, обрабатываемых алгоритмом».
Также интересны предложения на с. 144 доклада «ИИ для человечества», подготовленного депутатом Седриком Вильяни в рамках миссии, возложенной на него премьер-министром Французской Республики: «Лица, осуществляющие проверку, могут протестировать только достоверность и беспристрастность программы (что от них и ожидается), например, путем предоставления различных ложных исходных данных создать большое количество профилей пользователя с определенными характеристиками».
Те же замечания содержатся в отчете Палаты лордов «ИИ в Соединенном Королевстве: готовы, расположены и способны?» об ИИ: пункты 92, 96 — 99).
<4> Решения общего характера, предусмотренные для обеспечения гарантии нейтральности алгоритмов, содержащиеся в вышеупомянутом докладе Палаты лордов (§§ 114 — 116, 119, 120), представляют следующий интерес: чем больше различных данных, тем больше вариативности и междисциплинарности, больше и проверки по таким аспектам, как обработка данных и способ организации устройства.
Первый вариант — полная техническая прозрачность (например, открытый исходный код и документация), иногда ограничиваемая защитой коммерческой тайны. Система могла бы также быть объяснена простым и понятным языком для описания способа достижения результатов, например, с помощью передачи информации о характере предлагаемых услуг, разработанных инструментов, положительных результатах и рисках ошибок. Независимые органы или эксперты могли бы обеспечить сертификацию и контроль методов обработки или давать предварительные консультации. Органы государственной власти могли бы периодически регулярно выдавать свидетельства.
5. ПРИНЦИП КОНТРОЛЯ ПОЛЬЗОВАТЕЛЕМ: отойти от предписывающего подхода и позволить пользователю выступать в роли информированного лица, ответственного за свой выбор
Автономия пользователей должна быть усилена и не ограничена использованием инструментов и услуг на основе искусственного интеллекта.
Специалисты системы правосудия должны в любой момент иметь возможность пересмотра судебных решений и данных, использованных для получения результата, при этом не обязательно оставаясь связанными ими в свете определенных особенностей данного конкретного дела.
Участник судебного процесса должен быть проинформирован ясным и понятным языком о том, носят ли решения, предлагаемые инструментами, работающими на основе искусственного интеллекта, обязательный характер, а также о различных имеющихся вариантах и о его праве на юридическую консультацию и обращение в суд. Он также должен быть четко информирован о любом предварительном обращении к возможностям искусственного интеллекта при рассмотрении дела до или во время судебного процесса и иметь возможность возразить с тем, чтобы его дело могло быть рассмотрено непосредственно судом по смыслу статьи 6 ЕКПЧ.
По большому счету, при внедрении любой информационной системы, основанной на искусственном интеллекте, должны проводиться программы повышения компьютерной грамотности пользователей и публичные обсуждения с участием специалистов системы правосудия.
УГЛУБЛЕННОЕ ИССЛЕДОВАНИЕ ВОПРОСА ИСПОЛЬЗОВАНИЯ
ИИ В СУДЕБНЫХ СИСТЕМАХ, В ЧАСТНОСТИ, ПРИЛОЖЕНИЙ, РАБОТАЮЩИХ
НА ОСНОВЕ ИИ, ПОЗВОЛЯЮЩИХ ОБРАБАТЫВАТЬ СУДЕБНЫЕ
РЕШЕНИЯ И ДАННЫЕ <5>
<5> Подготовлено на основе комментариев Ксавье Ронсина, первого председателя Апелляционного суда г. Ренн, научного эксперта (Франция), и Василеоса Лампоса, главного научного сотрудника факультета информатики Университетского колледжа г. Лондона (UCL), научного эксперта (Соединенное Королевство), при содействии Агнес Метрепьер, судьи, члена Консультативного комитета Конвенции Совета Европы о защите частных лиц в отношении автоматизированной обработки данных личного характера (Франция).
Представленные ниже эксперты также внесли свой вклад в доработку исследования:
- Франческо Контини, старший научный сотрудник Научно-исследовательского института судебных систем — Национального исследовательского совета (ИРСИГ — КНР), Болонья (Италия),
- Франческо де Сантис, профессор в области процедур защиты прав человека, Неапольский университет (Италия),
- Жан Лассег, философ и эпистемолог, научный сотрудник Национального центра научных исследований (НЦНИ) и младший научный сотрудник Института высших исследований в области правосудия (ИГЕЖ) (Франция),
- Дори Райлинг, почетный старший судья, независимый эксперт по информационным технологиям и судебным реформам (Нидерланды),
- Алеш Завршник, главный научный сотрудник Института криминологии, доцент юридического факультета Люблянского университета (Словения) и исследователь EURIAS 2017-18 в Коллегии гельветиков в Цюрихе (Швейцария).
ВВЕДЕНИЕ
1. Волна цифровых преобразований в обществе по-прежнему неравномерно отражается на судебных системах государств — членов Совета Европы. Многие европейские страны, по-видимому, уже разработали чрезвычайно продвинутый подход с использованием конкретных приложений как с точки зрения технологии, так и в плане юридического сопровождения, в то время как для других этот вопрос все еще является новым и, возможно, ограничится только внедрением эффективного программного обеспечения.
2. Среди технологий, используемых в этой большой цифровой трансформации, искусственный интеллект является и самой сенсационной технологией, и вызывающей наибольшие сомнения. В Соединенных Штатах «юристы-роботы» уже работают и даже разговаривают с людьми на простом языке. Юридические технические стартапы, специализирующиеся на разработке новых юридических услуг, также предлагают новые приложения для специалистов в области права, в основном для адвокатов, юридических служб и страховщиков, что позволяет иметь всесторонний доступ к юридической информации и прецедентному праву. Такие частные компании даже стремятся предсказать решения судей с помощью инструментов ошибочно, как мы увидим далее, называемых «предсказательным правосудием» <6>.
<6> См., в частности, информацию в рамке в гл. 9.
3. Однако уже с первого взгляда на этот феномен следует отделить коммерческий дискурс от реальности использования и применения подобных технологий. Непосредственное и ежедневное использование судьями моделирующих судебное решение технологий не существует в настоящее время в государствах — членах Совета Европы. Отдельные эксперименты <7>, а также университетские исследования <8>, направленные на изучение потенциала этих приложений, были проведены, но пока еще не получили широкого применения. Дело в том, что инициатива по разработке таких инструментов исходит в основном от частного сектора, клиентами которого до сих пор являлись только страховые компании, юристы и юридические службы, стремящиеся уменьшить правовую неопределенность и непредсказуемость судебных решений. Тем не менее к законодателям все чаще обращается частный сектор, желающий увидеть в государственной политике эти инструменты, находящиеся подчас еще в форме «бета-версий», которые со временем будут улучшены.
<7> Например, в двух апелляционных судах — Дуэ и Ренн во Франции ряд судей протестировали в течение трех месяцев в 2017 году преимущества программного обеспечения, представленного как прогнозирующего судебные решения.
<8> Работа над выборкой из 584 решений Европейского Суда по правам человека: Nikolaos Aletras, Dimitrios Tsarapatsanis, Daniel Preoþiuc — Pietro , Vasileios Lampos, «Predicting judicial decisions of the European Court of Human Rights: a Natural Language Processing perspective», published on 24 October 2016, [Online], https://peerj.com/articles/cs-93/
4. Следуя направленности, заложенной в Руководящих принципах по продвижению изменений в сторону киберюстиции <9>, ЕКЭП предлагает предоставить государственным деятелям и работникам системы правосудия ключи к наилучшему пониманию феномена «прогнозируемого правосудия».
<9> См., в частности, § 51 документа ЕКЭП (2016)13, Руководящие принципы по продвижению изменений в сторону киберюстиции.
5. Прежде всего необходимо будет прояснить вопросы, касающиеся сущности таких систем обработки данных обширной судебной практики, а также их технических и теоретических ограничений: эти аспекты не часто упоминались в ходе дискуссии по данному вопросу в судебной сфере, однако они хорошо известны и обсуждаются специалистами в области таких технологий (математиками, статистиками и программистами) и заслуживают внимания.
6. Во-вторых, в настоящем документе будут проанализированы преимущества и риски, связанные с этими инструментами. Хотя их сторонники подчеркивают преимущества таких инструментов с точки зрения прозрачности, предсказуемости и унификации прецедентного права, их противники указывают на ограничения и необъективность аргументации в отношении программного обеспечения, имеющегося в настоящее время на рынке. Риски, присущие этим технологиям, могут даже выходить за рамки процесса принятия решения и затрагивать важнейшие функциональные элементы верховенства права и судебных систем, к которым Совет Европы особенно привержен.
7. Речь идет, в частности, о таких принципах, как верховенство права: данные инструменты не только побуждают к каким-то действиям, но и имеют практически предписывающий характер, создавая новую форму нормативности, которая могла бы дополнить закон, регулируя суверенную свободу усмотрения судьи, и потенциально привести в долгосрочной перспективе к стандартизации судебных решений, базирующихся уже не на обосновании судами конкретных дел, а на чисто статистических расчетах, связанных со средней компенсацией, ранее присужденной другими судами.
8. Необходимо также рассмотреть вопрос о совместимости данных решений с индивидуальными правами, закрепленными в Европейской конвенции по правам человека. К ним относятся право на справедливое судебное разбирательство (а именно право на компетентного судью, установленное законом, право на независимый и беспристрастный суд и равенство сторон в судебном разбирательстве) и право на уважение частной и семейной жизни в случае недостаточной защиты данных, передаваемых в открытых источниках.
9. Принимая во внимание эти вопросы, в документе подчеркивается огромный потенциал ИИ в плане оказания помощи юристам в их работе. Несомненно, некоторые прикладные программы по искусственному интеллекту, которые все еще находятся в стадии разработки или тестирования, в том числе предназначенные для оптимизации поиска юридической информации, могут быть очень полезны для ускорения и повышения эффективности судебной работы. В документе на первый план выдвигаются данные положительные примеры и в целом содержится призыв к использованию искусственного интеллекта, который мог бы помочь юристам с учетом их потребностей при условии, что должным образом учитываются индивидуальные права, гарантируемые ЕКПЧ и стандартами Совета Европы, особенно в рамках рассмотрения уголовных дел. Будучи не просто инструментом повышения эффективности судебных систем, ИИ должен укреплять, а не снижать гарантии верховенства права наряду с повышением качества государственного правосудия.
10. Наконец, в документе предлагаются способы «управления» данным явлением в форме этической хартии, в которой выделяется определенное количество принципов, позволяющих направлять внедрение ИИ в судебных системах. При этом подчеркивается необходимость осторожного подхода к интеграции в государственную политику инструментов, основанных на ИИ. Важно, чтобы в любом публичном обсуждении участвовали все задействованные лица, будь то специалисты в области права, юридические стартапы или ученые, с тем, чтобы они могли в полной мере поделиться своим анализом влияния и возможностью внедрения в судебные системы подобных приложений, работающих на основе ИИ, а также выработать необходимые этические рамки, в которых они должны действовать. Впоследствии эта дискуссия могла бы выйти за чисто «деловые» рамки, вовлекая самих граждан и тем самым в определенной степени способствуя повышению общей компьютерной грамотности, как это было сделано в Канаде <10>.
<10> Монреальская декларация, доступна по ссылке: https://www.declarationmontreal-iaresponsable.com/demarche, дата последнего обращения 16 июля 2018 г.
1. СОСТОЯНИЕ ДЕЛ С ИСПОЛЬЗОВАНИЕМ АЛГОРИТМОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В СУДЕБНЫХ СИСТЕМАХ ГОСУДАРСТВ — ЧЛЕНОВ СОВЕТА ЕВРОПЫ
11. Использование искусственного интеллекта в судебной сфере представляется весьма популярным в Соединенных Штатах, которые свободно инвестировали в эти инструменты как в сфере гражданских, так и в сфере уголовных дел <11>.
<11> См. алгоритмы COMPAS или инструменты, такие как RAVEL LAW или ROSS чатбот.
12. Менее легкой задачей является выявление примеров инициатив по разработке алгоритмов искусственного интеллекта в судебных системах государств — членов Совета Европы, поскольку большинство инициатив исходит от частного сектора и не часто интегрируется в государственную политику.
13. Вопрос об использовании ИИ в судебных системах рассматривался в ходе специального интернет-опроса, открытого в апреле 2018 года для представителей государств — членов СЕПЕЖ и гражданского общества. Интенсивность ответной реакции была относительно низкой и не позволила обнаружить выраженных тенденций. Некоторые частные операторы оказались не очень восприимчивыми к этому опросу, и члены ЕКЭП, которые в основном являются представителями министерств юстиции или высших советов юстиции, сослались только на те инструменты, которые в настоящее время используются в публичной сфере.
14. В результате приводимый ниже перечень носит лишь частичный характер и основан исключительно на исследованиях, проведенных экспертами и секретариатом с использованием общедоступной литературы <12>.
<12> См. краткую библиографию в Приложении IV 0150 — существенный вклад Бенуа Шарпантье, а также Джузеппе Контисса, Джованни Сартори (https://media.wix.com/ugd/c21dbl_14b04c49ba7f46bf9a5d88581cbdal72.pdf) и Эммануила Барте (http://www.precisement.org/blog/Intelligence-artificielle-en-droit-derriere-la-hype-la-realite.html#nb14)
15. Классификация может проводиться в соответствии с предлагаемыми услугами. Вовлеченность ИИ может существенно различаться в зависимости от сферы применения. В качестве примера можно привести следующие основные категории:
- передовые поисковые системы прецедентного права,
- урегулирование споров в режиме онлайн,
- помощь в составлении документов,
- анализ (прогнозный, оценочный),
- классификация контрактов в соответствии с различными критериями и выявление расхождений или несовместимых положений контрактов,
- «чатботы» для информирования сторон в судебном процессе или оказания им поддержки в ходе судебных разбирательств.
16. Латвия заявила, что она изучает возможности машинного обучения для отправления правосудия. Основная цель будет заключаться в обработке судебной статистики для составления предварительной оценки человеческих и финансовых ресурсов, которые необходимо будет выделить.
17. Другие виды деятельности, осуществляемые техническими юридическими компаниями, не были включены в данную классификацию, поскольку они связаны с незначительной обработкой данных с использованием искусственного интеллекта или же вообще не связаны с ней: некоторые сайты предоставляют доступ к юридической информации, «облачные» решения, электронные подписи и т.д.
18. Ниже приводится неисчерпывающий перечень юридических служб, использующих искусственный интеллект в своей деятельности:
2. ОБЗОР ПОЛИТИКИ В ОТНОШЕНИИ ОТКРЫТЫХ ДАННЫХ, КАСАЮЩЕЙСЯ СУДЕБНЫХ РЕШЕНИЙ В СУДЕБНЫХ СИСТЕМАХ ГОСУДАРСТВ — ЧЛЕНОВ СОВЕТА ЕВРОПЫ
19. Данные, собранные приложением, стали бы своего рода «нефтью» XXI века, так как их использование и перекрестные ссылки приносят совершенно новые преимущества. Несмотря на то, что некоторые заинтересованные стороны и авторы оспаривают этот аргумент, глобальные успехи цифровой индустрии за последние десятилетия подтвердили огромный растущий потенциал в этой области деятельности.
20. Количественная оценка человеческой деятельности в настоящее время в глобальном масштабе не может не затрагивать данные, получаемые в государственном секторе. Именно это определило вектор движения в сторону раскрытия публичных данных, основанных на гораздо более старых требованиях, которые являются основополагающими принципами наших конституционных государств.
21. Основные изменения, произошедшие в последние годы, были вызваны появлением свободных для скачивания данных (открытых данных), в частности в контексте партнерства «Открытое правительство» (ОП). ОП — это неправительственная организация, объединяющая почти 70 государств-членов (включая многие государства — члены Совета Европы), представителей гражданского общества и цифровых гигантов. Целью такой открытости являются повышение прозрачности публичной деятельности, вовлечение граждан в разработку и оценку публичной политики и обеспечение беспристрастности публичной службы и тех, кто ее выполняет путем обработки значительных объемов информации, собранной в базы данных (большие данные).
2.1. Определение открытых данных из судебных решений
22. Прежде всего давайте уточним определение понятия «открытые данные» до того, как переходить к вопросу о влиянии на судебную деятельность разрешения использования открытых данных. Во-первых, зачастую возникает путаница между доступом к информации и доступом к данным (точнее, доступом к информации, хранящейся в форме базы данных <13>).
<13> Данные представляют собой буквы и цифры без присужденного им значения. Информация — это данные, включенные в контекст. Именно контекст придает значение данным. Можно предположить, что 2005 год — это год, но без контекста мы этого не знаем. Но когда мы говорим: «в 2005 году мы завершили три проекта», контекст придает значение такому числу. Поэтому «открытые данные» — это не данные в смысле определения, а информация. Аналогичным образом большие данные — это также большие объемы информации, а не самих данных.
23. Определенный объем общественной информации, требующей широкой огласки, уже распространяется с использованием информационных технологий: во Франции правительственный сайт Légifrance.fr является основным онлайновым источником сертифицированной общественной информации, включающей не только законодательные и нормативные документы, но и прецедентное право, и информацию о назначениях на государственные должности. Эта собранная в одном источнике информация хотя и доступна в Интернете, но, тем не менее, полностью отличается от прямого доступа к данным, организованным и включенным в базу данных, которая может быть загружена и обработана компьютером.
24. Поэтому открытые данные предполагают только распространение «сырых» данных в структурированных компьютерных базах данных, эти данные, агрегированные полностью или частично с другими структурированными источниками, составляют то, что мы называем большими данными. Консультативный комитет Конвенции 108 Совета Европы определяет большие данные как «растущие технологические возможности для сбора, обработки и извлечения новых и прогнозируемых знаний из большого объема и разнообразия данных, притом достаточно быстро. С точки зрения защиты данных, основные вопросы касаются не только объема и разнообразия обрабатываемых данных, а также скорости процесса, но и анализа этих данных с использованием программного обеспечения для получения новых и спрогнозированных сведений, способных направить процесс принятия решения в отношении отдельных лиц или групп лиц. Поэтому для целей настоящего руководства определение „большие данные“ включает в себя как сами „большие данные“, так и процесс их анализа» <14>.
<14> T-PD(2017)1, Руководящие принципы по защите лиц в отношении обработки персональных данных в эру существования больших данных.
25. Как показывает это определение, открытые данные не следует путать со средствами их обработки. Изрядное число рассуждений по этому вопросу фактически касается обработки, осуществляемой различными передовыми методами, которые обычно определяются как наука о данных. Прогнозируемое правосудие с использованием искусственного интеллекта, передовые поисковые системы, применяющие чрезвычайно точные критерии, и точные роботы — все это алгоритмические приложения, подпитываемые данными, но не имеющие ничего общего с как таковой политикой открытости.
26. Тем не менее данная политика открытости должна быть рассмотрена в свете тех возможностей, которые она предоставляет для дальнейшей обработки, какими бы они ни были. Потому что, если мы заранее отфильтруем определенные данные, например, по причине необходимости соблюдения конфиденциальности и неприкосновенности частной жизни; следующие далее риски использования не по назначению могут быть снижены.
2.2. Состояние разработки открытых данных о судебных решениях в государствах — членах Совета Европы и их последствия для развития прецедентного права
27. Каково положение государств — членов Совета Европы в отношении открытых данных о судебных решениях? Цикл оценки ЕКЭП 2016 — 2018 годов впервые сосредоточился на вопросе о судебных решениях, представленных в открытых данных, для которых используется некоторая обработка ИИ. Вопрос об анонимизации или псевдонимации данных в отношении европейских норм защиты личных данных <15> стал предметом отдельного вопроса, призванного определить меры, принимаемые государствами-членами и наблюдателями в этой особенно чувствительной области.
<15> Общие правила защиты данных (см. Регламент Европейского союза 2016/679 и Конвенцию Совета Европы № 108 о защите физических лиц в связи с автоматизированной обработкой персональных данных).
| Рисунок 1, показывающий, какие члены СЕ, ввели открытые о судебных решениях в 2016 (Q62-4 схемы оценки) |  |
|---|
28. Из всех государств и наблюдателей, принявших участие в опросе, только пять заявили, что в 2016 году они не применяли политику открытых данных для судебных решений. Хотя этот процент ответов относителен, поскольку в некоторых ответах доступ общественности к решениям путают с открытыми данными (Армения, Бельгия, Босния и Герцеговина, Испания, Люксембург, Российская Федерация, Турция), он свидетельствует, с одной стороны, о стремлении европейских судебных учреждений к прозрачности, а с другой — о желании многих стран сделать судебные решения открытыми и тем самым дать возможность впоследствии обработать их с помощью средств ИИ. Это также требует усилий со стороны соответствующих учреждений, поскольку для этого необходимо принять ряд технических мер. Во Франции, в частности, некоторые судебные решения по административным делам уже можно скачать с сайта data.gouv.fr (см. ниже).
29. Что касается защиты личных данных, то 23 страны заявили, что они псевдонимизируют <16> по крайней мере некоторые виды споров (например, касающиеся лиц и их семейного положения) путем изъятия данных, позволяющих идентифицировать стороны или свидетелей (имена, адреса, номера телефонов, идентификационные номера, номера банковских счетов, налоговые номера, данные о состоянии здоровья и т.д.). Ответственность за эту работу возложена на сотрудников судебных органов (например, Израиль, Республика Молдова) или государственные должностные лица (например, Босния и Герцеговина, Испания). Однако Босния и Герцеговина и Венгрия заявили о намерении публиковать фамилии специалистов.
<16> В соответствии с определением, данным совещательным комитетом в «Руководящих принципах защиты физических лиц в отношении обработки персональных данных в рамках существования больших данных» T-PD(2017)1, псевдонимизация относится к обработке персональных данных «таким образом, что персональные данные больше не могут быть отнесены к конкретному субъекту данных без использования дополнительной информации, если такая дополнительная информация хранится отдельно и подлежит техническим и организационным мерам для гарантии того, чтобы личные данные не были присвоены установленному или способному быть установленным лицу».
30. Тем не менее существует реальная сложность измерения влияния открытых данных на эффективность и качество правосудия. Как указывалось выше, инициатива по повторному использованию этих данных носит в основном частный характер и ориентирована на профессиональную аудиторию (юристов, юридические отделы), и сложно полностью определить сферу их применения в рамках исключительно межгосударственной деятельности.
31. Французский опыт является показательным с точки зрения вопросов, поднятых в рамках этого подхода, и выявляет ряд проблем, которые стоят на повестке дня. Прежде всего, важно подчеркнуть, что в 2016 году Франция приняла законодательство, устанавливающее обязательные требования для открытого распространения данных о решениях своих судов.
32. Статьи 20 и 21 Закона о Цифровой Республике <17> положили конец прежней логике отбора, которая основывалась <18> на принципе публикования тех решений судов общей юрисдикции, которые представляют особый интерес. Отныне французское законодательство устанавливает обратный принцип, согласно которому все подлежит публикованию, за исключением конкретных случаев, предусмотренных законом (в отношении судебных решений), и необходимостью соблюдения права на частную жизнь затронутых лиц. Вместе с тем предусматривается, что предоставление публичного доступа к данным судебным решениям как судов общей юрисдикции, так и административных судов должно предваряться изучением риска установления личности упоминающихся в нем лиц.
<17> Этот закон был принят в целях приведения французского законодательства в соответствие с Директивой 2013/37/EU Европейского парламента и Европейского совета от 26 июня 2013 года, которая, в свою очередь, внесла поправки в Директиву Совета от 17 ноября 2003 года о повторном использовании информации государственного сектора («Директива PSI»).
<18> Статья R433-3 Кодекса судоустройства Франции.
33. Широкое распространение информации имеет многочисленные преимущества, о чем, в частности, заявлял Кассационный суд на двух конференциях в октябре 2016 года и феврале 2018 года. Они включают в себя повышение осведомленности о судебной деятельности и тенденциях прецедентного права, повышение качества системы правосудия, которая становится известна за счет подобной открытости, а также создание совершенно новой фактологической справочной базы.
34. Это теоретическое желание «урегулировать» прецедентное право с помощью цифровых рычагов вызывает, однако, ряд общих вопросов, актуальных для всех стран, рассматривающих возможность применения аналогичного подхода. Во-первых, следует вспомнить некоторые принципы, установленные Европейским Судом по правам человека в случаях расхождений во внутреннем прецедентном праве. Суд ясно подчеркивает необходимость обеспечения баланса между целью достижения правовой определенности, которая делает решения более предсказуемыми, и «жизнеспособностью» судебного толкования <19>.
<19> Постановление Большой Палаты Европейского Суда «Греко-католический приход г. Лупени и другие против Румынии» (Greek-Catholic Parish of Lupeni and Others v. Romania) от 29 ноября 2016 г., жалоба № 76943/11, § 116//Прецеденты Европейского Суда по правам человека. Специальный выпуск. 2017. № 9 (примеч. редактора)
35. В связи с этим должны быть приняты во внимание много аспектов и в первую очередь вопросы технического характера.
a) Сбор всех судебных решений, подлежащих публикации, не всегда хорошо скоординирован между всеми уровнями судов: некоторые приложения для использования в европейских судах не были предназначены для этого, в частности, это касается решений судов первой инстанции, и некоторым странам придется установить новые процедуры для сопоставления судебных решений, если они хотят получить исчерпывающую подборку.
b) Несмотря на некоторые многообещающие достижения, еще не изобретен полностью рабочий автоматизированный механизм последующего анонимизирования, способный предотвратить любой риск идентификации или переидентификации.
И далее аспекты по существу вопроса.
c) Следует подумать о трансформации самой логики формирования судебной практики; какова ценность «нормы», выведенной из большого количества судебных решений по конкретному вопросу? Дополняет ли эта «норма» закон? Если да, то является ли это новым источником права?
d) Следует ли требовать от судей предоставление дополнительных разъяснений для объяснения отхождений от этого «среднего значения» <20>? Данный вопрос не является незначительным и не вызывает одинакового ответа во всех судебных системах. Во французском гражданском праве <21> «судьи разрешают споры в соответствии с применимыми к ним нормами права». В контексте Франции, если судью попросят обосновать его решение, указав все причины, по которым он отклонился в принятии решения от так называемой тенденции, выведенной на основе большинства случаев (при соблюдении соответствующих норм права), не будет ли это равнозначно их отстранению от должности? В таком случае судьи будут разрешать споры не только в соответствии с нормами права, но и в соответствии с тенденциями прецедентного права, вытекающими из статистических данных, выведенных с помощью цифровых средств (которые также могут быть необъективными или разрабатываться без внешнего контроля со стороны частного оператора, см. разделы 6.1 и 9 ниже). Возникающий вопрос выходит далеко за рамки национальных особенностей и касается в более широком плане места инструментов ИИ в процессе принятия решений судьями. Этот вопрос не призван поставить под сомнение место судебных решений среди источников права или вес судебного прецедента, что входит в уже устоявшиеся принципы на европейском уровне <22>.
<20> Eloi Buat-Menard and Paolo Giambiasi, «La mémoire numérique des décisions judiciaires», Dalloz Reports, 2017, p. 1483.
<21> Статья 12 Гражданского процессуального кодекса Франции.
<22> Например, в отношении условий, регулирующих ответственность государства-члена за содержание решения Верховного национального суда, Суд ЕС заявил, что «нарушение законодательства Сообщества будет достаточно серьезным» «в тех случаях, когда соответствующее решение было принято при явном нарушении прецедентного права Суда по данному вопросу» (Суд ЕС, дело С-224/01, Коблер, § 56).
e) Кроме того, не будет ли норма, выведенная из большого количества решений, уравнивать судебные решения, не располагая их в соответствии с иерархией выносящих их судов, что противоречило бы значимости решений высших судов, которые во многих европейских государствах выступают гарантами единообразного толкования права? Какова будет взаимосвязь между «нормами, выведенными из большинства решений» и прецедентным правом? Станут ли они, будучи «выведенными из большого числа решений», определяющим критерием для судов в формировании их собственных решений, которые они в свою очередь также будут вынуждены обосновывать при расхождении со «средним значением»?
f) Наконец, есть ли риск того, что судебные решения будут формироваться в соответствии с логикой воспроизведения? В то время как судебные решения должны отражать изменения нормативной базы (внутригосударственной, европейской или международной), соответствующей судебной практики (например, верховных судов и европейских судов), равно как и социально-экономического контекста, норма, не станет ли норма, вытекающая из большинства решений, шаблоном, к которому судьи будут вынуждены безоговорочно обращаться, что, как следствие, приведет к чрезмерной стандартизации судебных решений?
36. Кроме того, необходимо задуматься о последствиях для пользователей, которые должны первыми почувствовать выгоду из прозрачности деятельности: действительно ли они выиграют от публикации всех судебных решений в Интернете или же они окажутся перегруженными массой решений, не обязательно получая качественный ответ за отсутствием правовых знаний и навыков критической оценки?
37. Как это ни парадоксально, но можно задаться вопросом, смогут ли открытые данные предоставить значимую информацию, так как это, безусловно, позволит загрузить значительный набор необработанных данных простым нажатием на ссылку, но для большинства граждан значение этой информации останется совершенно неясным.
38. Открытые данные информативны и размещаются свободно с той целью, чтобы третьи лица смогли их проанализировать и оценить. Экономическая модель, при которой данные судебной практики, обработанные судебными властями для того, чтобы они лучше «считывались», передавались бы бесплатно частному сектору и затем перепродавались им юрисдикциям, профессионалам и гражданам, сомнительна и заслуживает критического анализа.
2.3. Защита персональных данных в политике открытости судебных решений
2.3.1. Имена сторон и свидетелей
39. В цифровую эпоху для обеспечения справедливого равновесия между необходимостью обнародования судебных решений и соблюдением основных прав задействованных лиц, сторон или свидетелей их имена и адреса не должны фигурировать в опубликованных решениях, особенно с учетом риска незаконного присвоения и повторного использования данной личной информации и особой секретности данных, которые могут содержаться в определенных решениях <23>. Для систематического сокрытия такой информации можно использовать автоматизированные процессы.
<23> Постановление Европейского Суда «З против Финляндии» (Z v. Finland) от 25 февраля 1997 г., жалоба № 22009/93, § 95 и др., а также Зеленая книга Европейской комиссии об информации, исходящей от государственного сектора в информационном обществе (COM(1995)585) («Если не приняты специальные меры предосторожности, базы данных прецедентного права, являющиеся инструментами правовой документации, могут стать информационными файлами по отдельным лицам, если к этим базам данных обращаются для получения списка судебных решений по конкретному лицу, а не для получения информации по имеющимся прецедентам».).
40. Могут также скрываться и другие «идентификационные» данные (например, номера телефонов, адреса электронной почты, даты рождения, имена детей, редкие имена, прозвища и географические названия). С точки зрения принципов защиты персональных данных, такое сокрытие сводится к простой псевдонимизации данных, а не к полной анонимизации. Дело в том, что объем и разнообразие информации, содержащейся в судебных решениях, вместе с растущей легкостью ее соединения с другими базами данных не позволяют на практике гарантировать невозможность восстановления информации о личности соответствующего лица. При отсутствии такой гарантии эти данные не могут быть расценены как анонимные и, следовательно, подпадают под действие правил защиты персональных данных.
41. Некоторые особо значимые элементы персональных данных требуют особого внимания, что предусмотрено в статье 6 Конвенции 108. Это относится к данным, раскрывающим этническое или расовое происхождение, политические взгляды, членство в профсоюзах, религиозные или иные убеждения, физическое или психическое здоровье или сексуальную жизнь, которые относятся к интимной сфере.
42. Решения суда могут содержать другие, весьма разнообразные виды персональных данных, которые подпадают под эту категорию конфиденциальных данных. Другая категория секретных персональных данных касается преимущественно сферы уголовного судопроизводства. Поэтому все эти конфиденциальные данные заслуживают особого внимания. Их массовое распространение способно создать серьезную угрозу дискриминации, создания профиля <24> и посягательства на человеческое достоинство.
<24> Профилирование определено в статье 4 Общего регламента ЕС по защите персональных данных. Это обработка персональных данных человека с целью анализа и прогнозирования его поведения или его положения, например, определение его производительности на работе, финансового положения, состояния здоровья, предпочтений, привычек, образа жизни и т.д.
2.3.2. Фамилии специалистов, включая судей
43. Очевидно, что знание того, как выносится решение, всегда было важным элементом при прогнозировании исхода дела адвокатами, для которых знакомство с судьей иногда было практически так же важно, как и знание закона. Адвокаты уже давно пытаются провести сопоставление и сравнение между составами суда в большей или меньшей мере эмпирическим методом для того, чтобы лучше консультировать своих клиентов, имеющих дело с тем или иным судьей или коллегией судей.
44. Этот метод работал в том случае, когда адвокат выступал в ограниченном количестве судов, однако постепенное ослабление местных ограничений на адвокатуру во многих странах и свобода передвижения и работы в Европейском союзе объясняют естественное желание адвокатов, работавших на национальном уровне, и европейских адвокатов подробнее знать судебную европейскую практику, а также решения судов той страны, в которой они могут выступать.
45. Поэтому не исключено, что в будущем очень полезные и, следовательно, очень дорогостоящие приложения для машинного изучения будут гораздо более эффективными, чем опыт и «здравый смысл» судебных адвокатов, работающих с делами традиционным способом. Использование таких приложений может еще больше усугубить искажение конкуренции и неравенство возможностей между адвокатскими кабинетами, в которых либо используют, либо не используют такое «прогнозирующее» программное обеспечение для анализа судебной практики.
42. Существует реальный риск того, что ради такого конкурентного преимущества принцип справедливого судебного разбирательства, установленный законом, будет подорван. Возможность составления профиля судьи путем перекрестных ссылок на публичные и частные данные может позволить частным компаниям и их адвокатам еще активнее использовать практику поиска «удобного» суда. Этот феномен уже давно применяется в Соединенных Штатах и Франции в отношении правонарушений в сфере печати и посягательств на неприкосновенность частной жизни в прессе, где истец выбирает суд, который по его прогнозам присуждает наибольшую сумму компенсации ущерба.
47. Вместе с тем в дискуссиях по этому вопросу открытые данные часто путают с необходимостью обнародования, касающейся определенной публичной информации: так, иногда утверждается, что имена специалистов должны фигурировать в открытых данных в целях гласности и прозрачности.
48. Однако предоставление в открытый доступ судебных решений представляет собой отдельный вопрос, не связанный с принципами публикации оригиналов или заверенных копий решений. Цель открытых данных заключается в том, чтобы обеспечить автоматизированную обработку судебных решений на основании недорогостоящей лицензии на эксплуатацию. Как указывалось выше, доступ к ним осуществляется в форме полноценной компьютерной базы данных, малопонятной или не совсем понятной для граждан.
49. Очевидно, что предоставление доступа к данным не отвечает необходимости обнародования имен специалистов, внесших вклад в принятие конкретного решения. Напомним, что в законодательстве упоминание имен судей в судебных решениях является общим обязательством государств-членов в связи с принципом публичного разбирательства, изложенным в статье 6 § 1 Европейской конвенции о защите прав человека, которая направлена на то, чтобы обеспечить объективную беспристрастность судей (которые должны быть идентифицируемыми, законно назначенными и распределенными для выполнения своих обязанностей) и соблюдение процессуальных норм (например, таких, как гласность и коллегиальность) <25>.
<25> Постановление Европейского Суда «Верн против Франции» (Verne v. France) от 20 апреля 2011 г., жалоба № 30183/06, в отношении идентификации судей, вынесших решение, Постановление Большой Палаты Европейского Суда «Претто и другие против Италии» (Pretto and Others v. Italy) от 8 декабря 1983 г., жалоба № 7984/77, Постановление Европейского Суда «Конталексис против Греции» (Kontalexis v. Greece) от 28 ноября 2011 г., № 59000/08, § 38, Постановление Европейского Суда «DMD GROUP, a.s. против Словакии» (DMD GROUP, a.s. v. Slovakia) от 5 января 2011 г., жалоба № 19334/03, § 66, Постановление Европейского Суда «Miracle Europe Kft против Венгрии» (Miracle Europe Kft v. Hungary) от 12 апреля 2016 г., жалоба № 57774/13, § 58, о праве на рассмотрение дела судом, созданным на основе закона, в сочетании с правом на рассмотрение дела независимым судьей.
50. Поэтому ответ на вопрос о законности или нецелесообразности публикации имен специалистов <26> в открытых данных не стоит искать в области обязательства публикации имен специалистов в решениях. Проблема заключается скорее в согласовании зачастую противоречащих друг другу требований: с одной стороны — обеспечения прозрачности публичной деятельности путем предоставления гражданам возможности знать своих судей и «давать им оценку», а с другой стороны — защиты частной жизни специалистов (функции которых не должны ограничивать их основные гарантии в этой области). Существуют серьезные проблемы, связанные с гарантией беспристрастности судей и даже судебных учреждений в целом, для решения которых политика открытых данных фактически предназначена <27>. Какие же практические меры могут быть приняты для их защиты от потенциальных попыток дестабилизации, которые могут появиться в результате использования личных данных судей, включенных в базы данных, для поиска информации в других источниках (социальные сети, коммерческие сайты), чтобы попытаться выявить гипотетические политические, религиозные и другие предубеждения?
<26> Эти вопросы могут также относиться к Rechtspfleger, принимающим судебные решения, и к секретарям, помощникам судьи, упомянутым в составе суда, принимающем решение (хотя и в меньшей степени).
<27> См. Решение Европейского Суда «Превити против Италии» (Previti v. Italy) от 8 декабря 2009 г., жалоба № 45291/06, § 249 и след., в котором упоминаются принципы объективной беспристрастности судьи.
51. Эти вопросы возникают в разных частях Европы по-разному и зависят от специфики соответствующей судебной системы (и от характера органа регулирующего карьеру судей), от того, было ли решение вынесено коллегиально, и от уровня соответствующего суда. Например, в Швейцарии, где судьи избираются, публикация является гарантией прозрачности и социальной ответственности судей по отношению к гражданам и политическим группам. Эта информация уже имеется в онлайновых поисковых системах (которые, строго говоря, не являются открытыми данными) <28>.
<28> См. пример Федерального суда Швейцарии, решения которого можно скачать по адресу: https://www.bger.ch/fr/index/juridiction/jurisdiction-inherit-template/jurisdiction-recht.htm) или решения кантонов: (Женевского кантона, например http://ge.ch/justice/dans-la-jurisprudence).
52. Постановка этих вопросов также зависит от уровня юрисдикции. Значение характеристики решений судей нижестоящих судов не может быть тем же, что и для судей верховных судов или международных судов. Например, Европейский Суд по правам человека позволяет осуществить поиск решений по фамилиям судей из состава суда, принявшего решение, но не позволяет рассчитать статистические данные, относящиеся к конкретному судье <29>. С другой стороны, в странах, где судебные органы не знакомы с практикой вынесения особых мнений (существующей в рамках этого международного суда), может показаться несправедливым возлагать личную ответственность на судью, оказавшегося в меньшинстве при обсуждении решения в рамках коллегиального принятия решения по делу.
<29> Решения Европейского Суда по правам человека носят коллегиальный характер. Публикации включают вынесенные особые мнения.
53. Эти обсуждения были четко обозначены в исследовательских задачах профессора Лоика Кадиета во Франции. Выводы исследования не радикальны, поскольку в отчете рекомендуется не запрещать принцип публикации, а лишь закрепить ее за некоторыми видами судебных разбирательств, а для некоторых — ее исключить (например, для специализированных уголовных дел). Была предложена возможность опубликования только фамилий судей Верховного суда, хотя было подчеркнуто, что это может стать «путем в один конец».
54. В нынешнем виде можно было бы применить только принцип предосторожности для оценки интереса публикации имен специалистов в зависимости от вида судебного разбирательства и уровня юрисдикции в загружаемой базе данных. Аналогичным образом нельзя исключать возможность того, что сами судебные учреждения или уполномоченные третьи лица будут использовать эту информацию вне контекста открытых данных для получения информации о судебных решениях.
55. В любом случае публикация подобного рода данных все еще нуждается в рассмотрении с точки зрения применимых европейских норм о защите персональных данных, таких как Конвенция № 108, Общий регламент ЕС по защите персональных данных, а также Директива 680/2016.
3. ХАРАКТЕРИСТИКИ ФУНКЦИОНИРОВАНИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА (МАШИННОЕ ОБУЧЕНИЕ) ПРИМЕНИТЕЛЬНО К СУДЕБНЫМ РЕШЕНИЯМ
Цель этой главы — прояснить природу программного обеспечения, характеризующегося как «прогностическое» — иногда «бета-версии», т.е. на стадии разработки, как с точки зрения его потенциала, так и с точки зрения пределов его возможностей. Она призвана дать простое объяснение алгоритмов машинного обучения, лежащих в основе автоматизированного анализа судебных решений.
3.1. Теоретические функциональные возможности программного обеспечения так называемого прогностического правосудия
56. В качестве введения следует кратко рассмотреть заявленные функциональные характеристики так называемого прогностического программного обеспечения. В них предлагается установить вероятность успеха (или провала) дела в суде. Эти вероятности устанавливаются путем статистического моделирования на основе предыдущих решений с использованием методов, взятых из двух специализированных областей информатики: обработка естественного языка и машинное обучение. Эти подходы к моделированию часто называют искусственным интеллектом (ИИ), на самом деле речь идет о «слабом» искусственном интеллекте (см. глоссарий).
57. Следует сразу же уточнить, что термин искусственного интеллекта обсуждается экспертами, поскольку он приводит ко многим неясностям. Термин «искусственный интеллект» теперь используется в нашем повседневном языке для описания широкого спектра наук и технологий, которые позволяют компьютерам побеждать лучших чемпионов в игре Go <30>, управлять автомобилем, общаться с людьми. Исследователи со своей стороны предпочитают определять различные конкретные области применения с помощью определенных технологий, лежащих в их основе, включая машинное обучение, и иногда называют все эти узкоспециализированные ресурсы искусственного интеллекта «слабыми» (или «умеренными») ИИ, что их отличает от конечной цели, по-прежнему существующей только в теории, заключающейся в создании «сильного» ИИ, т.е. самообучающейся машины, способной автоматически постичь мир в целом, во всей его сложности.
<30> https://www.nature.com/articles/nature16961
58. Что касается непосредственно правосудия, то системы так называемого прогностического правосудия задуманы для использования юридическими департаментами, страховщиками (как для их внутренних нужд, так и для страхователей), а также юристами для прогнозирования результатов судебных разбирательств. Они могли бы также помогать судьям при принятии ими решений.
59. Они обеспечивают графическое представление вероятности успеха для каждого исхода спора на основе критериев, введенных пользователем (специфических для каждого типа спора). Утверждается, что эти системы способны рассчитать вероятную сумму компенсации, устанавливаемой судами.
3.2. Практическое функционирование искусственного интеллекта: статистические механизмы построения моделей в ретроспективе
60. Необходимо с самого начала провести различие между тем, что относится к «предсказыванию», и тем, что относится к «прогнозированию». Предсказывание — это объявление того, что произойдет (prae, т.е. раньше — dictare, т.е. говорить) до наступления будущих событий (по сверхъестественному вдохновению, ясновидению или предчувствию). Прогнозирование же само по себе является результатом наблюдений (visere, видение) за набором данных для того, чтобы предусмотреть будущую ситуацию. Такое языковое злоупотребление и распространение этого феномена, по-видимому, могут быть объяснены переносом термина из области «точных» наук, где этот термин соотносится к множеством техник «науки о данных», основанных на математике, на статистике и теории игр, которые анализируют нынешние и прошлые факты для выдвижения гипотез в отношении содержания будущих событий.
61. Следует также отметить, что логика работы программного обеспечения для прогнозирования правосудия в основном построена на генеративных (обычно называемых байесовскими) или же на дискриминационных методах, которые дают оценку текущему или будущему диапазону значений переменной (например, результат процесса) на основе анализа предыдущих примеров.
62. Вообще говоря, также важно помнить «об антропоморфном представлении о том, что вычислительные машины обладают интеллектом и что их разработчики сумели заложить разум внутрь своих механизмов» <31>. К сожалению, такая идея все еще пронизывает множество высказываемых аналитических мнений относительно прогностического правосудия, которые предписывают этим устройствам практически возможности для немедленного или будущего воспроизведения человеческого интеллекта. Этот контекст, подпитываемый каждый день новыми революционными достижениями в области ИА <32>, заставляет всех нас подходить к подобным средствам прогнозирования с определенной дозой мистики, сознательно или нет, иногда утверждая, что то, что не всегда возможно сегодня, неизбежно будет возможно завтра.
<31> Dominique Cardon, A quoi rêvent les algorithmes, nos vies \text{а} l'heure des big data, La République des idées , Editions du Seuil, 2015, p. 58.
<32> «AlphaZero: I'IA de DeepMind apprend et maotrise le jeu d'échecs en moins de 4 heures», Génération NT, article published on 8 December 2017, [Online], https://www.generation-nt.com/alphazero-ia-deepmind-maitrise-echecs-4-heures-actualite-1948919.html (ссылка от 14 декабря 2017 года).
63. На самом деле так называемых сильных ИИ из научно-фантастической литературы не существует. Этот тип искусственного интеллекта, который был бы оснащен не только интеллектом, но и сознательностью, остается чисто вымышленным. Разрабатываемые в настоящее время системы машинного обучения, характеризуемые как «слабый» ИИ, способны извлекать сложные тенденции, обучаться, эффективно используя большие объемы данных и часто с высоким уровнем точности прогнозирования.
64. Чтобы преодолеть любые инстинктивные или фантазийные соображения, эти технологии обработки и анализа информации должны пониматься на основе следующих трех понятий:
- ИИ не является единым, однородным объектом: на самом деле он представляет собой совокупность наук и методов (математика, статистика и информатика), способных обрабатывать данные для разработки очень сложных задач компьютерной обработки;
- механизм ИИ сам по себе не представляет собой разум, а функционирует через индуктивный подход: идея состоит в том, чтобы связать более или менее автоматическим способом набор наблюдений (исходных данных) с множеством возможных результатов (выходных данных) с помощью различных предварительно настроенных свойств; в частности, в том, что касается «предсказуемого правосудия», система устанавливает связи между различными лексическими группами, составляющими судебные решения. Эти группы соотносятся между собой при их идентификации на входе (факты и обоснование) и на выходе (постановляющая часть решения) и затем классифицируются;
- надежность построенной модели (или функции) в значительной степени зависит от качества используемых данных и выбора метода машинного обучения.
65. Стоит кратко вернуться к предшественникам этих систем — экспертным системам (ЭС), которые, в свою очередь, опирались на правила обработки, написанные программистами. ЭС быстро развивались в конце 80-х и в 90-х годах, особенно в области медицины и финансов <33>. Эти системы смогли ответить на специфические вопросы и давали обоснование на основе известных фактов, выполняя предопределенные «двигателем» правила кодирования. Несмотря на успех ЭС, таких как Deep Blue против Гарри Каспарова в серии шахматных игр 1997 года, эти системы потерпели крах, в частности, потому, что не смогли интерпретировать «бесконечное разнообразие ситуаций и контекстов» <34> и стали неэффективными за пределом 200 — 300 правил кодирования как с точки зрения производительности исполнения, так и обслуживания (логика системы стала практически недоступной для ее разработчиков).
<33> Примером может служить «Высокочастотная торговля (HFT)», которая представляет собой разновидность финансовых операций, осуществляемых на высокой скорости с помощью программного обеспечения на основе алгоритмов. В 2013 году и в Европе 35% сделок уже было совершено с HFT. В США на долю HFT приходится 70% объема торгов на фондовом рынке. С учетом автоматизации операций падение еще более ускоряется в случае аварий, как это было во время финансового кризиса 2007 года.
<34> Hubert Dreyfus, What Computers Still Can't Do. A Critique of Artificial Reason, Cambridge, The MIT Press, 1992 cited by Dominique Cardon in A quoi revent les algorithmes, nos vies \text{а} l'heure des Big Data, p. 59.
Рис. 2. Старые экспертные системы были запрограммированы на основе правил, воспроизводящих логику правового обоснования
66. Сегодня идея заключается уже не в том, чтобы писать правила обоснования, отражающие человеческое мышление, как в старых экспертных системах <35>, а в том, чтобы позволить самим системам машинного обучения распознать существующие в данных статистические модели и сопоставлять их с конкретными результатами.
<35> Правила письменной обработки могут основываться на специфическом коде на разных языках программирования, таких как ЛИСП (LISP) или редакторах для моделирования правил. См., например, Radboud Winkels, «CLIME: Un projet de développement de serveurs juridiques intelligents», in Danièle Bourcier, Patricia Hasset and Christophe Roquilly (eds.), Droit et intelligence artificielle, 2000, Romillat, p. 59.
Рис. 3. Машинное обучение самостоятельно создает модели путем автоматического поиска взаимосвязи между данными и результатом
67. При этом такие системы не воспроизводят и не моделируют обоснования (например, правовые). К примеру, современные онлайн-переводчики не осуществляют абстрактного обоснования. Они позволяют сделать вывод о вероятной оценке наилучшего соответствия между группами лексических структур и уже выполненными переводами. Очевидно, что действия пользователей способствуют улучшению поиска, но алгоритм машинного обучения на самом деле не выполняет перевод, понимая смысл обрабатываемых предложений <36>.
<36> Li Gong, «La traduction automatique statistique, comment ça marche?». Interstices.info, published on 29 October 2013. [Online], (дата последнего посещения страницы: 14 декабря 2017 года).
68. Этот пример показывает, каким разным может быть подход юристов и исследователей: юрист будет стремиться понять эффективность уже существующих правил, которые исследователь может обеспечить на языке своей науки, используя свои возможности интерпретации на основе множества параметров системы машинного обучения.
69. Машинное обучение — это область компьютерных наук, в которой компьютерные программы учатся на основе опыта. Данные алгоритмы заставляют машину выполнять тренировочный процесс, подобно тому, как ребенок учится в своей среде. В целом эти методы обучения факультативно могут контролироваться человеком. Наиболее заметной категорией машинного обучения в настоящее время является обучение, при котором не оказывается контролирующего давления: машина пожинает только виртуальные «награды», если в данной среде действие приводит к ожидаемому результату. Машинные методы обучения, включающие нейронные сети (или их более сложную версию, известную как глубинное обучение), которые были достаточно широко медиатизированы в связи с их автономностью и довольно яркими приложениями, как, например, то, которому удалось получить высокие баллы в старых видеоиграх Atari 2600 <37> (основанному исключительно на пиксельном позиционировании и оценках). Другие виды практического применения этих технологий уже оказывают влияние на нашу повседневную жизнь и начинают появляться в профессиональном мире правосудия» <38>.
<37> https://www.nature.com/articles/nature14236.
<38> Искусственный интеллект компании IBM Watson, предоставляющей услуги в медицинской сфере и лежащей в основе поисковой системы под названием «Росс», представленной в виде «виртуального» юриста — Roos, «Do more than humanly possible» [Online] http://rossintelligence.com (дата последнего посещения страницы: 14 декабря 2017 года).
70. Однако эти алгоритмы остаются специализированными на одной задаче и представляют собой проблемы распознавания в хаотичных ситуациях или при недостаточном количестве данных для «прогнозирования» (как, например, фактическое понимание естественного языка). В области социальных наук, к которым принадлежат право и правосудие, провал неизбежен в отсутствие убедительной модели познания. По мнению Пьера Леви, искусственный интеллект, по сути, состоит в предоставлении разнородного инструментария (логические правила, формальные синтаксисы, статистические методы, нейро- или социально-биологическое моделирование и т.д.), который не предлагает общего решения проблемы математического моделирования познания человека <39>. Таким образом, реальное прогностическое обучение должно в действительности основываться на хорошем системном представлении мира, что, по мнению исследователя ИИ Яна ЛеКуна, является фундаментальной научной и математической проблемой, а не вопросом технологии <40>.
<39> Pierre Lévy , «Intelligence artificielle et sciences humaines», Pierre Levy's blog. 8 October 2014. https://pierrelevyblog.com/2014/10/08/intelligence-artificielle-et-sciences-humaines/ (дата последнего посещения страницы: 30 декабря 2017 года).
<40> Yann LeCun, «Qu'est-ce que l'intelligence artificielle», research published on the Collége de France website, [Online], https://www.college-de-france.fr/media/yann-lecun/UPL4485925235409209505_Intelligence_Artificielle Y._LeCun.pdf (дата последнего посещения страницы: 14 декабря 2017 года).
71. Более того, уникальность современных больших систем обработки данных заключается в том, что они не пытаются воспроизвести нашу модель познания, а создают контекстную статистику на новых объемах данных, без какой-либо реальной гарантии исключения ложных корреляций <41>.
<41> Dominique Cardon, ibid., c. 60.
72. Считается, что статистические и вероятностные модели совершенствуются за счет увеличения объема подаваемых на них данных, но, несмотря на это, некоторые математики предупреждают о рисках увеличения ложных корреляций в больших данных (т.е. связей между факторами, не обязательно имеющими причинно-следственной связи). Математики Кристиан Сорин Калуде и Джузеппе Лонго указывают даже на риск возникновения «большого потока ложных корреляций в больших данных»: «чем крупнее база данных, используемая для корреляции, тем больше шансов найти повторяющиеся закономерности и тем больше вероятность ошибок» <42>. То, что может показаться закономерностью для ИИ (повторяющиеся ссылки между различными данными, концепциями, контекстами или лексическими группами), на самом деле может быть случайностью. Даже если не обобщать слишком поспешно аргумент, выдвинутый математиками, стоит обратить внимание на то, что они отмечают, что в некоторых обширных наборах чисел, точек или объектов появляются случайные повторяющиеся модели, и алгоритмически отличить их от моделей, выявляющих причинно-следственные связи, не представляется возможным <43>.
<42> Cristian Sorin Calude, Giusseppe Longo, «Le déluge des corrélations fallacieuses dans le big data», in Bernard Stiegler (dir.) (2017), La toile que nous voulons, FYP editions, p. 156.
<43> Theory of «Ramsey», Ronald L. Graham, Joel H. Spencer — «Ramsey Theory», Scientific American, vol. 263, No. 1, July 1990, p. 112 — 117 cited by Cristian Sorin Calude, Giusseppe Longo, «Le déluge des corrélations fallacieuses dans le big data», ibid.
73. Наконец, алгоритмы, каков бы ни был их нынешний уровень сложности, все равно автоматически сводятся ко взаимодействию, установленному на этапе обучения и, следовательно, к их прошлому. Поэтому содержание и качество потоков данных, используемых при составлении расчетов, имеют основополагающее значение для понимания полученных результатов и выявления возможных аналитических отклонений. Здесь также возникает много проблем, поскольку при исчерпывающем подходе анализ максимально возможного объема данных, касающихся того или иного действия, даст результаты, значение которых необходимо прояснить в отношении всех факторов, оказавших на него влияние. При более ограничительном подходе, при котором отбираются входящие данные, риски будут также возникать в результате компромиссных отклонений, необходимых для выбора одних данных в ущерб другим.
4. МОЖЕТ ЛИ ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ЗАРАНЕЕ СМОДЕЛИРОВАТЬ ПРАВОВОЕ ОБОСНОВАНИЕ?
74. Континентальные правовые системы далеки от идеала рациональности, воплощенного, например, в Гражданском кодексе 1804 года во Франции. Существует множество источников, которые не вполне соответствуют друг другу и относятся к набору правил, смысл которых остается очень неопределенным, которые теоретик права Герберт Л.А. Харт называл «открытой текстурой права» <44>. Системы общего права, хотя и считаются более «экономически» эффективными, поскольку динамично адаптируются к новым правовым потребностям <45>, также развиваются и не обеспечивают большей правовой определенности. Поэтому правовые нормы развиваются нелинейно в отличие от эмпирических законов («точных наук»), в которых зачастую каждое новое правило дополняет предыдущие и не лишает законной силы весь набор рассуждений.
<44> Herbert L.A. Hart (1976), Le concept de droit, Saint-Louis university departments, Brussels.
<45> https://www.contrepoints.org/2014/08/15/177160-common-law-contre-droit-civil-lexperience-francaise-de-lancien-regime.
75. Напомним, что, столкнувшись с этой общей проблемой правовых систем, старые цифровые экспертные системы быстро доходили до предела своих возможностей, обрабатывая максимум от 200 до 300 логических правил. Разделение закона на «производственные нормы» оказалось недостаточным для того, чтобы дать достоверное представление о совокупности знаний и методов, которыми руководствуется юрист.
76. Следовательно, если цифровое моделирование современных правовых систем оказывается невозможным, прогнозирование рассуждений судей также не представляется реальным. Как подчеркивалось в теории права, судебное обоснование — это, прежде всего, вопрос оценки и толкования доказанных и относимых фактов дела, применимых норм права (текстовых или прецедентов), значение которых, как уже говорилось, остается очень неопределенным <46>, а также субъективного толкования судьями концепции справедливости, которая должна претерпевать новые изменения в Европе с требованием «контроля пропорциональности», поддерживаемым Европейским Судом по правам человека.
<46> По этим вопросам: Michel Troper (2001), La théorie du droit, le droit, l'Etat, PUF, Paris, spec. p. 69 — 84.
77. Хавьер Линант де Бельфонд подчеркивал, что «сложность закона заключается в его телеологической и спорной природе: два последовательных аргумента могут привести к различным решениям в зависимости от двух различных приоритетов <47>.»
<47> Xavier Linant de Bellefonds (1994), «L'utilisation des systèmes experts en droit compare», Revue internationale de droit compare, vol. 46, № 2, p. 703 — 718.
78. Это объясняется тем, что знаменитый юридический силлогизм является скорее способом представления юридического обоснования, нежели его формальным переводом. Он не отражает в полной мере аргументацию судьи, которая фактически состоит из множества влияющих на принятие решения факторов, не может быть априори формализована, а иногда и основана на его усмотрении. Каковы относимые факты? Доказаны ли эти факты? Какое правило применимо к ним? Каково значение этого правила в отношении дела, подлежащего рассмотрению? Какой источник должен преобладать между целым рядом конфликтующих источников? Общая согласованность судебных решений не гарантирована и зависит скорее от последующего письменного воспроизведения, используемого в доктрине и в обоснованиях судей скорее для убеждения в обоснованности конкретного решения, чем для четкого и объективного описания всех этапов, приведших к принятию решения.
79. Однако эта работа по интерпретации является именно тем, чего не делают и не пытаются делать сегодня техники машинного обучения, поскольку, как мы видели, они осуществляют автоматизированную обработку, при которой соотношение огромных объемов информации должно заменить понимание реальных причин принятия решения. Они не пытаются формализовать юридическое обоснование, но надеются, что полученные ими модели могут предвосхитить возможные решения судьи в аналогичных ситуациях.
80. Результаты, к которым приходит ИИ, на самом деле не связаны с вопросом соответствия конкретного решения закону и не могут различать законные и незаконные аргументы.
81. Обзор работ Лондонского университетского колледжа (UCL) по решениям Европейского Суда по правам человека подтверждает этот диагноз. В исследовании UCL предполагалось, что простая автоматическая модель обучения может предсказать исход дела с точностью в 79% для данного конкретного суда. Модель машинного обучения оказалась более точной в отношении описательной части фактов изученных решений, чем в отношении аргументации, связанной с применением Конвенции в данном случае <48>.
<48> Работа над выборкой из 584 решений Европейского Суда по правам человека: Nikolaos Aletras, Dimitrios Tsarapatsanis, Daniel Preoþiuc — Pietro , Vasileios Lampos, «Predicting judicial decisions of the European Court of Human Rights: a Natural Language Processing perspective», published on 24 October 2016, [Online], https://peerj.com/articles/cs-93/ (дата последнего посещения страницы: 14 декабря 2017 года).
82. Рассмотрение терминов на предмет установления факта «нарушения» (с положительным взвешиванием) и с ненарушением Европейской конвенции по правам человека (с отрицательным взвешиванием) однозначно проясняет действующую систему, которая не сопоставима с юридическим обоснованием.
Рис. 4. Иллюстрация работы UCL — теоретический вес, присвоенный словам или терминам в зависимости от их связи с констатацией нарушения или ненарушения Европейской
конвенции по правам человека
- Позитивные обязательства государства + 13,50
- Обработка представителями гос. власти + 10,20
- Условия заключения + 11,70
- Обеспечения исполнения национальных приговоров и разумное время + 11,70
- Доказательства — 15,20
- Вынесение приговора — 17,40
- Нарушение ст. 2 - 11,40
83. Дело в том, что непосредственно выбор относимых фактов и их толкование составляют одну из составляющих решения судьи. Другими словами, исследование UCL в действительности смогло произвести вероятностные исчисления только с лексическим материалом, по большей мере взятым из обоснования и мотивировки судьи, а не истца, который был собран только на основе частоты упоминания. Таким образом, их ИИ показал высокую вероятность соответствия между группами слов и уже формализованным решением. Ни при каких обстоятельствах оно само по себе не может ни воспроизвести аргументацию европейских судей, ни тем более предсказать исход, например, на основании одного лишь цитирования заявителя в Страсбургском суде, жалоба которого будет подлежать очень строгому рассмотрению на предмет приемлемости (почти 70 356 жалоб было объявлено неприемлемыми или было исключено из списка рассматриваемых дел в 2017 году <49>) на основе применения стандартов оценки (важность и серьезность мотивов, изложенных в жалобе и т.д.), занимающих значительное место в процессе принятия решения.
<49> Источник: Статистический анализ ЕСПЧ за 2017 г., выпуск от января 2018 г.
5. МОЖЕТ ЛИ ИИ ОБЪЯСНИТЬ ПОВЕДЕНИЕ СУДЕЙ В РЕТРОСПЕКТИВЕ?
84. С научной точки зрения объяснение того или иного явления или в том, что касается нас самих, объяснение человеческого поведения равнозначно определению причинно-следственных механизмов, приведших к такому поведению, с использованием определенного объема контекстуальных данных.
85. Если описать этот процесс схематично, то это требует, прежде всего, построения интерпретационного контекста, который, в свою очередь, вытекает из неоднократных наблюдений за событиями такого рода или поведением в присутствии определенных факторов или элементов. Рамки толкования состоят из гипотез или точек зрения, принятых в различных социальных науках. Это дополнительный этап анализа, который может быть использован в алгоритмах, но который они не могут выполнить в одиночку.
86. Некоторые юридические технологические компании пошли дальше и решили, что смогут выявить возможные личные предубеждения судей и подпитать подозрения в предвзятости. Размещение в открытый доступ имен некоторых председателей судебных коллегий, рассматривающих дело в административных судах первой и апелляционной инстанций во Франции, позволило разработать показатель уровня отклонения принятых административными органами Франции апелляций в связи с обязательствами покинуть французскую территорию. Некоторые комментаторы горячо утверждают, что таким образом искусственный интеллект «поставил под сомнение беспристрастность судей».
87. Но действительно ли такие интерпретации могут быть достигнуты на основе алгоритмической обработки судебных решений? Для того, чтобы дать характеристику личной предвзятости в процессе принятия решения судьями (естественно, не имеющей отношения к их личным и публичным заявлениям по данному делу), необходимо дать оценку их поведению в связи с принятием конкретного решения, личностными особенностями, взглядами или же религиозной принадлежностью. Однако, как уже говорилось, такое причинно-следственное объяснение нельзя просто вывести из вероятностного результата, полученного с помощью алгоритмов. Напротив, оно требует дополнительной аналитической работы, которая может позволить выделить из множества взаимосвязанных факторов (включая личность членов коллегии судей) те, которые действительно оказали воздействие. Например, тот факт, что судья по семейным делам статистически чаще принимает решение о том, что дети должны жить с матерью, не обязательно отражает предубеждения судьи в пользу женщин, а скорее наличие психосоциальных, экономических и даже культурных факторов, присущих данной юрисдикции, таких, как продолжительность рабочего дня каждого из родителей, уровень их доходов, наличие на местах системы коллективного ухода за детьми младшего возраста, а также то, посещает ли ребенок школу, находится ли один из родителей в новых отношениях или даже просто отсутствие интереса одного из родителей в уходе за ребенком.
88. Аналогичным образом решения о высылке из страны, принятые административным судом, расположенным вблизи крупного центра содержания под стражей, не могут быть справедливо сопоставлены с решениями суда, рассматривающего такие споры лишь изредка.
89. Кроме того, независимо от места нахождения суда, вопрос о «судебной практике» одного судьи, который работает на подмене и занимается лишь изредка определенными видами споров, но учитывает (или игнорирует) судебные решения, вынесенные его коллегами, представляет особый интерес и может закономерно поставить вопрос о равенстве граждан перед судебной системой, но относится скорее к судебной культуре «коллегиальности» при разработке прецедентов или сохранении старого подхода, а не к ее «классификации» или «стигматизации» посредством инструментов машинного обучения.
90. Наконец, что можно вынести из информации о личности председателя коллегии судей при коллегиальном принятии решения, когда его имя является единственным именем, которое видно в открытых административных судебных решениях?
91. Каким образом можно сравнить два различных философских и культурных подхода к судебным решениям, в соответствии с которыми в некоторых европейских странах, включая Францию, в области административного правосудия существует культура «прецедентов» и подробного ознакомления судей с базами фактических данных всех решений первой и второй инстанций (база данных Ариан), в то время как в других странах или системах отдают предпочтение «интеллектуальной» независимости каждого суда наряду с желанием рассматривать каждую конкретную ситуацию «на индивидуальной основе»?
92. Поэтому предоставление точного объяснения решения суда требует гораздо более детального анализа данных, характеризующих каждое дело и применимых норм права, не стоит питать напрасные надежды на то, что смысл родится из массы данных.
6. КАКИМ ОБРАЗОМ ИИ ДОЛЖЕН ПРИМЕНЯТЬСЯ В ГРАЖДАНСКОЙ, КОММЕРЧЕСКОЙ И АДМИНИСТРАТИВНОЙ ЮСТИЦИИ?
93. Как видим, первый вопрос, возникающий при таком использовании искусственного интеллекта, заключается не столько в том, чтобы узнать, является ли он полезным или вредным, желательным или нет, сколько в том, чтобы понять, могут ли предлагаемые алгоритмы привести к желаемому результату. Выводы экспериментов, проведенных в апелляционных судах Дуэ и Ренн во Франции, ясно показывают, что наличие рекламирующего, привлекающего внимание описания продукта, представленного как основанного на ИИ, может скрыть неисправимые дефекты дизайна и абсолютно ошибочные результаты анализа.
94. Независимо от качества протестированного программного обеспечения прогнозирование решений судей по гражданским, коммерческим и административным вопросам представляется потенциально желательным по совершенно разным причинам как для лиц, занимающихся государственной судебной политикой, так и для специалистов в области частного права.
95. Каковы бы ни были правовые традиции страны, судебная неопределенность, т.е. риск того, что иск будет удовлетворен или отклонен, возникает желание иметь возможность количественно оценить эти факторы с помощью данных новых технологических приложений.
96. Адвокаты (или юридические отделы компаний) видят здесь возможность предоставления своим клиентам более детальных консультаций путем эмпирической и систематической оценки шансов на успех процесса, полезный механизм при заключении сделок, а также возможность выбора заключения мирового соглашения, позволяющего избежать долгого и дорогостоящего судебного разбирательства. Некоторые страховщики уже предлагают своим клиентам использовать системы прогнозирования для оценки сильных сторон их дела <50>.
<50> Например, программное обеспечение Predictive предлагается страхователям Allianz.
97. В то же время принимающие решения государственные органы рассматривают это как возможность более эффективно регулировать поток новых судебных процессов и обзавестись рычагом сокращения текущих судебных расходов. Таким образом, на основе этой информации можно было бы побудить стороны к обращению к альтернативным методам регулирования споров (примирение, медиация или арбитраж) <51>.
<51> В этой связи см. информационный доклад № 495 (2016 — 2017 годы), подготовленный от имени Комиссии по законодательству Сената и представленный 4 апреля 2017 года сенатором Филиппом Басом, Франция.
98. Подход, который уже существует во многих судебных системах и который предусматривает унификацию решений согласно определенным параметрам по различным делам (развод, увольнение, компенсация за телесные повреждения), можно было бы усовершенствовать за счет вероятностного и актуарного подхода <52>. Были даже созданы альтернативные службы по регулированию споров в режиме онлайн для содействия в оценке размера компенсации в мелких спорах. Эти подходы интересны, но порой они все же не лишены предвзятости, и они не должны лишать граждан доступа к судье или ставить под сомнение принцип состязательности.
<52> Что касается актуарного подхода, в предложении Case Law Analytics заявляется, скорее, возможность оценки уровня риска, нежели прогнозирования возможного исхода дела.
6.1. Новый инструмент вычисления для составления шкалы анализа
99. Порядок расчета оценочной шкалы по различным гражданским делам (например, компенсация за телесные повреждения, компенсационное пособие и выходное пособие), по-видимому, может быть значительно усовершенствован в сочетании с другими методами обработки и с учетом многочисленных мер предосторожности при разработке и использовании (так называемый перформативный эффект) <53>.
<53> Перформативный эффект или эффект самореализации — это риск того, что система будет систематически давать один и тот же результат, постепенно оказывая влияние на производителей входной информации; этот эффект часто упоминается в отношении судебных шкал, которые, будучи основаны на решениях, базирующихся на этих шкалах, имеют тенденцию воспроизводить сами себя.
100. Важно отметить, что именно председатель рабочей группы ЕКЭП по оценке Жан-Поль Жан назвал «качественным вызовом» в ходе семинара по открытым данным, состоявшегося в 2016 году во Франции: процедура, проводимая с помощью машинного обучения или любого другого метода обработки, должна осуществляться на базе сертифицированных оригиналов, целостность которых была проверена и которые были дополнены с той целью, чтобы отличить важные данные от несущественных <54>.
<54> J.-P. Jean, «Penser les finalités de la nécessaire ouverture des bases de données de jurisprudence», Conference of 14 October 2016 held at the Court of Cassation, https://www.courdecassation.fr/IMG///Open%20data,%20par%20Jean-Paul%20Jean.pdf, page accessed on 17 March 2018.
101. Другой риск, с которым уже сталкивались разработчики этих инструментов, заключается в том, что можно поддаться «отслеживанию данных», а именно предварительному отбору тех данных, которые могут иметь значимость в свете заранее определенных аналитических сеток, например, путем исключения из выборки решений, которые плохо поддаются машинному изучению или иному методу обработки (например, решения без представления результатов судебного разбирательства или с незначительным обоснованием).
102. Но если мы рассчитываем шкалу, не создаем ли мы тем самым уже небольшой «прогноз»? Граница может показаться относительно расплывчатой, если мы четко не определим конечную цель процесса: цель здесь заключается не в предоставлении предписывающей информации, а в предоставлении информации о положении дел.
103. При условии соблюдения этих методологических и пользовательских мер предосторожности шкалы могут представлять из себя мощный инструмент гармонизации судебной практики. Рассчитываемые ранее на основе более или менее узкой выборки решений инструменты на основе ИИ позволяют исследовать большее количество решений и позволяют создать более точные шкалы благодаря более значительному обновлению информации.
6.2. Урегулирование споров в режиме онлайн
104. Все европейские суды в разной степени сталкиваются с повторяющимися малозначительными гражданскими тяжбами. Идея облегчения работы в подобных процессах с помощью информационных технологий и/или перенос их из судов получила довольно широкое распространение. Великобритания, Нидерланды и Латвия являются примерами стран, которые уже внедрили или планируют внедрить такие более или менее автоматизированные решения <55>. В отношении трансграничных требований Европейский союз создал на основе Регламента № 524/2013 общую процедуру, доступную в Интернете (европейские малые требования).
<55> См. с этой целью процедуру урегулирования споров в режиме онлайн, имеющуюся в Соединенном Королевстве - https://www.judiciary.gov.uk/wp-content/uploads/2015/02/Online-Dispute-Resolution-Final-Web-Version1.pdf.
См. также систему «АР» Нидерландов, которая выдает автоматизированные решения на основе ранее выданных разрешений и которая привела к судебным разбирательствам на национальном уровне и в Суде ЕС: имеются два дела (c-293/17 и c-294/17), представленные в Государственный совет Нидерландов (фермеры/охрана природы против Нидерландов) для определения того, позволяет ли система (Программа регулирования азота) определить, нарушают ли фермеры директиву «habitat». Недавно Суд Европейского союза в Люксембурге ответил на просьбы о вынесении предварительного решения по этим делам (ECLI:EU:C:2018:882).
105. Однако сфера охвата этих услуг по урегулированию споров в режиме онлайн (online dispute resolution — ODR), по-видимому, постепенно все-таки расширяется: от ограниченных онлайновых услуг она переходит к альтернативным мерам урегулирования споров (alternative dispute resolution) для досудебного разрешения спора, и эти предложения в настоящее время все больше внедряются в сам судебный процесс, также готовый предоставить услугу так называемого электронного суда <56>. Они касаются не только мелких споров, но и применяются также в отношении налоговых споров или разбирательств, связанных с социальным обеспечением или бракоразводным процессом.
<56> Darin Thompson, «Creating new pathways to justice using simple artificial intelligence and online dispute resolution», Osgoode Hall Law School of York University.
106. Для тех, кто выступает за такие решения, представляющие интерес для ряда специалистов в области юриспруденции и для частного сектора, доступ к правосудию может быть значительно улучшен благодаря широкому решению, сочетающему ODR и ИИ (или, по крайней мере, экспертные системы, см. выше различие в разделе 3). Идея состоит в том, чтобы провести заявителей через автоматизированную диагностику спора путем постановки ряда вопросов, которые затем обрабатываются машиной, в результате чего появляются предложения по решению. Хорошей иллюстрацией гибридизации является работа лаборатории Киберюстиция Монреаля, которая объединяет различные этапы досудебного и судебного разбирательства в рамках компьютеризованного процесса урегулирования незначительных споров (например, в мировых судах Квебека) <57>. По словам разработчиков, есть очевидные преимущества с точки зрения эффективности и качества.
57 http://www.cyberjustice.ca/projets/odr-plateforme-daide-au-reglement-en-ligne-de-litiges/
107. Но на какой основе будет рассчитываться вероятная компенсация, предложенная такой системой? По какому методу? Справедливо ли алгоритм обрабатывает информацию? Предполагается ли обсуждение предложения на состязательной основе при помощи подготовленной и сертифицированной третьей стороны? Остается ли возможен доступ к судье? Некоторые авторы даже рассматривают широкое использование этих методов разрешения споров как новое проявление цифрового «разрешительного подхода», т.е. систематическое использование технологий для попытки решения проблем, которые не обязательно входят в сферу их применения <58>. Следует также отметить, что в Европе недавно была создана обеспечивающая большую защиту регламентация, имеющая обязательную силу для государств-членов: статья 22 Плана мониторинга безопасности данных четко предусматривает, что участники процесса имеют право отказаться от того, чтобы решение было принято исключительно на основе автоматизированной обработки данных, за некоторыми исключениями <59>.
<58> Evgeny Morozov, «Pour tout résoudre cliquez ici», FYP editions, cited by David Larrousserie, «Contre le 'solutionnisme' numérique », Le Monde, 6 October 2014, https://www.lemonde.fr/sciences/article/2014/10/06/contre-le-solutionnisme-numerique_4501225_1650684.html.
<59> Статья 22,1 Регламента ЕС 2016/679: «Субъект данных имеет право не подвергаться решению, основанному исключительно на автоматизированной обработке»; исключения предусмотрены (например, с согласия субъекта данных), но «соответствующие меры по защите прав и свобод субъекта данных и его законных интересов» должны применяться контролером, включая «право субъекта данных на получение вмешательства контролирующего лица, выражение своей точки зрения и на оспаривание решения».
См. также Конвенцию Совета Европы о защите физических лиц в связи с автоматизированной обработкой персональных данных с поправками, внесенными Протоколом, принятым в мае 2018 г. (с момента его вступления в силу). Статья 9, § 1, a) предусматривает принцип, согласно которому «Каждый человек имеет право не подвергаться существенному воздействию решения, которое было вынесено исключительно на основе автоматической обработки данных без учета его точки зрения». Несмотря на этот принцип запрета, статья 9 (2) гласит, что «пункт 1 a) не применяется, если решение вынесено в соответствии с законом, под действие которого попадает лицо, контролирующее обработку, и который также предусматривает соответствующие меры для защиты прав, свобод и законных интересов субъекта данных».
В пояснительном докладе говорится (§ 75): «Важно, чтобы любое лицо, которое может быть подвергнуто исключительно автоматизированному решению, имело право оспорить это решение, изложив свою точку зрения и аргументы. В частности, субъект данных должен иметь возможность доказать возможную неточность персональных данных до их использования, несоответствие профиля, который будет применяться к его конкретной ситуации, или другие факторы, которые окажут влияние на результат автоматизированного решения. Это особенно касается тех случаев, когда применение алгоритмического рассуждения приводит к ограничению права, отказу в предоставлении социальных благ или возможности их получения исключительно на основе программного обеспечения, что в итоге может заклеймить человека. Однако субъект данных не может воспользоваться этим правом, если автоматизированное решение предусмотрено законом, которому подчиняется контролер, и закон предусматривает соответствующие меры по обеспечению прав и свобод и законных интересов субъекта персональных данных».
См. также статью 9, § 1, c) модернизированной Конвенции 108, которая предусматривает право субъекта данных «получать по его запросу обоснование, лежащее в основе обработки данных, если к нему применяются результаты такой обработки». В пояснительном докладе к модернизированной Конвенции (§ 77) уточняется: «Субъекты данных имеют право на получение информации о причинах, лежащих в основе обработки данных, включая последствия этой аргументации и выводы, которые могли быть сделаны из нее, в частности, при использовании алгоритмов для автоматизированного принятия решений, а именно в контексте профилирования. Например, в случае системы кредитных рейтингов заемщики имеют право знать логику обработки своих данных, которая приводит к принятию решения о предоставлении или отказе в предоставлении кредита, а не просто получать информацию о самом решении. Понимание этих элементов способствует эффективному осуществлению других важных гарантий, таких как право на возражение и право на апелляцию в компетентном органе». Эта «необходимость получить полезную информацию, касающуюся основополагающей логики», содержится также в GDR (статья 13, § 1, f; статья 14 § 2, g; статья 15, § 1, h).
108. Поэтому необходимо надлежащим образом оценивать потенциальные преимущества системы ODR, степень ее интеграции в полный судебный процесс (от предварительного разбирательства до полноценного судебного разбирательства) и практически решающую роль ИИ в осуществлении этого процесса в каждом конкретном случае.
109. На самом деле в том, что касается предложений ODR, применяющихся на досудебной фазе, их роль представляется не до конца ясной: она заключается в содействии процессу примирения сторон, посредничеству, третейскому суду. Эти услуги могут также использоваться в ходе судебного разбирательств под судейским надзором, прежде чем судьей будет принято решение по существу спора (для некоторых споров этот этап является обязательным).
110. С другой стороны, следует оценивать фактический вклад ИИ. Стоит ли использовать машинное обучение только для того, чтобы составить ориентировочные шкалы или же для того, чтобы смоделировать будущее решение? Идет ли речь действительно об искусственном интеллекте или же об экспертной системе или просто логических правилах? В любом случае эти системы должны быть совместимы с требованиями прозрачности, нейтральности и лояльности <60>.
<60> Charlotte Pavillon, «Concerns over a digital judge», nrc.nl, https://www.nrc.nl/nieuws/2018/01/19/zorgen-om-populaire-digitale-rechter-a1588963.
111. Наконец, необходимо также изучить вопрос о том, каким образом заявителям предлагается использовать эту систему: существует ли потенциальная путаница в самом названии того, что предлагается? Если говорить о суде, то это должна быть форма организации, определенная Европейской конвенцией по правам человека, а не просто институт частного правосудия под видом государственной юстиции <61>. Ясно ли обозначена возможность судебного обжалования? В Нидерландах частные договоры медицинского страхования, как представляется, автоматически предусматривают возможность обращения к ODR до возбуждения любого судебного иска.
<61> Scarlett-May Ferrié , «Algorithmes tested against fair trial», document consulted on http://lexis360.fr, downloaded on 09/07/2018, §§ 27 — 38.
112. Рабочая группа посредничества ЕКЭП (CEPEJ-GT-MED) предложила в 2018 году первые соображения о вкладе информационных технологий в альтернативные методы урегулирования споров. В настоящее время Европейский комитет по правовому сотрудничеству проводит углубленную работу по ODR для выявления потенциала этих инструментов, а также любых проблемных моментов, связанных с возможными нарушениями статей 6, 8 и 13 Европейской конвенции по правам человека.
6.3. Основные гарантии, которые должны быть подтверждены в ходе гражданского, коммерческого и административного судопроизводства
Право на доступ к суду
113. Предоставление инструментов урегулирования споров в режиме онлайн не должно нарушать право на доступ к суду по смыслу статьи 6, даже если это право не является абсолютным и подразумевается, что оно может быть ограничено <62>. В гражданских делах, например, каждая сторона имеет право передать в суд любой спор, связанный с ее «гражданскими правами и обязанностями» <63>. В 2015 году Парламентская ассамблея Совета Европы приняла резолюцию «Доступ к правосудию и Интернет: потенциал и проблемы», в которой призвала «обеспечить, чтобы стороны, участвующие в процедурах онлайн-разрешения споров, сохраняли право на доступ к процедуре обжалования в суде, удовлетворяющей требованиям справедливого судебного разбирательства в соответствии со статьей 6 Конвенции» <64>.
<62> Пункт 1 статьи 6 Конвенции: каждый имеет право на справедливое и публичное разбирательство его дела... независимым и беспристрастным судом, который принимает решение... по существу любого предъявленного ему уголовного обвинения. Ограничения см. в Постановлении Европейского Суда по делу «Девеер против Бельгии» (Deweer v. Belgium) от 27 февраля 1980 г., жалоба № 6903/75, § 49; Постановлении Большой Палаты Европейского Суда по делу «Карт против Турции» (Kart v. Turkey) от 3 декабря 2009 г., жалоба № 8917/05, § 67.
<63> Постановление Европейского Суда по правам человека по делу «Голдер против Соединенного Королевства» (Golder v. United Kingdom) от 21 февраля 1975 г., жалоба № 4451/70, §§ 28 - 36.
<64> Резолюция 2054 (2015) Парламентской ассамблеи Совета Европы (ПАСЕ), 10 ноября 2015 г., http://assembly.coe.int/nw/xml/XRef/Xref-XML2HTML-EN.asp?fileid=22245&lang=en.
Принцип состязательности
114. В отношении оценочных шкал представляется необходимым сделать определенный объем количественной (например, количество решений, обработанных для получения масштаба) и качественной информации (происхождение решений, репрезентативность отобранных примеров, распределение решений между различными критериями, такими как экономический и социальный контекст) доступными для граждан и, прежде всего, для сторон процесса, чтобы понять, как были построены масштабы, оценить их возможные пределы и иметь возможность обсудить их в суде.
Равенство сторон
115. Использование технических средств не должно приводить к дисбалансу между сторонами. Использование цифровых средств действительно может облегчить процедуры для некоторых операторов (учреждений, компаний, располагающих средствами, лиц, обладающих компьютерной грамотностью) и, наоборот, создать трудности для некоторых категорий населения, которые более или менее знакомы с компьютерами. Важно, чтобы пользователь не оставался один перед экраном, и чтобы он мог быть проинформирован о том, что он может обратиться за юридической консультацией и при необходимости получить помощь.
Беспристрастность и независимость судей
116. Возникает вопрос о том, может ли «норма, выведенная из числа», упомянутая выше в разделе 2.2, косвенно влиять на независимость и беспристрастность судей, особенно в системах, в которых независимость судебных органов не достигается в полной мере. В этих системах нельзя исключать риска того, что такие нормы окажут косвенное давление на судей и будут способствовать их обезличиванию при принятии ими решений, либо же поспособствуют тому, что исполнительная власть будет контролировать тех, кто отклоняется от нормы.
Право на адвоката
В начале этой главы мы упомянули о преимуществах применения инструментов предсказуемого правосудия для юристов и, в частности, о возможности предоставления их клиентам более обоснованных консультаций путем эмпирической и систематической оценки шансов на успех определенного процесса. Тем не менее давайте представим себе дело, в котором шансы на успех для стороны в споре крайне низки: может ли это повлиять на решение адвоката помочь своему клиенту? Профессиональная практика должна быть направлена на сведение к минимуму риска того, что лица, нуждающиеся в юридической помощи, в конечном счете, могут быть ее лишены.
7. ВОПРОСЫ УГОЛОВНОГО ПРАВОСУДИЯ: ПРЕДУПРЕЖДЕНИЕ ПРАВОНАРУШЕНИЙ, РИСК РЕЦИДИВА И ОЦЕНКА УРОВНЯ ОПАСНОСТИ
117. Использование науки и технологий искусственного интеллекта в уголовных делах создает особые трудности, поскольку их применение может отражать некоторые текущие публичные дискуссии по поводу предполагаемой предсказуемости преступного поведения. Тем не менее казалось, что в ряде европейских стран эти споры были разрешены в течение почти 30 лет. Например, в Италии § 2 статьи 220 Уголовно-процессуального кодекса прямо исключает использование экспертного заключения для установления «привычных или профессиональных признаков преступления, тенденции к совершению преступления, характера и личности обвиняемого и, в целом, психологических качеств обвиняемого, независимо от патологических причин». Во Франции, например, доктрина «новой социальной защиты», разработанная Марком Анселем, лежала в основе развития уголовного права: вместо чисто карательного и детерминистского подхода была введена система социальной реабилитации для предотвращения совершения преступления путем недопущения создания условий для его совершения. Этот подход разделяется рядом европейских инструментов уголовной политики, в которых основной акцент в применяемом уголовном наказании ставится на перевоспитание и реинтеграцию правонарушителей <65>.
<65> См. Постановление Большой Палаты Европейского Суда по делу «Винтер и другие против Соединенного Королевства» (Vinter and Others v. United Kingdom) от 9 июля 2013 г., жалобы NN 66069/09, 130/10 и 3896/10, §§ 114 - 118 // Прецеденты Европейского Суда по правам человека. 2017. № 6 (примеч. редактора).
118. Поэтому инструменты уголовного правосудия должны разрабатываться в соответствии с этими основополагающими принципами реабилитации <66>, включая роль судьи в индивидуализации приговора на основе объективных данных о личности (обучение, трудоустройство, регулярное медицинское обслуживание и социальная помощь) без какой-либо иной формы анализа, кроме той, которая проводится специально подготовленными специалистами, такими как сотрудники службы пробации. Эти специалисты могли бы использовать методы анализа больших объемов данных для централизации и сбора информации о лицах, обвиняемых в совершении преступлений или мелких правонарушений, которая потом могла бы храниться в различных учреждениях и ведомствах и затем рассматриваться судьей иногда в очень сжатые сроки (например, в контексте ускоренных судебных процессов).
<66> С другой стороны, следует поощрять использование ИИ в целях лечения и реабилитации (например, для сбора данных о назначенном лечении или методах реинтеграции в тюрьме).
7.1. Инструменты, используемые следственными органами до начала уголовного процесса
119. Инструменты, расцениваемые в качестве «профилактической полицейской деятельности» (до начала судебного процесса или до передачи дела в суд), уже быстро развиваются и начинают становиться известными широкой общественности (вспомним, например, «список запрета на вылет», который фактически представляет собой приложение для анализа «больших данных», собирающее и анализирующее данные о потенциальных террористах с целью предотвращения совершения актов, или же алгоритмы, используемые для выявления фактов мошенничества или отмывания денег).
120. Как правило, многочисленные информационные средства используются для предотвращения совершения преступных деяний (путем выявления возможных мест, где это может произойти, или их потенциальных фигурантов) или для более эффективного судебного преследования <67>. Первая категория включает инструменты «упреждающего полицейского контроля», которые используются для предупреждения определенных видов правонарушений с элементами регулярности их совершения, таких как кражи со взломом, уличное насилие, угон транспортных средств/кражи из транспортных средств. Назначение этих инструментов обусловлено их способностью точно определять, где и когда могут быть совершены эти преступления, и воспроизводить эту информацию на географической карте в виде «горячих точек», мониторинг которых осуществляется в режиме реального времени полицейскими патрулями. Этот процесс называется прогностической картографией преступности. Большая часть программного обеспечения, используемого в этой области, основана на исторических данных о местонахождении преступлений, таких как полицейские отчеты, но еще более мощные новые технологии, объединяющие различные данные и созданные на основе данных из разных источников, также проходят испытания <68>. Эти инструменты, обладающие весьма убедительными показателями эффективности, рикошетом оказывают воздействие на уровень совершения преступлений в районах, прилегающих к «горячим точкам», что позволяет в итоге сделать положительное заключение о проводимой государственной политике <69>.
<67> См. на данную тему Ales Zavrsnik, «Big Data, crime and social control», page 194 et seq., где подробно перечисляется ряд инструментов, используемых полицейскими службами в Европе и США.
<68> Например, в рамках проекта «Электронная безопасность — информационные и коммуникационные технологии для основанной на знаниях и прогнозируемой городской безопасности» (http://www.esecurity.trento.it/), который осуществлялся в итальянском городе Тренто с ноября 2012 года по май 2015 года; база данных, собирающая информацию о преступлениях, доведенных до сведения полиции, результаты исследований, проведенных мэрией города по вопросам виктимизации, а также реальной и воспринимаемой гражданами безопасности, информацию о физических и социальных городских беспорядках, полученную от полиции, а также другие параметры, касающиеся «умного города» (например, информация, касающаяся социально-демографического контекста, городской среды, ночного освещения, наличия камер наблюдения, общественного транспорта и т.д.), была создана с целью более эффективного оснащения работы по предупреждению преступности и повышению безопасности в городах. Руководители проекта подтвердили надежность используемых методов, которые позволяют прогнозировать преступные деяния с коэффициентом успешности около 60 — 65% и которые способствуют повышению эффективности борьбы с преступностью при наличии ограниченных ресурсов. Кроме того, тесты, проведенные в Соединенном Королевстве в рамках пилотного проекта по прогнозированию возможных мест краж со взломом, хищения и нападения, показывают, что используемые программные проекции, называемые PREDPOL, были точными в 78% случаев по сравнению с 51% прогнозов, составленных с использованием традиционных методов.
<69> Указание географической концентрации преступления поможет полиции эффективнее учитывать экологические факторы, повышающие вероятность совершения преступления в выявленном районе (освещение, наличие магазинов и т.д.) и планировать надлежащие ответные меры совместно с другими партнерами.
121. Вместе с тем необходимо рассмотреть возможности «прогнозирования», предлагаемые этими инструментами, которые свидетельствуют об их ограниченных возможностях в отношении преступлений менее регулярного характера или охватывающих различные районы, таких как терроризм. Кроме того, одной из их слабых сторон является эффект «замкнутого круга» и «самоисполняющихся пророчеств»: районы, которые считаются подверженными риску, привлекают больше внимания полиции, а полиция обнаруживает в них больше преступлений, что приводит к чрезмерному полицейскому надзору за проживающим в них населением <70>. Наконец, вопросы о возможной «тирании алгоритма», который мог бы свести к минимуму или даже постепенно заменить процесс вынесения судебного решения человеком, частично присутствуют в самих полицейских службах, даже если в настоящее время технология остается на службе людей, чтобы помочь им в принятии решений <71>.
<70> «Predicting crime, LAPD style», The Guardian, 25 June 2014.
<71> «How technology is allowing police to predict where and when crime will happen», The Independent, 7 October 2017.
122. Кроме того, анализ больших данных все шире применяется в рамках преследования за совершение преступления. Такие инструменты, как Connect, который используется британской полицией для анализа миллиардов данных, полученных в ходе финансовых операций для выявления корреляций или схем операций, или Международная база данных по сексуальной эксплуатации детей (ICSE DB), управляемая Интерполом, которая помогает выявлять жертв и/или преступников посредством анализа, например, мебели и других предметов в изображениях насилия или анализа фонового шума на видео, оказались особенно эффективными в борьбе с преступностью. Например, с помощью программы Connect поиск, для которого ранее требовались месяцы исследований, теперь может быть выполнен за считанные минуты, с очень высоким уровнем сложности и объема данных.
123. Тем не менее эта доктрина ставит под сомнение управленческую логику реагирования на преступления, обеспечиваемую этими инструментами прогнозирования, в соответствии с которой «глубокий анализ причин преступления» становится менее важным, чем «сделать что-нибудь здесь и сейчас», и при которой в контексте сокращения доступного бюджета в замкнутой спирали полиция должна обеспечить населению тот же уровень общественной защиты, но с ограниченным персоналом, оборудованием и ресурсами <72>.
<72> Ales Zavrsnik, «Big Data, crime and social control», page 196.
7.2. Инструменты в ходе уголовного процесса
124. Использование судьями инструментов «прогнозирования» <73> в уголовном судопроизводстве встречается в Европе очень редко.
<73> В литературе эти инструменты часто упоминаются как «алгоритмическое правосудие» или «автоматизированное правосудие», или же «имитация правосудия».
125. Инструмент оценки риска ущерба (HART — Harm Assessment Risk Tool) был разработан в партнерстве с Кембриджским университетом и в настоящее время проходит тестирование в Великобритании. Эта технология, основанная на машинном обучении, была разработана с использованием пятилетних архивов полиции Дарема за период с 2008 по 2012 год. Опираясь на решения, принятые сотрудниками полиции в этот период, и независимо от того, совершили ли некоторые подозреваемые повторное правонарушение, предполагается, что аппарат сможет оценить риск — низкий, средний или высокий — в отношении подозреваемых на основе примерно 30 факторов, некоторые из которых не связаны с совершенным преступлением (например, почтовый индекс, пол).
126. В тестах, первоначально проведенных в 2013 году, в ходе которых поведение подозреваемых наблюдалось в течение двухлетнего периода после совершения преступления, предсказания Инструмента оценки риска ущерба (HART) оказались эффективными на 98% при прогнозировании низкого риска и на 88% при высоком риске рецидивизма. На этом экспериментальном этапе Инструмент оценки риска ущерба будет иметь чисто консультативную ценность для судьи, кроме того, полиция будет регулярно проводить проверки функционирования Инструмента оценки риска ущерба и достоверности его выводов.
127. Даже если на сегодняшний день это единственный инструмент «прогнозирования» в Европе, он дает возможность рассмотреть проблемы, с которыми государственные руководители могут столкнуться в ближайшем будущем, если этот вид применения будет опробован в более широком масштабе, особенно в свете американского опыта.
128. В Соединенных Штатах <74> НПО ProPublica выявила дискриминационные последствия алгоритма, используемого в программном обеспечении КОМПАС (Профилирование исправительных учреждений для альтернативных наказаний), цель которого заключается в оценке риска рецидивизма, когда судья должен определить наказание для того или иного лица.
<74> В 2015 году в Соединенных Штатах в рамках исследования было выявлено около 60 инструментов прогнозирования.
129. Этот алгоритм, разработанный частной компанией и предназначенный для использования судьями в некоторых американских штатах, объединяет 137 вопросов, на которые отвечает задействованное лицо, которые затем дополняются информацией о нем, взятой из реестра судимостей. Вопросы весьма разнообразны и включают в себя наличие дома телефона, трудности с оплатой счетов, семейную историю, уголовное прошлое обвиняемого <75> и т.д. Алгоритм оценивает человека по шкале от 1 (низкий риск) до 10 (высокий риск). Он служит подспорьем при принятии судебных решений, поскольку его выводы являются лишь одной из переменных, учитываемых судьей при вынесении приговора.
<75> Существуют и другие алгоритмы, разработанные на основе критических замечаний, высказанных в доктрине (см. следующую главу), которые основаны на более мелких переменных величинах, более тесно связанных с совершенным преступлением и менее связанных с расой, полом или социально-экономическим положением. Примером может служить Инструмент оценки общественной безопасности, используемый в 30 американских юрисдикциях.
130. Однако в отношении афро-американского населения алгоритмом присваивался — без желания достичь подобный эффект разработчиками <76> — вдвое повышенный риск рецидива по отношению к другим группам населения в течение двух лет, следующих за вынесением наказания; и напротив — алгоритм предполагает, что вероятность повторения преступления среди других групп населения гораздо ниже <77>. Разумеется, следует отметить, что подобное дезинформирующее толкование в действительности свидетельствует лишь о социальной и экономической незащищенности определенных групп населения, которые по своей природе явно не являются криминогенными. Исследователи Дартмутского колледжа также доказали, что такой тип алгоритма не приносит пользы, поскольку люди без криминального прошлого могут воспроизвести точно такую же оценку, давая упрощенную интерпретацию опроснику.
<76> Этот чисто дискриминационный эффект можно объяснить относительно разрешительной «калибровкой» алгоритма модели, которая создает множество «ложноположительных срабатываний».
<77> Чернокожие популяции чаще классифицировались как группы повышенного риска, хотя в течение двух лет после осуждения они не совершали повторных преступлений; белые же популяции, которые чаще классифицировались как группы низкого риска, совершали преступления в течение следующих двух лет. В общем, алгоритм переоценил риск рецидивизма для черных и недооценил его для белых («ложные срабатывания» были в основном в отношении чернокожих, в то время как «ложные отрицания» были в основном в отношении белокожих). В ответ на доводы ProPublica, NorthPointe (переименованные в Equivant после возникновения этой полемики) ответили, что белые и черные популяции были одинаково представлены при рассмотрении «истинных срабатываний», то есть тех, кто на самом деле повторно совершил преступление. Вопрос о том, каким образом совместить точность алгоритма в обнаружении рецидивизма с необходимостью избегать дискриминационных эффектов в отношении чернокожего населения, был источником оживленных дебатов в литературе; см., в частности, Чулдечова А. (2016), «Справедливый прогноз с разрозненным влиянием: исследование предвзятости в инструментах прогнозирования рецидивизма», доступный по ссылке: http://arxiv.org/abs/1610.07524; а также «По оценке исследователей, предвзятость в оценках криминальных рисков математически неизбежна», доступный по адресу https://www.propublica.org/article/bias-in-criminal-risk-scores-is-mathematically-inevitable-researchers-say. Эти дебаты также отражают вопрос о легитимности частной компании без какого-либо институционального контроля, выступающей в качестве арбитра между двумя противоположными требованиями: защитой общества, с одной стороны, и уважением прав личности, с другой.
131 Кроме того, еще одной причиной для беспокойства является отсутствие прозрачности в процессах работы алгоритмов, разработанных частными компаниями (претендующими на интеллектуальную собственность). Если принять во внимание тот факт, что они берут свои исходные данные от самих государственных органов, то отсутствие у них подотчетности перед гражданами является серьезной демократической проблемой. По данным хроники, общественность информируется об операциях, касающихся больших данных, случайно, эпизодически и при обнаружении утечек или ошибок: примером тому может послужить случай с ProPublica, выявившей недостатки в алгоритме КОМПАС после отказа компании-владельца поделиться ими, вследствие чего ей пришлось обратиться к государственным органам с просьбой предоставить доступ к данным и нанять собственного научного специалиста для изучения алгоритма.
7.3. Проблемы «прогнозирования» в уголовных делах
132. Как мы видели в предыдущих разделах, уровень развития инструментов прогнозирования в Европе в уголовной сфере очень разнообразен. Хотя инструменты, попадающие под категорию «прогностической полицейской деятельности», быстро развиваются и даже становятся известны широкой общественности, ситуация с применением такого рода инструментов судьями в ходе уголовного судопроизводства выглядит иначе. Что касается инструментов, имеющихся в распоряжении органов прокуратуры, то соображения относительно их преимуществ и недостатков уже были изложены выше. Теперь давайте рассмотрим инструменты, характерные для уголовного судопроизводства.
133. Прежде всего, важно исключить аргументы, основанные исключительно на эффективности или неэффективности. Приведенные выше примеры показывают, что применение новых технологий, которые используются без необходимых мер предосторожности, может быть сопряжено не только с огромными возможностями, но и с реальными рисками. Лица, ответственные за принятие решений, и судебные органы должны проявлять особую бдительность и играть активную роль в развитии этих технологий: необходим постоянный мониторинг для определения их реальной эффективности и действенности, а также во избежание непредвиденных последствий. Это тем более важно в уголовном судопроизводстве в связи с их непосредственным воздействием на личные свободы граждан <78>.
<78> Выдержка из решения Верховного суда Висконсина по делу «Висконсин против Лумиса» также может послужить источником вдохновения на европейском уровне: «Важно учитывать, что такие инструменты, как КОМПАС, продолжают изменяться и развиваться. Проблемы, с которыми мы сталкиваемся сегодня, вполне могут быть решены в будущем. Система уголовного правосудия обязана признать, что в ближайшие месяцы и годы появятся дополнительные данные исследований. Могут быть разработаны различные и более совершенные инструменты. По мере изменения данных необходимо будет менять и наши инструменты, основанные на использовании доказательств. Система правосудия должна идти в ногу с исследованиями и проводить постоянную оценку использования этих инструментов».
134. Это означает, что как преимущества, так и недостатки применения таких инструментов в судебной области должны быть тщательно взвешены.
135. Их сторонники часто утверждают, что они нейтральны и полагаются на фактические и объективные методы, которые помогают сделать правосудие более точным и прозрачным. Еще одним важным плюсом, как утверждается, является их эффективность, которая иногда превышает человеческий потенциал и может быть чрезвычайно ценной только в общем контексте сокращения государственных средств или даже нехватки ресурсов.
136. Однако их противники выражают озабоченность в отношении влияния и потенциальной опасности, которую данные инструменты могут представлять в отношении индивидуального и равного для всех правосудия: включение таких алгоритмических переменных, как уголовное прошлое и семейное прошлое, означает, что поведение определенной группы лиц в прошлом может определять судьбу человека, который, разумеется, является уникальным человеком в определенном социальном контексте, с определенным образованием, специфическими навыками, степенью вины и отличительными мотивами, которые толкают его на совершение преступления <79>. Они также утверждают, что человеческие решения могут основываться на ценностях и соображениях (например, общественных), которые машина может не отразить. Например, в отношении женщины, совершившей правонарушение, которая рискует стать рецидивисткой, судья может вынести решение об освобождении под залог на основе иерархии ценностей, например, путем придания большей значимости ее роли матери и защитника своих детей, тогда как алгоритм позволил бы более точно установить риск повторного совершения правонарушения, но смог бы обеспечить такую иерархию приоритетов.
<79> Ales Zavrsnik, «Big Data, crime and social control», page 196.
137. В уголовно-правовой сфере существуют также потенциальные риски дискриминации, если учесть, что эти инструменты, которые создаются и интерпретируются людьми, могут воспроизводить неоправданное и уже существующее неравенство в соответствующей системе уголовного правосудия: вместо исправления некоторых проблемных аспектов политики технология может привести к их легитимизации. Как уже упоминалось, НПО ProPublica <80> выявила дискриминационные последствия алгоритма, используемого в КОМПАСе <81>, который предусматривал, что в течение двух лет после вынесения приговора вероятность повторных правонарушений среди чернокожего населения в два раза выше, чем среди белого, учитывая при этом, что вероятность повторения преступления среди белого населения гораздо ниже. Некоторые авторы все-таки подчеркивают потенциал использования алгоритмов в целях корректировки неравенства, создающегося в определенных системах уголовного правосудия: поскольку они отражают то, что было создано человеком, они могут, как зеркало, выявить ошибки, возникающие при вынесении решения и облегчить их исправление задействованными лицами <82>.
<80> www.propublica.org/article/technical-response-to-northpointe.
<81> Другие алгоритмы ориентированы на другие элементы, наиболее тесно связанные с совершенным преступлением.
<82> Mojca M. Plesnicar and Katja Sugman Stubbs, «Subjectivity, algorithms and the courtroom».
138. В свете вышесказанного при использовании алгоритмов в рамках уголовного процесса представляется необходимым в полной мере гарантировать соблюдение принципа равенства сторон и презумпции невиновности, закрепленных статьей 6 ЕКПЧ: задействованная сторона должна иметь доступ к алгоритму и возможность оспаривать его научную обоснованность, взвешенность различных его элементов и любые ошибочные выводы, которые могут быть сделаны, когда судья предлагает использовать его до принятия решения.
139. В этом отношении отмечается разница между Европой и США касательно права доступа к алгоритмам: если в Соединенных Штатах судебные власти по-прежнему неохотно признают это право в полной мере и соотносят с частными интересами (и, в частности, с защитой интеллектуальной собственности) права на защиту, то в Европе такая система более защищена благодаря Общему регламенту по защите данных, который устанавливает право на получение информации о логике, лежащей в основе решений, принимаемых с использованием алгоритмов <83>.
<83> Статья 15, 1.h) Регламента ЕС 2016/679: «Субъект данных имеет право получать от контроллера... следующую информацию: ...существование автоматизированного процесса принятия решений, включая профилирование, упомянутое в §§ 1 и 4 статьи 22, и, по крайней мере, в подобных случаях, содержательную информацию о примененной логике, а также о значимости и предполагаемых последствиях такой обработки для субъекта данных».
140. Высказанные ранее соображения относительно потенциального негативного воздействия данных инструментов на беспристрастность судьи также справедливы и для уголовных дел: судья, принимающий решение, не совпадающее с предсказанием алгоритма, скорее всего, берет на себя повышенный риск ответственности. Представляется возможным полагать, что судьи неохотно возьмут на себя это дополнительное бремя, особенно в тех системах, где срок их полномочий не является постоянным и зависит от всеобщего голосования <84> или где существует вероятность привлечения к личной ответственности (дисциплинарной, гражданской или уголовной), особенно если установленные в их отношении законом гарантии в дисциплинарных вопросах являются недостаточными.
<84> Mojca M. Plesnicar and Katja Sugman Stubbs, «Subjectivity, algorithms and the courtroom».
8. КОНКРЕТНЫЕ ВОПРОСЫ, СВЯЗАННЫЕ С ЗАЩИТОЙ ПЕРСОНАЛЬНЫХ ДАННЫХ
| Использование алгоритмов ставит вопрос о защите персональных данных при их обработке. Политика оценки рисков должна основываться на простом принципе предосторожности. |
|---|
141. Для полного использования потенциала алгоритмов при соблюдении принципов защиты данных следует применять принцип предосторожности и проводить профилактическую политику для противодействия потенциальным рискам, связанным с использованием данных, обрабатываемых этими алгоритмами, и влиянием их использования на отдельных лиц и общество в целом.
142. Принцип законности при обработке персональных данных и обязательство по предотвращению или минимизации влияния обработки данных на права и основные свободы субъектов персональных данных должны обязывать к проведению предварительной оценки рисков потенциальных последствий, которые может иметь обработка персональных данных с помощью искусственного интеллекта на основные права и свободы субъектов. Данная оценка должна позволить предусмотреть реализацию соответствующих мер, а именно на стадии проектирования по умолчанию с целью снижения выявленных рисков.
143. Поскольку персональные данные должны обрабатываться в определенных и законных целях, они не должны использоваться иным образом, не в соответствии с указанными целями, и также не должны становиться предметом такого использования, которое субъект данных счел бы неожиданным, неприемлемым или спорным (принцип лояльности). Поэтому вопрос повторного использования персональных данных, к которым был открыт публичный доступ, требует наивысшей осторожности.
144. При разработке методов обработки данных, используемых алгоритмами, следует сводить к минимуму наличие избыточных или незначительных данных и избегать любых потенциальных скрытых отклонений и любых рисков дискриминации или негативного воздействия на основные права и свободы субъектов данных.
145. При использовании искусственного интеллекта особое значение имеют права субъектов данных и контроль, который каждый из нас должен иметь над своей личной информацией, подразумевающий возможность реализации следующих прав: право не становиться объектом автоматически выведенного решения, оказывающего существенное влияние на лицо, в отношении которого оно вынесено, без учета его точки зрения, без права получения информации о логике, примененной алгоритмами при обработке данных, право на возражение против такой обработки и право на обжалование в суде.
9. ПОТЕНЦИАЛ И ОГРАНИЧЕНИЯ ИНСТРУМЕНТОВ ПРОГНОЗИРОВАНИЯ В ОБЛАСТИ ПРАВОСУДИЯ
146. В главе 3 уже подчеркивался двусмысленный и ошибочный характер концепции «предсказуемого правосудия» и то, как под ее воздействием медленно меняется коллективное сознание, заставляя нас поверить, что машины, лишенные каких-либо эмоций, однажды смогут обеспечить большую надежность судебному процессу. Сегодня как никогда ранее данные обещания нуждаются в объективном и научном изучении на основе обширной базы фундаментальных исследований для выявления возможных пределов. В этой связи следует отметить, что риски искаженного толкования смысла судебных решений, вынесенных исключительно на основе статистического моделирования, оказываются чрезвычайно высоки; это наблюдение подтверждается также отсутствием четкого понимания связей между данными и очевидным наличием ложных корреляций, которые не могут быть выявлены в больших массивах данных.
147. Более того, так называемый нейтралитет алгоритмов — это миф, поскольку их создатели сознательно или непреднамеренно переносят в них собственные системы ценностей. Так, философ Эрик Садин отмечал, что «за эффективным и обезличенным фасадом алгоритмические системы незаметно отражают намерения их создателей или заказчиков, получая действенную и асимметричную власть над жизнью других людей». Исследователь Орельен Гросдидье также считает, что «алгоритм сам по себе не способен ни на что иное, как позволить нам — в лучшем случае — понять часть замысла его создателя» и распространяет опросник на всю цепочку обработки информации (намерение создателя, написание компьютерного кода, выполнение компьютерного кода, контекст исполнения и дальнейшее обслуживание). Это замечание разделяет и криминолог Алесь Заврник, который подчеркивает, как этапы построения и интерпретации алгоритмов осуществляются человеком, для человека и не могут избежать ошибок, предрассудков, влияния человеческих ценностей и интересов и человеческого представления о мире, какими бы они ни были задуманы.
148. Несмотря на эти значительные ограничения, должны ли мы все-таки игнорировать вклад технологии, обладающей непревзойденной мощностью? Математики К.С. Калуде и Г. Лонго в своем исследовании больших данных подчеркивают, что «ограничительный или негативный результат их применения, как это часто бывает, не разрушает науку о данных, а прокладывает путь к более глубокому осмыслению», включая «задачу разработки нового, более широкого научного метода, способного интегрировать как новые алгоритмические инструменты, так и классические инструменты» путем сопровождения обработки «строгой оценкой доказательств». Как отмечалось во введении, использование ИИ способно дать специалистам существенную поддержку, включая судей и адвокатов, а также широкую общественность, особенно если однажды он позволит создать беспрецедентные исследовательские и документально аналитические инструменты в законодательной, нормативно-правовой, судебной и доктринальной областях и установить динамичные связи между всеми этими источниками. Однако этот вид применения выходит за рамки данной статьи, поскольку речь идет не о том, чтобы «предсказать» исход спора, а о том, чтобы проанализировать судебные решения, вынесенные за определенное время на определенной территории.
149. Мы также предусмотрели в главе 6 разработку более точной шкалы средних сумм компенсаций mutatis mutandis в различных областях (алименты, компенсационные пособия, компенсация за телесные повреждения, выходное пособие и т.д.) при условии репрезентативности отобранных и обработанных образцов. Эти шкалы, которые в большей степени основаны на консенсусе, чем на среднем анализе того, что уже существует, уже оказывают значительную поддержку в процессе принятия решений и руководства без возможности замены самого закона. Как отмечалось выше, риск заключается в том, что в отсутствие статистического представления реальности или возможности спрогнозировать что-либо результаты использования программного обеспечения для «прогностического правосудия» не будут установлены в качестве стандартов без какой-либо проверки со стороны правовой системы и в противоречии с ней.
150. Наконец, давайте рассмотрим предложение, которое состоит во включении в «предсказательные» системы возможности отхода от них по своему усмотрению. Вместо того, чтобы ограничивать пользователей вероятностью (или набором вероятностей), идея заключается в том, чтобы дать им возможность ориентироваться во взаимосвязях, которые побудили систему предложить эту оценку и дистанцироваться, выбирая другие более подходящие концепции или группы слов или исключая ложные корреляции. Например, для UCL можно предложить графическое отображение различных терминов, сохраненных в системе (с указанием их соответствующих весовых коэффициентов), чтобы установить, имело ли место нарушение (или ненарушение), и разрешить другие варианты, предложив выбрать иные термины или лексические группы.
151. Каким бы смелым и соблазнительным ни было это предложение, оно предполагает, что сами профессионалы (судьи, юристы, университеты) возьмут на себя коллективную проверку его осуществимости и что они не позволят частным операторам самим, имея в распоряжении лишь несколько ученых без какого-либо контроля их деятельности, разрабатывать программное обеспечение и абстрактные или закрытые модели рассуждения или расчета.
152. Амбициозные (и невыполненные) обещания некоторых юридических технологических компаний не должны скрывать огромный потенциал технологий и потребности в их применении, адаптированном и построенном непосредственно в условиях научных и академических исследований, а также со всеми юристами, такими как судьи, клерки, адвокаты, нотариусы, судебные исполнители и эксперты на местах. Представляется, что целый ряд мер позволит в полной мере использовать преимущества этих новых инструментов путем их адаптации и разработки в тесном сотрудничестве с исследователями и всеми специалистами в области права, таких, как судьи, прокуроры, секретари суда, адвокаты, нотариусы, судебные приставы и эксперты на местах.
153. В этом динамичном контексте представляется необходимым, во-первых, не принимать поспешных решений и заранее обсудить проблемы, связанные с практическим применением, которое эти инструменты могли бы найти в судебных системах, а также проверить их на практике на первом этапе. К тому же судебная система, следующая духу времени, становится институтом, способным создавать, администрировать и гарантировать одновременно подлинную киберэтику как для государственного, так и для частного сектора и обеспечивать полную прозрачность и лояльность функционирования алгоритмов, способных однажды помочь при принятии судебных решений.
10. НЕОБХОДИМОСТЬ ПРОВЕДЕНИЯ УГЛУБЛЕННОГО ОБЩЕСТВЕННОГО ОБСУЖДЕНИЯ ЭТИХ ИНСТРУМЕНТОВ ДО НАЧАЛА ОСУЩЕСТВЛЕНИЯ ГОСУДАРСТВЕННОЙ ПОЛИТИКИ В ОБЛАСТИ ИХ РАЗРАБОТКИ. ОСТРАЯ НЕОБХОДИМОСТЬ ВНЕДРЕНИЯ КИБЕРЭТИКИ ДЛЯ ОБЕСПЕЧЕНИЯ ОСНОВЫ РАЗРАБОТКИ АЛГОРИТМОВ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА С СОБЛЮДЕНИЕМ ОСНОВНЫХ ПРАВ ЧЕЛОВЕКА
10.1. Важность обсуждения, тестирования и постоянного анализа применения этих инструментов до начала осуществления государственной политики
154. Вопросы, связанные с применением инструментов предсказуемого правосудия, настолько многочисленны и многогранны, что требуют сбалансированного подхода со стороны лиц, принимающих государственные решения.
155. Прежде всего, необходимо провести публичное обсуждение этих вопросов, собрав вместе как разработчиков инструментов, так и специалистов в области права. Советы судей, профессиональных ассоциаций судей и адвокатских палат, несомненно, могут внести в это свой вклад и помочь в выявлении возможностей и более спорных аспектов. Кроме того, школы по подготовке судей и адвокатов могут играть ключевую роль в повышении осведомленности специалистов в области правосудия по этим вопроса с тем, чтобы они могли лучше понимать происходящие изменения и вносить в них практический вклад.
156. Важно также провести фундаментальное исследование предлагаемых приложений и протестировать их, чтобы понять их потенциал и слабые стороны, а также чтобы иметь возможность их дальнейшего развития и адаптации к возникающим потребностям. Право увидеть компоненты и характеристики инструментов, предложенных частным сектором (или разработанных независимыми и специализированными государственными институтами — решение, которое следует поощрять), представляется столь же необходимым для того, чтобы судебная служба могла эффективно выполнять свою работу. Перед более широким внедрением и включением в государственную политику следует провести тщательную оценку результатов тестирования. Также представляется целесообразным регулярно оценивать влияние этих инструментов на работу специалистов в области правосудия.
10.2. Создание этических рамок
157. Прежде всего, в цифровом контексте, который по своей природе является трансграничным, простое принятие законодательных или нормативных рамок для ИИ представляется недостаточным. С другой стороны, пристальное внимание к характеру и качеству открытых данных может свести к минимуму риски неадекватных перекрестных ссылок и повысить релевантность результатов автоматизированной обработки. Что касается имен специалистов, то простая мера предосторожности заключается в том, чтобы запретить их публичное распространение в структурированных необработанных базах данных с учетом риска злоупотреблений. Речь идет не об ограничении доступа к уже обработанной информации (единичная трансформация состава суда, например), а о фильтрации необработанных данных, находящихся в свободном доступе. В целом, необходимо проводить различие между доступом к информации и доступом к базам данных, которыми можно манипулировать по своему усмотрению.
158. Исследователи Буттарелли и Марр подчеркнули, что «большие данные» нуждаются в тщательном контроле и защите. Другие исследователи (Паскуале, Морозов) подчеркнули необходимость установления прозрачных процедур для размещения больших массивов данных и в целом ИИ в судебной сфере, поскольку предлагаемые решения никогда не смогут отразить жизнь во всей ее сложности.
159. Важнейшее значение имеет разработка правил киберэтики для руководства деятельностью операторов в рассматриваемой области и для утверждения вышеупомянутых принципов прозрачности, лояльности и объективности этого инструмента. Регулярный мониторинг независимыми экспертами должен гарантировать, что «машины», работающие на основе искусственного интеллекта, используемые для оказания помощи судьям в принятии решений, не выдают систематических ошибок. На самом деле нет ничего неуместного в том, чтобы ускорить скрытое или нет внедрение платных систем индексирования (основанных на модели поисковой рекламы Google), позволяющих некоторым операторам присуждать меньшую ценность неблагоприятным для них решениям. Эти правила будут играть ключевую роль в повышении доверия граждан к своим судебным системам.
160. В связи с этим качество лучших систем может быть обозначено путем выдачи определенного знака или сертификации. В частности, должна быть гарантирована полная прозрачность и полная достоверность методов обработки информации как для специалистов, так и для граждан, чтобы предотвратить повторение таких ошибок, как в вышеупомянутом примере алгоритма КОМПАС. На самом деле непосредственное участие профессионалов из области правосудия является ключевым для правильной оценки рисков и влияния этих приложений на судебные системы.
161. В настоящее время все эксперты, занимающиеся разработкой искусственного интеллекта, включая исследователей, инженеров и программистов, несут исключительную и беспрецедентную ответственность. Их образование могло бы быть больше подкреплено гуманитарными науками. Пример некоторых инновационных школ компьютерных разработчиков показывает, что за волей к «взлому системы» в действительности скрывается, по мнению некоторых наблюдателей, прагматизм, лишенный какого бы то ни было ситуативного осмысления ответственности, которая возлагается отныне на техников контекстуализации ответственности, которая сегодня висит над техниками, обладающими практическими демиургеническими полномочиями. Клятва Гиппократа, безусловно, имеет свои пределы в медицине, но придает ответственности форму ритуала и обеспечивает этические рамки.
162. Наконец, киберэтика должна сопровождаться масштабным обучением задействованных сторон, от разработчиков алгоритмов и юридических компаний до их пользователей. Необходимо обеспечить всеобщий доступ к новым междисциплинарным гуманитарным наукам с тем, чтобы искусственный интеллект стал вектором позитивного развития человечества и усилил демократические гарантии правового государства.
| В настоящем Приложении к Хартии рассматриваются различные виды использования ИИ в европейских системах и в разной степени поощряется их применение в свете принципов и ценностей, изложенных в Этической хартии. Использование машинного обучения для создания поисковых систем в целях работы с судебными решениями дает возможность развития всем специалистам в области права. Следует рассмотреть и другие приложения (по составлению шкал, по поддержке альтернативных мер урегулирования споров и т.д.), но с учетом необходимых мер предосторожности (в частности, качество источника данных, а не объем обработки материалов рассматриваемого спора). Другие виды приложений («прогностическое правосудие») должны быть отнесены к области дальнейших исследований (с учетом консультаций специалистов в области права для обеспечения полного соответствия данных программ фактическим нуждам), прежде чем рассматривать возможность их широкого использования в публичной сфере. В уголовных делах это очень деликатный вопрос, но его не следует игнорировать. В свете множества существующих вопросов, касающихся их соответствия определенному числу основных прав, использование алгоритмов расчета потенциального риска рецидива в отношении лица, привлеченного к ответственности, следует рассматривать с особыми оговорками. С другой стороны, обработка глобальных количественных данных в области предупреждения преступности является одним из направлений дальнейшего изучения этих новых методов с учетом известных предубеждений (перформативное воздействие, качество данных и т.д.). Аналогичным образом использование алгоритмов для установления более тесной связи между видом доступных общественных работ и личностью человека может быть одним из факторов, определяющих эффективность такого рода мер. |
|---|
Использование, которое следует поощрять
- Работа с судебными решениями: в последние годы в области обработки естественного языка все шире применяются машинные методы обучения (включая первоначальные усилия по изучению естественного языка), которые представляют значительное преимущество для построения дополнительных решений поиска в дополнение к действующим ключевым словам или поиску по всему тексту. Эти инструменты могут связывать различные источники (например, Конституцию и конвенции, законы, судебную практику и теорию права). Методы визуализации данных могут иллюстрировать результаты поиска.
- Доступ к закону: не заменяя вмешательства человека, можно было бы создать чатботов для облегчения доступа к различным существующим источникам информации на естественном языке. Шаблоны документов (искового заявления в суд, договора аренды, например) также могли бы быть сгенерированы в режиме онлайн.
- Создание новых инструментов управления: использование научных данных и методов искусственного интеллекта в отношении данных о судебной деятельности может способствовать повышению эффективности правосудия, позволяя, например, проводить количественные и качественные оценки и составлять прогнозы (например, в отношении будущих человеческих и бюджетных ресурсов). На этой основе можно было бы разработать ключевые показатели эффективности. Рекомендуется привлекать специалистов в области права, особенно судей, к внедрению таких инструментов как с точки зрения принятия на себя ответственности за эти инструменты, так и анализа результатов в сочетании с факторами, связанными с особенностями данного суда или качеством правосудия (например, с необходимостью сохранения доступа к правосудию).
Возможные варианты использования, требующие значительных методологических мер предосторожности
- Помощь в составлении шкал в некоторых гражданских спорах: анализ всех судебных решений не является статистически значимым, если не определены все причинно-следственные факторы (явные и подразумеваемые в решениях). Данные о том, что средняя компенсация, присуждаемая в определенном географическом районе, выше, чем в другом, объясняются не поведением судей, а особенностями рассматриваемого района. Поэтому машинное обучение может быть полезным для определения решений (см. выше раздел «Использование судебной практики»), однако только лишь автоматизированная обработка данных не может дать значимую информацию. Важным предварительным условием является составление соответствующей выборки решений, подлежащих обработке (например, с помощью исследований).
- Поддержка альтернативных мер урегулирования споров в гражданских делах: в некоторых европейских странах страховые компании используют инструменты «прогностического правосудия» для оценки шансов на успех спора и ориентации стороны спора на другой метод его разрешения, если расценивается, что шансы на успех малы. Кроме того, некоторые зарубежные системы предлагают компенсации без какой-либо реальной прозрачности в отношении правил расчета. Однако эти системы нельзя считать беспристрастными и надежными (см. раздел о методах машинного обучения). Решения принимаются в отношении гражданина по ограниченному количеству оснований. В других случаях при посещении веб-сайта суда или поиске правовой информации в Интернете стороне спора может быть рекомендовано при помощи виртуального агента (чата) выбрать альтернативную меру урегулирования споров после предварительного изучения критериев, введенных самой стороной спора. В соответствующих случаях виртуальный агент может также рекомендовать стороне иска обратиться за советом в посредническую службу или к адвокату. Во всех этих случаях присутствие обученной третьей стороны (медиатора, использующего не только методы, но, возможно, шкалу, рассчитанную выше, или адвоката) представляется наиболее подходящим решением на данном этапе.
- Урегулирование споров в режиме онлайн: когда стороны спора выходят на платформу урегулирования споров в режиме онлайн, они должны быть четко и понятно информированы о том, осуществляется ли рассмотрение их спора полностью автоматизированным образом или же с участием посредника или арбитра. Кроме того, информация, предоставляемая сторонам в судебном процессе, должна быть верной и не должна создавать впечатления обращения в суд (в этой связи термин «онлайновый суд» часто используется для обозначения такого рода платформ, тогда как с технической точки зрения их цель заключается в предоставлении альтернативных услуг по урегулированию споров). Это два важных фактора, позволяющих сторонам сделать осознанный выбор, и, возможно, принять решение не согласиться и обратиться в реальный суд по смыслу статьи 6 ЕКПЧ. Кроме того, с учетом требования статей 6 и 13 ЕКПЧ всегда следует предусматривать формы пересмотра процедуры урегулирования споров в режиме онлайн и ее результатов государственными судами, особенно в тех случаях, когда сторона в споре согласилась на полностью автоматизированное урегулирование спора в режиме онлайн.
- Использование алгоритмов в уголовном расследовании с целью выявления мест совершения уголовных преступлений: данный вид применения может касаться не только полиции, но и прокуроров в органах по предупреждению преступности, к которым они относятся. И здесь опять же подобные системы были использованы в США для направления полицейских патрулей в режиме реального времени в возможные места совершения правонарушений. Однако такой количественный подход может дать сильный «перформативный эффект» (в определенной местности вероятность обнаружения преступления выше, таким образом, автоматически в систему поступает определенная информация). Криминалистический анализ с использованием подходов, сочетающих географические информационные системы (ГИС) и большие объемы данных о процессах, мог бы быть рассмотрен совместно с прокурорами, что, несомненно, принесло бы большую пользу машинному обучению. Подразделения по борьбе с отмыванием денег уже используют системы «прогнозирования» для выявления подозрительных финансовых потоков, но в случае с количественной (финансовой) информацией информационные системы способны давать более надежные результаты. Исследователи должны также иметь более широкий доступ к этим данным для проведения более точных исследований, предназначенных для лиц, ответственных за разработку политических решений.
Виды использования, подлежащие рассмотрению после дополнительных научных исследований
- Характеристика судей: количественная оценка деятельности судьи позволит выявить не столько любые возможные предубеждения, сколько внешние факторы, повлиявшие на его решение. Судебная деятельность в одном бедном районе не дает тех же результатов, что на другой территории, какими бы ни были личные качества судьи. Когда решение выносится коллегиально и без возможности для судьи выразить свое несогласие, нет смысла давать характеристику каждому из судей коллегии. С другой стороны, для помощи судьям в принятии решений можно было бы поддерживать предоставление судьям более подробной количественной и качественной оценки их деятельности благодаря новым инструментам, предназначенным только для них самих и только лишь с целью получения информации.
- Предварительное составление судебных решений: только лишь статистическая обработка данных по лексическим группам позволяет выявить частоту употребления отдельных групп слов, но не определяет реальные причины принятия решения, поскольку не проводит юридического анализа (см. исследование, проведенное по решениям ЕСПЧ Университетским колледжем Лондона, которое дает лучшие результаты по фактам, чем по анализу права). Гибридные системы, основанные на построении математических моделей, которые должны представлять различные аргументы судей, не являются более эффективными, поскольку они остаются ограничены необъективностью выборки обрабатываемых ими данных и должны быть полностью переписаны при изменении закона или судебной практики.
Использование, которое следует рассматривать с особыми оговорками
- Использование алгоритмов в уголовных делах с целью характеристики личности: эксперименты разных стран (КОМПАС в Соединенных Штатах и ХАРТ в Соединенном Королевстве) подвергались критике со стороны НПО (см. исследования ProPublica в Соединенных Штатах и Big Brother Watch в Великобритании). Из-за ограниченности используемой методологии этот чисто статистический подход привел к неверным результатам: из констатации того, что некоторые афроамериканцы чаще участвуют в преступных деяниях, было сделано заключение о том, что англо-американское население в целом представляет больший риск. Таким образом, даже в случае мелких правонарушений эти системы давали отрицательные результаты в отношении обвиняемых афроамериканцев, что привело к несправедливому увеличению сроков их наказаний. Подобный подход, имеющий дискриминационный и предвзятый характер, должен быть заменен другим, в большей степени соответствующим европейским стандартам в отношении уголовных санкций и предоставляющим возможность реабилитации и реинтеграции любому человеку. Если, например, алгоритмические системы помогут улучшить сбор информации для служб пробации и сделать возможным более быстрый сбор необходимой информации для того, чтобы были соблюдены права человека, то такие инициативы могут быть полезны (особенно в области ускоренного судопроизводства). Любое же другое использование может быть предвзятым и вступать в противоречие с определенными национальными и наднациональными основополагающими принципами.
- «Норма, основанная на количестве»: речь идет не только о составлении шкал, что может быть законно, но и о предоставлении каждому судье содержания решений, вынесенных всеми другими судьями, и утверждении, что его будущий выбор связан с массой этих «прецедентов». Однако числовые показатели не могут быть добавлены к закону или заменить собой закон. По причинам, указанным выше, количество не всегда дает смысл. Исследование ЕКЭП также выявило опасность кристаллизации прецедентного права и потенциальное негативное влияние на беспристрастность и независимость судей.
<85> Последовательность терминов приведена в соответствии с оригиналом документа на английском языке.
| В настоящем глоссарии дается определение терминов, используемых в Этической хартии и исследовательском документе. Предпочтение отдается узкому определению всей используемой лексики. Все документы должны быть прочитаны и поняты в свете данных определений. |
|---|
A
ALGORITHM (АЛГОРИТМ). Конечная последовательность формальных правил (логические операции и инструкции), позволяющая получить результат от первоначального ввода информации. Эта последовательность может быть частью автоматизированного процесса выполнения и опираться на модели, разработанные на основе машинного обучения.
ANONYMISATION (АНОНИМИЗАЦИЯ). Процесс, состоящий в обработке персональных данных с целью полного и необратимого предотвращения установления личности физического или юридического лица. Поэтому анонимизация подразумевает, что между соответствующей информацией и лицом, к которому она относится, больше нет никакой возможной связи. Установление личности становится абсолютно невозможным <86>. Таким образом, принципы защиты данных в отношении определенного или определяемого лица более не применяются, если данные были полностью обезличены.
<86> Рабочая группа по статье 29, мнение 05/2014 о методах анонимизации. См. также § 26 Европейского регламента (ЕС) 2016/679 Европейского Парламента и Совета от 27 апреля 2016 г.
ARTIFICIAL INTELLIGENCE (AI) (ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ) (ИИ). Комплекс науки, теории и техник, цель которых состоит в том, чтобы воспроизвести с помощью машины когнитивные возможности человека. Современное развитие нацелено на возможность передачи машине сложных задач, которые ранее возлагались на человека.
Термин «искусственный интеллект», тем не менее, подвергается критике экспертами, которые проводят различие между ИИ, расцениваемыми как «сильные» (по способности абсолютно автономно внедрять в контекст очень разные специфические вопросы) и «слабыми» или «замедленными» ИИ (хотя и крайне продвинутыми в их области обучения). «Сильные» ИИ, согласно мнению некоторых экспертов, требуют значительного прогресса в фундаментальном исследовании для того, чтобы быть способными целостно моделировать мир, а не вносить простые улучшения производительности существующих систем. Инструменты, приведенные в данном документе, развиты с использованием методов машинного обучения, то есть с помощью «слабых» ИИ.
B
BIG DATA (metadata, large data sets). БОЛЬШИЕ ДАННЫЕ (метаданные, большие массивы данных). Термин «большие данные» обозначает большую совокупность данных из различных источников (открытые данные, собственные данные и данные, приобретенные на коммерческой основе). Для данных, полученных в результате судебной деятельности, большими данными может быть признана совокупность статистических данных, записи о входе в специализированные профессиональные программы (журнал регистрации деятельности в данных программах), базы данных судебных решений и т.д.
C
CHATBOT (conversational agent). ЧАТБОТ (агент разговора). Агент разговора, который беседует со своим пользователем (например, роботы-эмпаты, которые помогают больным, или автоматические службы разговора в отношениях с клиентами) <87>.
<87> Отчет национальной комиссии по информатике и свободам, декабрь 2017 г.: Как люди могут сохранить контроль? Этические вопросы, поднимаемые алгоритмами и искусственным интеллектом.
D
DATA (ДАННЫЕ). Представление информации для автоматической обработки. Когда говорят, что алгоритмы могут «применяться» к самым разнообразным реалиям в правовом мире или где-либо еще, подразумевается характер оцифровывания любой реальности в форме «данных». Но из примеров физики ясно, что ничто не говорит нам о том, что физические процессы могут быть адекватно переданы в форме «данных» (и интегрированы в цикл ввода/вывода алгоритмов). Если это уже происходит в физике, то нет причин, почему это не должно было бы происходить и в сфере общественных отношений. Поэтому необходимо с осторожностью подходить к идее «данных», которая всегда предполагает, что реальность, которую мы пытаемся описать, имеет такой формат, который естественно позволяет ее обрабатывать алгоритмически.
DATABASE (БАЗА ДАННЫХ). База данных является «содержимым», хранящим данные в виде цифр, дат, слов, которые могут быть обработаны информационными методами для получения информации; например, скомпонованные и упорядоченные цифры и имена для формирования ежегодника.
DATA MINING (АНАЛИЗ И ПОИСК ДАННЫХ). Метод анализа большого объема данных и выделения на их базе моделей, корреляций, тенденций.
DATA SCIENCE (НАУКА О ДАННЫХ). Совокупность таких наук, как математика, статистика, теория вероятностей, информатика, визуализация данных с целью извлечения знаний из совокупности разноплановых данных (изображения, звук, текст, данные о геноме, ссылки между социальными сетями, физические измерения и т.д.).
Методы и средства, основанные на искусственном интеллекте, входят в эту группу.
DEEP LEARNING (ГЛУБИННОЕ ОБУЧЕНИЕ). См. Машинное обучение и Нейроны.
E
EXPERT SYSTEM (ЭКСПЕРТНАЯ СИСТЕМА). Речь идет об одном из способов воссоздания искусственного интеллекта. Экспертная система — это инструмент, способный воспроизвести когнитивные механизмы эксперта в определенной области. Более конкретно речь идет о программном обеспечении, способном ответить на вопросы, осуществляя рассуждение на основе известных фактов. Он состоит из трех частей:
Механизм, выводящий логическое заключение, способен использовать факты и правила, чтобы произвести новые факты, пока не придет к ответу на поставленный экспертом вопрос.
Большая часть существующих экспертных систем основана на механизмах формальной логики (аристотелевская логика) и использует дедуктивное обоснование.
L
LEGAL TECH (ЛИГАЛТЭК). Компании, использующие информационные технологии в области права с целью предоставления инновационных юридических услуг. Эти компании являются стартапами, специализирующимися в области права. Появились и другие термины, взятые из сферы бизнеса, такие как «fintechs» для стартапов, предлагающих финансовые услуги, «medtechs» — в области медицины и т.д.
M
MACHINE LEARNING (МАШИННОЕ ОБУЧЕНИЕ). Машинное обучение позволяет создавать математические модели на базе данных, включая большое число переменных, значение которых заранее не известно. Параметры формируются постепенно в ходе фазы обучения, которая использует комбинации данных обучения для поиска связей и их классифицирует. Различные методы машинного обучения были выбраны разработчиками в зависимости от характера задачи, которую необходимо выполнить. Обычно эти методы разделяют на три категории: обучение, контролируемое человеком, неконтролируемое обучение и усиленное обучение. Эти три категории объединяют различные методы, среди которых нейронные сети, глубокое обучение и т.д.
На приведенном ниже графике показаны различные категории машинного обучения:
METADATA (МЕТАДАННЫЕ). Данные, которые позволяют определить, контекстуализировать или описать другие данные. В большинстве случаев префикс «мета» означает «ссылочное определение или описание».
Метаданные синтезируют основную информацию о данных, облегчают поиск и управление конкретными примерами данных. Примерами могут служить автор, дата создания, дата изменения и размер файла. Метаданные и их вывод и фильтрация помогают найти конкретный документ.
N
NEURONS/NEURAL NETWORK (НЕЙРОНЫ/НЕЙРОННАЯ СЕТЬ). Нейронные сети — это информационные системы, созданные по модели биологических нейронных сетей, которые образуют мозг животных. Такие системы «учатся» выполнять задачи, рассматривая примеры, обычно не будучи запрограммированными на основе специализированных правил. Например, при распознавании изображений они могут научиться распознавать изображения, содержащие кошек, анализируя примеры изображений, которые были вручную помечены как «кот» или «нет кота», и используя полученные результаты для идентификации кошек на других изображениях. Они делают это без каких-либо предварительных знаний о кошках, например, о том, что у них есть шерсть, хвосты, усы и кошачьи мордочки. Вместо этого они автоматически генерируют идентификационные характеристики на основе обрабатываемых ими учебных материалов.
Искусственные нейронные сети основаны на наборе взаимосвязанных элементов или узлов, называемых искусственными нейронами, которые слабо моделируют нейроны в биологическом мозге. Каждая связь, как и синапсы в биологическом мозге, может передавать сигнал от одного искусственного нейрона к другому. Искусственный нейрон, который получает сигнал, может обрабатывать его и затем передавать сигналы дополнительным искусственным нейронам, связанным с ним.
Первоначальная цель подхода искусственных нейронных сетей заключалась в решении проблем таким же образом, как это делает человеческий мозг. Однако со временем внимание переключилось на выполнение конкретных задач, что привело к отклонениям от биологии. Искусственные нейронные сети используются для решения различных задач, включая машинное распознавание образов, распознавание речи, машинный перевод, фильтрацию социальных сетей, прохождение настольных и видеоигр, а также медицинскую диагностику.
O
OPEN DATA (ОТКРЫТЫЕ ДАННЫЕ). Термин относится к созданию структурированных баз данных для публичного скачивания. Эти данные могут быть недорого повторно использованы в соответствии с условиями конкретной лицензии, которая, в частности, может оговаривать или запрещать определенные цели повторного использования.
Открытые данные не следует путать с унитарной публичной информацией, доступной на веб-сайтах, где невозможно загрузить всю базу данных (например, базу данных о судебных решениях). Открытые данные не заменяют обязательной публикации конкретных административных или судебных решений или мер, уже предусмотренных определенными законами или постановлениями.
Наконец, иногда возникает путаница между данными (строго говоря, открытыми данными) и методами их обработки (машинное обучение, наука о данных) для различных целей (поисковые системы, помощь в составлении документов, анализ тенденций принятия решений, прогнозирование судебных решений и т.д.).
OPEN SOURCE SOFTWARE (ПРОГРАММЫ В ОТКРЫТОМ ДОСТУПЕ). Программы, код которых остается открытым. Таким образом программное обеспечение может быть использовано, изменено и свободно скачано.
P
PERSONAL DATA (ЛИЧНЫЕ ДАННЫЕ). Любая информация, касающаяся установленного или подлежащего установлению прямо или косвенно физического лица (так называемое задействованное лицо).
В числе данной информации — важные генетические данные, биометрические данные, которые позволяют дать уникальную оценку человеку, данные о правонарушениях, процессах и уголовных наказаниях, о связанных с ними обеспечительных мерах, а также все данные, которые можно отнести к данной категории, поскольку они касаются расового или этнического происхождения, политических взглядов или других убеждений, здоровья или половой жизни.
PREDICTIVE JUSTICE (ПРАВОСУДИЕ, называемое «ПРЕДСКАЗАТЕЛЬНЫМ»). Под «предсказательным правосудием» мы понимаем анализ больших объемов судебных решений с помощью технологий искусственного интеллекта с целью создания предположений относительно исхода судебного рассмотрения дела (сумма компенсации при увольнении или размер алиментов, например) для определенных типов специализированных судебных разбирательств.
Термин «предсказательное», использованный разработчиками, основан на науках (в основном, статистике), которые позволяют «предсказать» будущие результаты с помощью индуктивного анализа. Обработка производится на базе анализа судебных решений, который направлен на обнаружение корреляций между вводными данными (критерии закона, фактов дела, мотивировки) и данными на выходе (резолютивная часть решения, такая, как, например, сумма компенсации). Корреляции, расцененные как релевантные, позволяют построить модели, которые при использовании с новыми вводными данными (новые факты или новые уточнения в параметрах, такие, как, например, длительность договорных отношений) создают, согласно их разработчикам, предвидение решения (вилку компенсации, например).
Данный подход критикуется некоторыми авторами как по форме, так и по сути. Они утверждают, что в целом математическое моделирование определенных социальных феноменов — задача, несравнимая с другими процессами, которым легче дать количественную оценку (отделить факторы, действительно имеющие причинное значение при принятии судебного решения, намного более сложно, чем сыграть в игру Go или распознать картинку, например): риски ложных корреляций будут иметь гораздо большее значение. К тому же в теории права два противоречащих решения могут оказаться действительными, если правовое обоснование неоспоримо. Создание предположений было бы, таким образом, действием, имеющим исключительно информационную направленность без какой-либо претензии на предписательный характер.
PROFILING (ПРОФАЙЛИНГ). Техника автоматизированной обработки данных, которая заключается в применении «профиля» к физическому лицу, в частности, для принятия решений в его отношении или для анализа или прогнозирования личных предпочтений, поведения и установок.
PROCESSING OF PERSONAL DATA (ОБРАБОТКА ПЕРСОНАЛЬНЫХ ДАННЫХ). Согласно статье 2 обновленной Конвенции 108 любая операция или комплекс операций, осуществленных с персональными данными, таких, как сбор, запись, хранение, изменение, выделение, передача, представление в доступ, удаление или уничтожение данных или применение логических или арифметических операций в отношении этих данных.
PSEUDONYMISATION (ПСЕВДОНИМИЗАЦИЯ). В соответствии со статьей 4 Общего регламента по защите данных это обработка персональных данных таким образом, чтобы они не могли быть отнесены к конкретному субъекту данных без использования дополнительной информации, если такая дополнительная информация хранится отдельно и является предметом технических и организационных мер, гарантирующих, что персональные данные не будут отнесены к установленному или подлежащему установлению физическому лицу <88>.
<88> Статья 4 Европейского регламента (ЕС) 2016/679 Европейского Парламента и Совета от 27 апреля 2016 г.
Для того, чтобы оценить совместимость вашего метода обработки с Хартией, для каждого из перечисленных принципов предусмотрена шкала оценки.
Для каждого принципа поставьте галочку в поле, соответствующем используемым вами методам обработки.
Самое крайнее левое поле указывает на полную интеграцию, самое крайнее правое — на отсутствие интеграции.
КОНТРОЛЬНЫЙ ПЕРЕЧЕНЬ ДЛЯ ОЦЕНКИ ВАШИХ МЕТОДОВ ОБРАБОТКИ
В нижней части оценочного листа (в строке с пометкой «Всего») сложите количество отмеченных полей. Колонка с наивысшей оценкой указывает на уровень совместимости вашего метода обработки с Хартией.
Конечно, эта оценка носит чисто информационный характер и ни в коей мере не приравнивается к сертификации.
1. Принцип уважения основополагающих прав
Необходимо обеспечить соответствие разработки и применения инструментов и услуг, основанных на искусственном интеллекте, основным правам, включая право на защиту личных данных.
2. Принцип недискриминации
Надлежит определенным образом препятствовать развитию или усилению любой дискриминации между отдельными лицами или группами лиц.
3. Принцип качества и безопасности
Что касается обработки судебных решений и данных, то необходимо использовать сертифицированные источники и нематериальные данные с применением моделей, разработанных на междисциплинарной основе, в безопасной технологической среде.
4. Принцип прозрачности, беспристрастности и достоверности
Надлежит сделать методы обработки данных доступными и понятными, санкционировать проведение внешнего аудита.
5. Принцип «под контролем пользователя»: избежание предписывающего подхода и обеспечение того, чтобы пользователи были информированными субъектами и могли контролировать свой выбор
ПОЯСНИТЕЛЬНАЯ ЗАПИСКА
Европейская комиссия по эффективности правосудия (CEPEJ) Совета Европы приняла первый европейский документ, устанавливающий этические принципы, связанные с использованием искусственного интеллекта (далее — ИИ) в судебных системах
Европейская этическая хартия об использовании искусственного интеллекта в судебных системах и окружающих их реалиях представляет собой систему правовых принципов, которыми могут руководствоваться политики, законодатели и работники судебной системы, когда они сталкиваются с внедрением ИИ во внутригосударственное судопроизводство.
По мнению Европейской комиссии по эффективности правосудия, выраженному в данной Хартии, применение ИИ в сфере правосудия может помочь в повышении эффективности и качества работы судов, однако он должен внедряться ответственно и с учетом основополагающих прав, гарантированных Европейской конвенцией о защите прав человека и основных свобод и Конвенцией о защите физических лиц при автоматизированной обработке персональных данных. Для Европейской комиссии по эффективности правосудия крайне важно, чтобы были созданы условия, при которых ИИ остается инструментом на службе общему интересу, и его использование обеспечивает соблюдение прав человека.
Европейская комиссия по эффективности правосудия определила следующие ключевые принципы, которые требуется соблюдать при использовании ИИ в сфере правосудия.
Принцип соблюдения основных прав: обеспечить разработку и применение инструментов и услуг, основанных на искусственном интеллекте, соответствующих основным правам.
Принцип запрета дискриминации: а именно предупреждать развитие или усиление дискриминации между отдельными лицами или группами лиц.
Принцип качества и безопасности: касательно обработки судебных решений и данных, использовать сертифицированные источники и нематериальные данные с применением моделей, разработанных на междисциплинарной основе, в безопасной технологической среде.
Принцип прозрачности, беспристрастности и достоверности: сделать доступными и понятными методы обработки данных, разрешить проведение внешнего аудита.
Принцип контроля пользователем: отказаться от предписывающего подхода и позволить пользователю выступать информированным участником и контролировать свой выбор.
По мнению Европейской комиссии по эффективности правосудия, соблюдение вышеизложенных принципов должно обеспечиваться при принятии судебных решений, обработке данных алгоритмами и при получении выгоды от их использования.