Методические рекомендации от 29 мая 2014 г. Версия 3.0 "По публикации открытых данных государственными органами и органами местного самоуправления, а также технические требования к публикации открытых данных"

Методические рекомендации от 29 мая 2014 г.
Версия 3.0
"По публикации открытых данных государственными органами и органами местного самоуправления, а также технические требования к публикации открытых данных"

1. Термины и определения

Абстрактная модель - модель, отражающая общие характеристики моделируемого явления. Данный тип модели представляет информацию о качественных характеристиках моделируемого объекта или явления.

Востребованный набор открытых данных - опубликованный набор открытых данных, пользующийся популярностью у пользователей.

Сводный реестр наборов открытых данных - реестр, ведущийся уполномоченным органом государственной власти Российской Федерации, содержащий сведения обо всех реестрах наборов открытых данных государственных органов и органов местного самоуправления Российской Федерации, а также сведения об иных востребованных реестрах и наборах открытых данных.

Интерфейс прикладного программирования (API) - набор готовых классов, функций, структур и констант, предоставляемых приложением (библиотекой, сервисом) для использования во внешних программных продуктах.

Машиночитаемые данные - данные, представленные в описанном формате, позволяющем информационным системам без участия человека идентифицировать, обрабатывать, преобразовывать такие данные и их составные части (элементы), а также обеспечивать доступ к ним.

Метаданные (метаинформация) - структурированная информация, описывающая, разъясняющая, а также позволяющая находить или иным способом упрощать извлечение, использование или управление информационными ресурсами*(1).

Набор открытых данных (набор данных) - совокупность однородных элементов машиночитаемых данных и описывающей их метаинформации.

Обладатель информации - лицо, самостоятельно создавшее информацию, либо получившее на основании закона или договора право разрешать или ограничивать доступ к информации, определяемой по каким-либо признакам.

Онтология - средство связывания атрибутов наборов открытых данных между собой, представляет собой терминологический словарь синонимов/соотношений.

Опубликование (публикация) - размещение информации в сети "Интернет" для обеспечения доступа к ней неопределенного круга лиц.

Открытые данные - информация, размещенная в сети "Интернет" в виде систематизированных данных, организованных в формате, обеспечивающем ее автоматическую обработку без предварительного изменения человеком, в целях неоднократного, свободного и бесплатного использования.

Открытые государственные данные - открытые данные, опубликованные государственными органами, их территориальными органами, органами местного самоуправления или организациями, подведомственными государственным органам, органам местного самоуправления.

Ответственный представитель за публикацию открытых данных (ответственный за публикацию, публикатор) - должностное лицо, уполномоченное представлять государственный орган или орган местного самоуправления по вопросам публикации открытых данных.

Паспорт открытых данных - совокупность сведений о наборе открытых данных, необходимых для установления факта принадлежности набора открытых данных к той или иной тематической рубрике, его потенциальной пригодности для решения задач потребителя, а также установления адреса размещения, способа загрузки и последующей автоматической обработки набора открытых данных.

Потребитель открытых государственных данных (конечный потребитель) - субъект российской или международной юрисдикции, имеющий намерение и полное право использовать Открытые государственные данные в соответствии с Открытой Лицензией.

Портал открытых данных Российской Федерации - комплексная государственная информационная система, которая реализует функцию предоставления неограниченному кругу лиц доступа к реестру наборов открытых данных органов государственной власти Российской Федерации, органов местного самоуправления и организаций, действующих на территории Российской Федерации, а также иные функции, обеспечивающие реализацию политики Российской Федерации в области публикации открытых данных.

Портал открытых данных государственного (муниципального) органа - информационная система, которая реализует функцию предоставления неограниченному кругу лиц доступа к реестру наборов открытых данных соответствующего органа государственной власти Российской Федерации или органа местного самоуправления, действующего на территории Российской Федерации, а также иные функции, обеспечивающие реализацию политики Российской Федерации в области публикации открытых данных.

Раздел открытых данных на официальном сайте - раздел сайта официального органа государственной власти или органа местного самоуправления по вопросам публикации открытых данных.

Реестр наборов открытых данных - систематизированный перечень наборов открытых данных, позволяющий в автоматическом режиме осуществлять навигацию по наборам открытых данных и получать ключевые параметры этих наборов, включая гиперссылки, необходимые для доступа к наборам открытых данных.

Реестр наборов открытых данных государственного органа или органа местного самоуправления - реестр наборов открытых данных, включающий сведения о наборах открытых данных соответствующего государственного органа или органа местного самоуправления.

Связанные данные (Linked Data) - метод публикации структурированных данных, предусматривающий стандартизированное именование и связывание данных в целях обеспечения автоматической идентификации, обработки и преобразования информационными системами, соответствующий принципам связывания данных*(2).

Совет по открытым данным - рабочая группа при Правительственной комиссии по координации деятельности открытого правительства, созданная по решению Правительственной комиссии по координации деятельности открытого правительства от 28 февраля 2013 г. (протокол N 1).

Специфические типы данных - данные, публикуемые в виде открытых данных, содержащие особенности в части использования узкоспециализированных справочников, онтологий и классификаторов, которые необходимо публиковать в виде открытых данных и/или указывать ссылки их публикации.

Система управления содержимым (CMS) - информационная система, используемая для обеспечения и организации совместного процесса создания, редактирования и управления содержимым сайта (например, Joomla, WordPress, Drupal).

CSV*(3) - (Comma-Separated Values - значения, разделенные запятыми) - текстовый формат, предназначенный для представления табличных данных. Каждая строка файла - это одна строка таблицы. Значения отдельных колонок отделяются друг от друга установленным в системе разделительным символом (delimiter).

HTML+Microdata*(4) - Микроданные*(5) (англ. microdata) - совокупность методов семантической разметки данных с использованием элементов языка HTML. Обеспечивает возможность автоматического считывания включенной в HTML-документ атрибутивной информации при сохранении стандартной функциональности (визуального просмотра документа с использованием браузера).

HTML+RDFa*(6) - (RDF in attributes) - запись внутри атрибутов произвольного HTML-документа. Пользователь-человек может воспринимать размеченную страницу как обычную веб-страницу (через браузер); в то же время программы-обработчики способны извлечь из такой страницы структурированную информацию, следуя определенным соглашениям.

JSON*(7) - (JavaScript Object Notation) - текстовый формат обмена данными, основанный на JavaScript и обычно используемый именно с этим языком. Как и многие другие текстовые форматы, JSON легко читается людьми.

RDF - (Resource Description Framework)*(8) - модель, разработанная Консорциумом Всемирной паутины (W3C) для представления данных, в особенности - метаданных. RDF представляет сведения о ресурсах в пригодном для машинной обработки виде.

XML*(9) - (eXtensible Markup Language - расширяемый язык разметки) - язык разметки, рекомендованный Консорциумом Всемирной паутины (W3C). Спецификация XML описывает XML-документы и частично описывает поведение XML-процессоров (программ, читающих XML-документы и обеспечивающих доступ к их содержимому).

2. Целевая аудитория

Основной аудиторией методических рекомендаций являются представители органов государственной власти, ответственные за публикацию открытых данных государственных органов или органов местного самоуправления, сотрудники государственных органов, являющиеся обладателями информации, и технические специалисты, организующие работу по публикации открытых данных в требуемом представлении.

Методические рекомендации накладывают обязательства перед ответственными представителями за публикацию открытых данных государственных органов или органов местного самоуправления в соответствии с требованиями Федерального закона от 27 июля 2006 г. N 149-ФЗ "Об информации, информационных технологиях и о защите информации" и Федерального закона от 9 февраля 2009 г. N 8-ФЗ "Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления" с учетом изменений, внесенных Федеральным законом от 7 июня 2013 г. N 112-ФЗ. Методические рекомендации основываются на принципах Хартии открытых данных "Группы восьми", принятой 18 июня 2013 года*(10).

В иных случаях Методические рекомендации служат руководством для всех желающих публиковать информацию в виде открытых данных на территории Российской Федерации на добровольной основе.

Методические рекомендации будут интересны тем, кому требуется общее понимание процедуры размещения открытых государственных данных на территории Российской Федерации и принципы работы при их публикации.

3. Определение наборов открытых данных и приоритетности их публикации

Опубликованию в форме открытых данных подлежат сведения, содержащие информацию о деятельности государственных органов и органов местного самоуправления, размещаемую в сети "Интернет" в соответствии с Федеральным законом от 09 февраля 2009 г. N 8-ФЗ "Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления", а также сведения, содержащие информацию, собираемую, хранимую, обрабатываемую или публикуемую государственными органами или органами местного самоуправления в рамках реализации своих полномочий.

Опубликование информации в форме открытых данных необходимо осуществлять поэтапно, учитывая при этом следующие факторы:

а) востребованность соответствующих наборов открытых данных потенциальными потребителями информации, оцениваемую в соответствии с методикой мониторинга и оценки востребованности открытых данных;

б) степень готовности, характеризующуюся наличием необходимых данных в электронном виде, а также готовностью организационных, технических, технологических и иных средств, необходимых для опубликования наборов открытых данных;

в) затраты на публикацию (финансовые, временные, трудовые), необходимые для опубликования наборов открытых данных и поддержания их в актуальном состоянии. Сведения, обладающие высокой востребованностью и степенью готовности, требующие

при этом минимальных затрат, должны публиковаться в форме открытых данных государственными органами и органами местного самоуправления в первоочередном порядке.

Для повышения степени готовности сведений к опубликованию в форме открытых данных государственным органам и органам местного самоуправления рекомендуется при проведении работ по проектированию, созданию или развитию автоматизированных систем устанавливать соответствующие требования к таким работам, предусматривающие использование машиночитаемых данных при сборе, обработке, хранении и публикации сведений.

При формировании как реестра наборов открытых данных, так и самих наборов открытых данных, следует учитывать:

а) публикации подлежат первичные данные, не подвергнутые предварительной обработке;

б) для каждого набора данных должно быть определено должностное лицо, ответственное по вопросам публикации открытых данных;

в) для каждого набора данных должна быть установлена периодичность обновления с учетом потребностей потребителей открытых данных.

Сформированный реестр открытых данных утверждается государственным органом или органом местного самоуправления и подлежит публикации на официальном сайте органа в сети "Интернет".*(11)

4. Условия использования открытых данных

4.1. Требования к условиям использования открытых данных

При публикации набора открытых данных на странице набора в обязательном порядке должно присутствовать описание условий использования данных (например, ссылка на открытую лицензию) или ссылка на текст опубликованного документа, устанавливающего такие условия.

Условия использования не должны требовать от пользователей заключения какого-либо договора с государственным органом или органом местного самоуправления.

Условия использования не должны ограничивать потребителей открытых данных в применении данных наборов в некоммерческих и коммерческих целях.

Условия использования должны предполагать безвозмездное предоставление открытых данных.

Должно присутствовать требование наличия ссылки на источники публикации наборов данных в проектах (в условиях использования), использующих данные наборы.

Рекомендуется при публикации открытых данных использовать открытую лицензию, содержащую требования, приведенные в разделе 4.3 настоящих методических рекомендаций, или требования, соответствующие международным лицензиям Creative Commons*(12) или Open Data Commons*(13).

В условиях использования должны отсутствовать требования регистрации и/или авторизации на сайте для возможности использования открытых данных.

Условия использования открытых данных не должны иметь противоречий и расхождений с законодательством Российской Федерации, а также нормами международного права.

Намеренное затруднение для выполнения поиска и анализа массивов открытых данных с использованием машинных алгоритмов (например, искажения или замены кириллических символов на похожие латинские) находится в зоне ответственности публикатора открытых данных, а также государственного органа - владельца информации, размещаемой в виде наборов открытых данных.

Основные нормативные правовые акты, регламентирующие публикацию открытых данных:

Федеральный закон от 9 февраля 2009 г. N 8-ФЗ "Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления";

Федеральный закон от 27 июля 2006 г. N 149-ФЗ "Об информации, информационных технологиях и о защите информации" (далее - Федеральный закон N 149-ФЗ);

постановление Правительства Российской Федерации от 10 июля 2013 г. N 583 "Об обеспечении доступа к общедоступной информации о деятельности государственных органов и органов местного самоуправления в информационно-телекоммуникационной сети "Интернет" в форме открытых данных";

постановление Правительства Российской Федерации от 24 ноября 2009 г. N 953 "Об обеспечении доступа к информации о деятельности Правительства Российской Федерации и федеральных органов исполнительной власти";

приказ Минкомсвязи России от 27 июня 2013 г. N 149 "Об утверждении Требований к технологическим, программным и лингвистическим средствам, необходимым для размещения информации государственными органами и органами местного самоуправления в сети "Интернет" в форме открытых данных, а также для обеспечения ее использования";

распоряжение Правительства Российской Федерации от 10 июля 2013 г. N 1187-р (О Перечнях информации о деятельности государственных органов, органов местного самоуправления, размещаемой в сети "Интернет" в форме открытых данных).

4.2. Ограничения на использование государственной информации

В соответствии с частью 5 статьи 7 Федерального закона N 149-ФЗ информация в форме открытых данных, составляющая государственную тайну, не подлежит публикации и распространению.

Ограничение доступа к информации устанавливается федеральными законами в целях защиты основ конституционного строя, нравственности, здоровья, прав и законных интересов других лиц, обеспечения обороны страны и безопасности государства (часть 1 статьи 9 Федерального закона N 149-ФЗ).

В случае необходимости публикации информации, включающей персональные данные, необходимо выполнять обезличивание данных в соответствии с действующим законодательством.

4.3. Рекомендации по использованию открытой лицензии

Публиковать открытые данные рекомендуется с использованием открытой лицензии, которая включает представленные ниже положения и позволяет определить права и ограничения по использованию открытых данных.

Публикатор предоставляет потребителю открытых государственных данных бессрочное, бесплатное, неисключительное право использовать открытые данные в соответствии со следующими требованиями.

Потребитель открытых данных вправе:

- воспроизводить, копировать, публиковать и передавать открытые данные;

- распространять открытые данные и перегруппировывать их составные части;

- адаптировать, модифицировать или извлекать информацию из открытых данных;

- использовать открытые данные в коммерческих целях при производстве нового товара или услуги.

Потребителю открытых данных разрешено любое использование (включая коммерческое) при условии наличия ссылки на первоисточник (обязан размещать упоминание об источнике: имя или контактное лицо ответственного представителя посредством предоставления URL, содержащего исходный вариант открытых данных).

Открытые данные становятся доступными при их непосредственном производстве или их получении от обладателя информации без каких-либо иных прямых или косвенных гарантий, не предусмотренных настоящими условиями использования.

Потребитель имеет исключительное право на переработку открытых данных. При данной переработке потребитель обязуется не вовлекать третью сторону в процесс переработки, обязуется не искажать содержание открытых данных, их первоисточник и время последнего обновления.

5. Технологическая инфраструктура

Государственная информация, подлежащая опубликованию в виде набора открытых данных или гиперссылок на соответствующие наборы данных, должна размещаться на официальных сайтах*(14) государственных органов или органов местного самоуправления, являющихся обладателями информации. Вместе с тем, существует следующий перечень возможных*(15) способов публикации наборов открытых государственных данных:

- Обязательные способы публикации открытых данных;

- Альтернативные (дополнительные) способы публикации открытых данных.

5.1. Обязательные способы публикации

Обязательные способы публикации открытых данных предполагают использование одного из трех способов публикации:

- через раздел открытых данных на официальном сайте государственного (муниципального) органа в сети "Интернет";

- через портал открытых данных государственного (муниципального) органа в сети "Интернет";

- через портал открытых данных Российской Федерации в сети "Интернет".

5.1.1. Публикация открытых данных через раздел открытых данных на официальном сайте государственного (муниципального) органа

Данный метод является одним из наиболее простых с точки зрения Публикатора - предоставление наборов открытых данных в виде файлов для загрузки с веб-страниц. Для реализации этого выдвигается следующий список рекомендаций государственным органам и органам местного самоуправления:

а) на официальном сайте должна быть создана специализированная страница для публикации открытых данных в машиночитаемых форматах (далее - страница открытых данных);

б) на главной странице официального сайта должна располагаться визуально различимая гиперссылка на страницу наборов открытых данных с надписью "Открытые данные";

в) страница открытых данных должна содержать реестр*(16) наборов открытых данных, соответствующий требованиям настоящих Методических рекомендаций;

г) для каждого опубликованного набора открытых данных на официальном сайте государственного органа или органа местного самоуправления должна быть предусмотрена прямая ссылка на набор открытых данных;

д) в целях доступности страниц открытых данных для поисковых роботов должна быть размещена ссылка на реестр наборов открытых данных - разрешение в robots.txt, указание в sitemap.xml.

5.1.2. Публикация открытых данных через портал открытых данных государственного (муниципального) органа

Данный способ представляет собой вариант развития раздела в самостоятельный портал открытых данных с необходимостью размещения расширенного реестра наборов открытых данных с классификацией размещенных данных, а также с их визуализацией. Использование портала ограничивает требования по машинному представлению реестра и паспортов наборов открытых данных в пользу свободных требований к использованию адресов паспортов наборов открытых данных и машиночитаемому представлению реестра и паспортов. В случае реализации собственного портала необходимо придерживаться следующих рекомендаций:

а) портал открытых данных должен содержать реестр наборов открытых данных, состоящий из ссылок на отдельные страницы наборов открытых данных;

б) портал открытых данных должен обеспечивать централизованный учет наборов открытых данных, форматов, способов хранения и использования имеющихся наборов открытых данных, единого хранилища открытых данных;

в) портал открытых данных должен обеспечивать классификацию и поиск, предназначенный для систематизированной классификации всех собранных на портале отрытых данных. На портале должна быть реализована функция навигации по наборам открытых данных. Классификацию наборов данных на портале рекомендуется осуществлять по следующему списку параметров и их характеристик:

- организационная структура - классификация данных по подразделениям, публикующим открытые данные на портале (департаменты, территориальные органы, подведомственные организации и другие, в зависимости от структуры государственного органа и органа местного самоуправления);

- форматы данных - классификация по способу/форматам представляемых данных (CSV, XML, JSON, API, RDF);

- предметная область:

1. по ключевым словам - классификация по перечню ключевых слов;

2. по тематическим разделам (список наборов высокой значимости (список разделов) представлен в Приложении 2).

- качество данных - классификация по определенным меткам определения шкалы качества данных (например, в соответствии с пятизвездной моделью*(17) представления данных или собственной шкалой качества данных);

- периодичность обновления и актуальность данных - оперативные данные (высокая периодичность актуализации данных - чаще, чем 1 раз в неделю), долговременные данные (реже 1 раза в неделю);

- популярность среди потребителей данных - классификация по инструменту голосования и посещения наборов открытых данных, а также по активности обсуждения наборов открытых данных;

- пользовательская лояльность - классификация по удовлетворенности совершенствования наборов данных на основе обратной связи с потребителями наборов открытых данных;

г) портал должен обеспечивать информационное представление и публичный доступ к аналитической и статистической информации по открытым государственным данным гражданам, государственным и другим организациям путем предоставления информации (счетчики посещения наборов открытых данных, счетчики загрузки файлов открытых данных);

д) портал должен содержать коммуникативную площадку или использовать коммуникативную площадку для обмена мнениями между заинтересованными потребителями открытых данных различных тематик с целью использования механизмов общественного контроля качества открытых данных в части обеспечения достоверности, полноты и актуальности открытых данных, в том числе посредством механизмов обратной связи;

е) портал должен содержать инструменты визуализации (пример инструментов визуализации представлен в Приложении 3) размещенных наборов открытых данных на портале:

- табличная визуализация (с возможностью построения различного рода графиков);

- картографическая визуализация (для данных, содержащих геометки).

ж) в целях доступности страниц открытых данных для поисковых роботов должна быть размещена ссылка на реестр наборов открытых данных - разрешение в robots.txt, указание в sitemap.xml;

з) рекомендуется предоставлять возможности API (спецификации в Приложении 10). Рекомендуемыми инструментами реализации собственных порталов открытых данных могут быть свободно используемые платформы данных с открытым исходным кодом - CKAN*(18) (Comprehensive Knowledge Archive Network) или DKAN*(19) (Drupal Knowledge Archive Network).

5.1.3. Публикация открытых данных через портал открытых данных Российской Федерации

Данный способ представляет собой развитие раздела открытых данных государственного органа на платформе портала открытых данных Российской Федерации с необходимостью размещения наборов открытых данных своей организации, используя инструменты публикации и визуализации наборов открытых данных указанного портала. Использование портала не предъявляет дополнительных требований по машинному представлению реестра и паспортов наборов открытых данных*(20), за исключением текущих правил машиночитаемости и файлового представления опубликованных наборов открытых данных, определенных настоящими Методическими рекомендациями.

Публикация открытых данных осуществляется средствами личного кабинета портала открытых данных Российской Федерации.

5.2. Альтернативные (дополнительные) способы публикации открытых данных

5.2.1. Публикация через сайт третьей стороны

Данный метод является предпочтительным в том случае, когда одной из целей является получение обратной связи от наибольшего числа потребителей целевой аудитории. Более того, сторонний сайт может содержать средства визуализации и иные аналитические инструменты (Приложение 3).

5.2.2. Публикация через ftp-сервер

Данный метод удобен в использовании в том случае, когда целевая аудитория владеет необходимыми компетенциями для взаимодействия с наборами открытых данных описываемым методом. Также данный метод является актуальным в том случае, когда информация набора обновляется с высокой периодичностью, либо когда для таких наборов открытых данных необходимы значительные ресурсы для их перемещения и/или хранения.

5.2.3. Публикация через файлообменный протокол BitTorrent

Данный метод является одним из наиболее подходящих альтернативных способов в том случае, когда размеры наборов открытых данных значительны. Более того, сама идеология торрент-систем подразумевает увеличение предложения пропорционально уровню спроса на скачиваемые наборы, поскольку система торрентов путем диверсификации минимизирует риски перегруженности сервера (что не исключается в случае ftp-сервера).

6. Порядок публикации наборов открытых данных

Общие правила публикации в форме открытых данных, предъявляемые к государственному органу или органу местного самоуправления:

а) государственный орган или орган местного самоуправления переводит набор данных в машиночитаемый формат, в котором этот набор открытых данных подлежит публикации;

б) государственный орган или орган местного самоуправления публикует набор данных, добавляет необходимую информацию на страницу раздела (портала) открытых данных и предоставляет ссылку на страницу соответствующего набора (файлового представления набора) открытых данных Страница набора открытых данных должна включать ссылку на загрузку выбранной версии открытых данных или на интерфейс программного представления (API);

в) государственный орган или орган местного самоуправления проверяет доступность опубликованного набора открытых данных для пользователей официального сайта в сети "Интернет";

г) государственный орган или орган местного самоуправления передает в виде файла в машиночитаемом формате запись об опубликованном наборе открытых данных, выгруженную из реестра наборов данных, открытых государственным органом или органом местного самоуправления, в уполномоченный орган государственной власти;

д) уполномоченный орган государственной власти обновляет сводный реестр открытых данных, а также другую информацию об опубликованных наборах открытых государственных данных, которую они ведут на странице в сети "Интернет" для публикации сводной информации о данных, открытых государственными органами или органом местного самоуправления в машиночитаемых форматах, тем самым поддерживая сводный реестр наборов открытых данных в актуальном состоянии.

Схема взаимодействия при публикации открытых данных (Рисунок 1) отражает ролевой подход к рассматриваемому процессу, представляя собой описание функциональной и технологической компонент. Таким образом, пиктограммами обозначены функциональные роли (у одного сотрудника может быть несколько ролей).

а) отраслевое подразделение государственного органа или органа местного самоуправления осуществляет подготовку материала для предоставления в форме открытых данных. Данная подготовка осуществляется ролью "Поставщик информации" (роль, ответственная за содержательное наполнение материала);

б) после подготовки материала "Поставщик информации" передает материал "Техническому специалисту" своего подразделения для его конвертации в машиночитаемые данные. При получении материала "Технический специалист" проверяет материал на ошибки и возможность корректного представления в машиночитаемые данные;

в) после перевода данных в машиночитаемое представление "Технический специалист" передает данные "Контент-менеджеру" (роль, ответственная за публикацию наборов открытых данных одним из обязательных способов, а также альтернативными способами публикации) или использует автоматизированные инструменты для самостоятельной публикации набора открытых данных;

г) "Контент-менеджер" осуществляет проверку представленных материалов для публикации на корректность ввода и осуществляет публикацию в разделе (на портале);

д) данные опубликованы в виде набора открытых данных в разделе (на портале);

е) разработчики приложений и конечные потребители открытых данных взаимодействуют с "Контент-менеджером" по интересующим их вопросам, непосредственно влияя на качество и актуальность данных по средствам обратной связи.

7. Требования к публикации реестра наборов открытых данных

7.1. Общие требования к публикации реестра наборов открытых данных

На странице публикации наборов открытых данных*(21) должен содержаться заголовок "Открытые данные" и обеспечиваться доступ пользователям в сети "Интернет" к следующим элементам:

- реестр наборов открытых данных;

- статистическая информация о наборах открытых данных (общее количество наборов открытых данных);

- средства поиска наборов открытых данных (в случае наличия более 20 наборов открытых данных);

- описание условий использования наборов открытых данных;

- инструмент запроса на предоставление информации в виде наборов открытых данных.

7.2. Требования к публикации реестра наборов открытых данных через раздел открытых данных на официальном сайте государственного (муниципального) органа в сети "Интернет"

1. Адрес страницы раздела "Открытые данные" на официальном сайте государственного (муниципального) органа должен формироваться по следующему шаблону: "<адрес официального сайта>/opendata". В случае кириллического адреса сайта он может быть продублирован по адресу "<адрес официального сайта>/открытые-данные" (Допускается публикация из адреса поддоменного уровня "opendata.<адрес официального сайта>").

2. Реестр наборов открытых данных должен иметь человекочитаемое представление (с использованием средств визуализации) и машиночитаемое представление. Человекочитаемое представление реестра наборов открытых данных должно содержать следующую информацию:

- порядковый номер набора открытых данных;

- наименование набора открытых данных;

- формат представления набора открытых данных;

- ссылка на страницу набора открытых данных.

Пример реализации:

	Название набора открытых данных	Формат набора открытых данных
1	Перечень территориальных органов	CSV
2	Перечень подведомственных организаций	XML
3	Сведения о вакантных должностях	JSON

Примечание: визуальное представление может отличаться от приведенного выше примера на усмотрение представителей государственного органа или органа местного самоуправления без потери содержательной составляющей.

3. Машиночитаемое представление реестра наборов открытых данных должно быть реализовано в одном из следующих форматов:

- CSV;

- XML;

- JSON;

- HTML+RDFa;

- HTML+Microdata.

4. Машиночитаемое представление реестра наборов открытых данных должно содержать следующую информацию о каждом наборе открытых данных:

- Идентификационный номер набора открытых данных*(22);

- Название набора открытых данных;

- Ссылка на машиночитаемое представление паспорта набора открытых данных;

- Формат набора открытых данных.

5. Адрес машиночитаемого представления реестра открытых данных должен задаваться по следующему правилу:

<адрес-официального сайта>/opendata/list.расширение формата (opendata.<адрес официального сайта> list.расширение формата)

Например, файл реестра наборов открытых данных, размещенный в формате xml, должен быть доступен по следующему адресу:

<адрес официального сайта>/opendata/list.xml

Полные требования к машиночитаемому представлению реестра наборов открытых данных в зависимости от форматов представления описаны в Приложении 7.

7.3. Требования к публикации через портал открытых данных государственного (муниципального) органа

1. Портал открытых данных должен находиться по адресу: "opendata.<адрес портала >" (допускается размещать портал по собственному адресу).

Дополнительно возможно существование второго (дублирующего) варианта ссылки "открытые-данные.<адрес портала>" в случае кириллического адреса сайта.

2. Реестр наборов открытых данных портала должен иметь машиночитаемое представление.

3. Адрес машиночитаемого представления реестра открытых данных должен задаваться по следующему правилу:

opendata.<адрес портала>/list.расширение формата (или <адрес портала>/list.расширение формата)

Например, файл реестра наборов открытых данных, размещенный в формате xml, должен быть доступен по следующему адресу:

opendata.<адрес портала>/list.xml

Полные требования к машиночитаемому представлению реестра наборов открытых данных в зависимости от форматов представления описаны в Приложении 7.

4. Портал открытых данных государственного органа должен удовлетворять требованиям публикации наборов открытых данных через собственный официальный сайт в сети "Интернет", описанным в разделе 5.1.2.

7.4. Требования к публикации через портал открытых данных Российской Федерации

При публикации открытых данных на портале открытых данных Российской Федерации предъявляются общие требования к публикации набора открытых данных, определенные в разделе 8.1.

8. Требования к публикации набора открытых данных

8.1. Общие требования к публикации набора открытых данных

Содержание страницы набора открытых данных должно состоять из метаинформации по публикуемому набору открытых данных, машиночитаемого представления набора открытых данных, а также человекочитаемому представлению открытых данных (визуализация данных, пользовательское взаимодействие и других). При публикации набора открытых данных должна указываться информация о версии Методических рекомендаций, в соответствии с которой публикуется набор открытых данных.

Заголовок страницы набора открытых данных должен соответствовать его названию.

Страница набора открытых данных должна обеспечивать предоставление доступа пользователям сети "Интернет" к следующим элементам набора открытых данных:

1. паспорт набора открытых данных в человекочитаемом виде (визуальном интерфейсе) и в машиночитаемом виде (файла для загрузки, инструмента программного интерфейса);

2. структура набора открытых данных в машиночитаемом виде (CSV, XSD или JSON представлении в зависимости от формата файла открытых данных*(23));

3. описание условий использования набора открытых данных (открытая лицензия на использование наборов открытых данных);

4. открытые данные в человекочитаемом виде (визуальном интерфейсе) и в машиночитаемом виде в одном из форматов: CSV, XML, JSON, RDF или в виде API;

5. возможность визуального просмотра и немедленной загрузки опубликованного набора открытых данных без требований по дополнительной авторизации, прохождения CAPTCHA-теста и иных ограничений;

6. инструмент повышения качества наборов открытых данных (обратной связи, экранных форм для обратной связи в виде комментариев, либо ссылок на экранные формы для обратной связи), позволяющий пользователям сети "Интернет" оставлять предложения и отзывы по предоставленному набору открытых данных, в том числе по ошибкам, выявленным в наборе открытых данных. Инструмент обратной связи должен позволять потребителям наборов открытых данных указывать на ошибки и несоответствия в визуальном представлении наборов открытых данных и публиковать все поступившие замечания на единой странице, относящейся к данному набору открытых данных. Ответы представителей государственных органов должны публиковаться на той же странице. Обратная связь, реализованная на странице набора открытых данных, должна обеспечивать привязку вводимой пользователем информации к соответствующему набору открытых данных.

8.1.1 Публикация метаинформации набора открытых данных

Метаинформация набора открытых данных включает полное описание набора открытых данных.

Метаинформация набора открытых данных состоит из следующих частей:

- паспорт набора открытых данных;

- структура набора открытых данных;

- другая информация, описывающая набор открытых данных.

Паспорт и структура набора открытых данных являются обязательными требованиями к машиночитаемому представлению.

Метаинформация набора открытых данных не должна иметь никаких дополнительных ограничений на использование (например, ссылки на системы координат в закрытых форматах)

8.1.1.1 Публикация паспорта набора открытых данных*(24)

Страница набора открытых данных должна содержать паспорт набора открытых данных. Заголовок страницы набора открытых данных должен соответствовать названию набора открытых данных.

Паспорт набора открытых данных должен иметь четко заданную структуру следующего вида:

1	Идентификационный номер
2	Наименование набора открытых данных
3	Описание набора открытых данных
4	Владелец набора открытых данных
5	Ответственное лицо
6	Телефон ответственного лица
7	Адрес электронной почты ответственного лица
8	Гиперссылка (URL) на открытые данные
9	Формат набора открытых данных
10	Описание структуры набора открытых данных
11	Дата первой публикации набора открытых данных
12	Дата последнего внесения изменений
13	Содержание последнего изменения
14	Дата актуальности набора данных*(25)
15	Ключевые слова, соответствующие содержанию набора данных
16	Гиперссылки (URL) на версии открытых данных
17	Гиперссылки (URL) на версии структуры набора данных
18	Версия методических рекомендаций

1) Идентификационный номер (код) набора открытых данных формируется следующим образом:

а) формат идентификационного номера: <код организации>-<наименование набора>;

б) код организации представляет собой идентификационный номер налогоплательщика (ИНН), соответствующий государственному органу, органу местного самоуправления или организации, опубликовавшей набор открытых данных;

в) наименование набора открытых данных - сокращенное англоязычное название набора открытых данных, указывается в одно слово (уникальное в пределах организации).

Пример: 7712345678-showrooms.

2) Наименование набора открытых данных выбирается следующим образом:

а) наименование набора данных должно отражать его содержание;

б) наименование набора открытых данных не должно повторять информацию, содержащуюся в идентификационном номере (коде) набора открытых данных (см. ниже). Наименование должно быть уникальным в пределах организации.

Пример: Список выставочных залов.

8.1.1.2 Публикация структуры набора открытых данных

1. структура наборов открытых данных должна представлять описание каждого информационного поля открытых данных;

2. структура открытых данных должна иметь машиночитаемое представление в формате XSD для открытых данных, представленных в формате XML или RDF;

3. структура наборов открытых данных должна иметь машиночитаемое представление в формате CSV для наборов открытых данных в формате CSV;

4. структура наборов открытых данных должна иметь машиночитаемое представление в формате JSON для наборов открытых данных в формате JSON;

5. при изменении структуры открытых данных должна обеспечиваться версионность структуры и соответствие данной версии последующим итерациям открытых данных;

6. необходимо обеспечивать хранение всех версий структуры открытых данных;

7. атрибуты каждой структуры открытых данных должны иметь англоязычное представление (в виде англоязычных имен или краткого текста транслитерации);

8. описание структуры открытых данных должно содержать описание (в том числе в виде ссылок) всех справочников, онтологий и классификаторов, используемых для формирования набора открытых данных*(26);

9. при использовании общепринятых стандартов, систем и справочников обязательным требованием является указание данных онтологий в структуре набора открытых данных (например, для формата xsd структуры - <xs:documentation xml:lang="ru">Дата первой публикации набора данных в формате ISO 8601.</xs:documentation>). При использовании собственных справочников (например, ОКАТО или другой специализированный справочник) необходимо указывать ссылку на справочник или на онтологию справочника в структуре набора открытых данных. Используемые общепринятые стандарты, системы и справочники не должны иметь никаких ограничений в использовании;

10. при публикации специфических наборов (различные тематические направления, например, геоданные) необходимо использовать унифицированные онтологии (например, в проекции EPSG: 4326 для геоданных) с обязательным указанием наименования и ссылки на онтологию в структуре набора;

11. в случае предоставления доступа к набору открытых данных через программный интерфейс, указывается гиперссылка на файл, содержащий описание такого интерфейса и условия открытого использования.

Примеры публикации структуры наборов открытых данных в различных форматах приведены в Приложении 9.

8.1.1.3 Публикация другой информации, описывающей набор открытых данных

Предъявляется требование к необходимости публикации исходных документов (информации, которая преобразуется в открытые данные) на странице набора открытых данных в качестве дополнительной информации к открытым данным*(27).

8.1.2 Машиночитаемое представление открытых данных

Машиночитаемое представление открытых данных должно быть реализовано посредством представления данных через API или в одном из перечисленных форматов:

1 CSV;

2 XML;

3 JSON;

4 любой из открытых форматов, реализующих модель RDF.

Название и адрес размещения машиночитаемого представления открытых данных должно соответствовать одному из следующих шаблонов:

- <адрес официального сайта>/opendata/<код организации>-<наименование набора>.расширение файла - в случае публикации через раздел открытых данных на официальном сайте;

- opendata.<адрес официального сайта>/<код организации>-<наименование набора>.расширение файла - в случае публикации через портал открытых данных государственного органа.

Общие требования к публикации машиночитаемого представления набора открытых данных

а. открытые данные должны публиковаться в форматах CSV, XML, JSON, RDF или с применением API (в случае наборов открытых данных со специфическими особенностями). В формате CSV рекомендуется публиковать данные, имеющие плоскую табличную форму, при этом в содержании записи не допускается использование символа перевода строки. Сложные иерархические данные рекомендуется публиковать в форматах XML, JSON. Для облегчения последующего процесса связывания наборов данных рекомендуется публиковать в одном из открытых форматов, реализующих модель RDF. Подробная схема представления связей между метаданными, открытыми данными и онтологиями представлена в Приложении 1;

б. в случае если размер набора имеет значительный объем данных (более 30 Мбайт), рекомендуется архивировать его с помощью алгоритма архивирования, имеющего спецификацию в виде открытого стандарта (см. п.8.1.4);

в. для представления наборов открытых данных, содержащих сведения из различных предметных областей, должны использоваться существующие форматы разметки типовых данных (schema.org, YMapsML, XAL и т.п.), имеющие опубликованную спецификацию;

г. необходимо избегать смены формата представления открытых данных, так как это может затруднить процесс автоматической обработки. В случае смены формата необходимо заранее уведомлять потребителей и фиксировать суть изменений (например, путем установки соответствующего значения параметра "Содержание последнего изменения" в "Изменение структуры данных" набора открытых данных);

д. атрибуты каждого набора открытых данных должны иметь краткое англоязычное представление (в виде англоязычных имен или краткого текста транслитерации);

е. машиночитаемое представление набора открытых данных (в соответствующем формате или через API) должно обеспечивать возможность автоматической идентификации и обработки информационными системами составных элементов набора (записей, сущностей и т.д.) и атрибутов этих элементов; не допускается представление данных в неструктурированной форме, затрудняющей автоматическую обработку (например, недопустимо представление набора данных в виде бинарных данных, включенных в файл офисного документа).

Полные требования и примеры к машиночитаемому представлению открытых данных представлены в Приложениях 7-10.

8.1.3 Человекочитаемое представление открытых данных*(28)

Рекомендуется применять инструменты автоматической визуализации наборов открытых данных, что не исключает требования публикации машиночитаемых данных. При визуальном представлении наборов открытых данных, содержащих географические координаты в качестве атрибутов объектов открытых данных, необходимо обеспечить корректное отображение данных объектов на карте местности в соответствии с координатными данными.

Для визуализации табличных данных необходимо использовать инструменты, позволяющие осуществить предварительный просмотр данных в веб-браузере в табличном виде.

8.1.4 Требования к архивированию открытых данных

В случае если размер открытых данных имеет значительный размер (определяется в соответствии с аппаратно-техническими возможностями), рекомендуется архивировать его с помощью алгоритма архивирования LZMA (LZMA2)*(29).

В случае если на сайте хранится более 10 версий открытых данных одного набора открытых данных, рекомендуется все версии старше десятой хранить в архивах.

В случае если публикуется многотомный набор, все тома рекомендуется архивировать и хранить в одном архиве.

8.1.5 Частота обновления набора данных

Наборы открытых данных разделяются на оперативные данные (высокая периодичность актуализации данных - чаще, чем 1 раз в неделю) и долговременные (реже, чем 1 раз в неделю)

Для каждого набора открытых данных в паспорте набора должна быть указана дата его актуальности.

Частота обновления набора может быть следующей:

Оперативные данные:

- больше одного раза в день;

- ежедневно;

- еженедельно.

Долговременные данные:

- ежемесячно;

- ежеквартально;

- каждые полгода;

- ежегодно;

- по мере изменения данных.

Глубина хранения наборов открытых данных

При наличии у обладателя информации соответствующих технических возможностей необходимо стремиться обеспечить хранение всех версий наборов открытых данных.

8.2. Требования к публикации набора открытых данных через раздел открытых данных на официальном сайте государственного (муниципального) органа в сети "Интернет"

Адрес страницы набора открытых данных должен формироваться по следующему шаблону: "<адрес официального сайта>/opendata/<код организации>-<наименование набора>". В случае кириллического адреса сайта он может быть продублирован по адресу "<адрес официального сайта>/открытые-данные/<код организации>-<наименование набора>" (Допускается публикация из адреса поддоменного уровня "opendata.<адрес официального сайта>").

Пример:

<адрес официального сайта>/opendata/7712345678-showrooms

Набор открытых данных должен включать данные, перечисленные в Приложении 9.

8.3. Требования к публикации набора открытых данных через портал открытых данных государственного (муниципального) органа в сети "Интернет"

Специальных требований к адресу публикации наборов открытых данных не предъявляется, за исключением официального стандарта RFC 1738*(30).

Технические требования к наборам открытых данных представлены в Приложении 9.

8.4. Требования к публикации набора открытых данных через портал открытых данных Российской Федерации

Предъявляются требования к метаинформации в части заполнения паспорта (Раздел 8.1.1.1 - Публикация паспорта набора открытых данных) и представления структуры открытых данных (Раздел 8.1.1.2 - Публикация структуры набора открытых данных), а также к машиночитаемому представлению (Раздел 8.1.2 - Машиночитаемое представление открытых данных).

8.5. Дополнительные требования к наборам открытых данных со специфическими технологическими особенностями в части хранения, описания и представления

К наборам открытых данных со специфическими технологическими особенностями относятся многотомные наборы открытых данных, периодически пополняемые (оперативные) наборы открытых данных и иные типы открытых данных, к которым предъявляются следующие требования:

- в случае значительных объемов (более 30 Мбайт) необходимо пользоваться вышеописанными средствами архивирования (Раздел 8.1.4 - Требования к архивированию открытых данных);

- в случае значительных объемов (более 30 Мбайт), частых обновлений (чаще 1 раза в неделю) или необходимости формирования специфических выборок, открытые данные должны предоставляться через программный интерфейс, имеющий опубликованную спецификацию (Приложение 10); программный интерфейс должен обеспечивать возможность полностью автоматического (без участия человека) доступа ко всем сведениям набора открытых данных (спецификации протоколов, форматов данных, первичные параметры доступа к сервису и пр.) (Приложение 10).