Методические рекомендации
по публикации открытых данных государственными органами и органами местного самоуправления и технические требования к публикации открытых данных
(версия 2.3)
(утв. протоколом заседания Правительственной комиссии по координации деятельности открытого правительства от 4 июня 2013 года N 4)
Настоящие методические рекомендации фактически утратили силу
См. методические рекомендации от 29 мая 2014 г. Версия 3.0 "По публикации открытых данных государственными органами и органами местного самоуправления, а также технические требования к публикации открытых данных"
I. Общие положения
1. Настоящий документ подготовлен во исполнение Указа Президента Российской Федерации от 7 мая 2012 г. N 601 "Об основных направлениях совершенствования системы государственного управления". В соответствии с подпунктом г) пункта 2 Указа Правительству Российской Федерации поручено до 15 июля 2013 г. обеспечить доступ в сети "Интернет" к открытым данным, содержащимся в информационных системах государственных органов и органов местного самоуправления Российской Федерации.
2. Для целей настоящих методических рекомендаций используются следующие термины и определения:
открытые данные - информация, размещенная в сети "Интернет" в виде систематизированных данных, организованных в формате, обеспечивающем ее автоматическую обработку без предварительного изменения человеком, в целях неоднократного, свободного и бесплатного использования;
открытые государственные (муниципальные) данные - открытые данные, содержащие сведения о деятельности государственных органов или органов местного самоуправления (в связи с тем, что настоящий документ используется для регулирования вопросов опубликования открытых данных органами государственной власти и органами местного самоуправления, термины "открытые данные" и "открытые государственные (муниципальные) данные" используются далее как эквивалентные);
набор открытых данных (набор данных) - систематизированная совокупность однотипных данных, представленных в форме открытых данных, состоящая из отдельных элементов, характеризующихся набором атрибутов, и позволяющая автоматизированным системам без участия человека идентифицировать, интерпретировать и обрабатывать такие элементы;
паспорт набора открытых данных - совокупность сведений о наборе открытых данных, позволяющая однозначно идентифицировать такой набор и получить в автоматическом режиме ключевые параметры, характеризующие набор открытых данных;
реестр открытых данных - систематизированный перечень наборов открытых данных, позволяющий в автоматическом режиме осуществлять поиск наборов открытых данных и получать ключевые параметры этих наборов, включая гиперссылки, необходимые для доступа к наборам открытых данных;
реестр открытых данных государственного органа или органа местного самоуправления - реестр открытых данных, содержащий сведения о наборах открытых данных, публикуемых соответствующим государственным органом или органом местного самоуправления;
единый реестр открытых данных - реестр открытых данных, ведущийся уполномоченных органом государственной власти Российской Федерации, содержащий сведения обо всех реестрах открытых данных государственных органов и органов местного самоуправления Российской Федерации, а также сведения об иных востребованных реестрах, паспортах и наборах открытых данных;
опубликование (публикация) - размещение информации в сети "Интернет" для обеспечения доступа к ней неопределенного круга лиц.
3. Не подлежит публикации в форме открытых данных информация, составляющая государственную тайну, содержащая конфиденциальные сведения, включая персональные данные, а также иные сведения, доступ к которым ограничен действующим законодательством Российской Федерации.
II. Определение перечней наборов открытых данных и приоритетности их публикации
4. Опубликованию в форме открытых данных подлежат сведения, содержащие информацию о деятельности государственных органов и органов местного самоуправления, размещаемую в сети "Интернет" в соответствии с Федеральным законом от 09 февраля 2009 г. N 8-ФЗ "Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления", а также сведения содержащие информацию, собираемую, хранимую, обрабатываемую или публикуемую государственными органами или органами местного самоуправления в рамках реализации своих полномочий.
В связи с существенными объемами опубликование информации в форме открытых данных необходимо осуществлять поэтапно, учитывая при этом следующие факторы:
а) востребованность соответствующих наборов открытых данных потенциальными потребителями информации, оцениваемую в соответствии с методическими рекомендациями по определению востребованности и приоритетности раскрываемых данных;
б) степень готовности, характеризующуюся наличием необходимых данных в структурированных форматах в электронном виде, а также готовностью организационных, технических, технологических и иных средств, необходимых для опубликования наборов открытых данных;
в) затраты на публикацию (финансовые, временные, трудовые), необходимые для опубликования наборов открытых данных и поддержания их в актуальном состоянии.
Сведения, обладающие высокой востребованностью и степенью готовности, требующие при этом минимальных затрат, должны публиковаться в форме открытых данных государственными органами и органами муниципальной власти в первоочередном порядке.
Для повышения степени готовности сведений к опубликованию в форме открытых данных государственным органам и органам муниципального самоуправления рекомендуется при проведении работ по проектированию, созданию или развитию автоматизированных систем устанавливать соответствующие требования к таким работам, предусматривающие использование машиночитаемых открытых форматов при сборе, обработке, хранении и публикации сведений.
При формировании реестра и наборов открытых данных следует учитывать, что:
а) опубликованию подлежат первичные (не агрегированные) данные с полной детализацией;
б) для каждого набора данных должно быть определено лицо, ответственное за содержание конкретного набора данных, его корректность, полноту и актуальность;
в) для каждого набора данных должна быть установлена периодичность обновления с учетом потребности пользователей информации;
Сформированный реестр открытых данных утверждается государственным органом или органом местного самоуправления и подлежит публикации на официальном сайте органа в сети "Интернет".
III. Технологическая инфраструктура
5. Подлежащие опубликованию наборы открытых данных или ссылки на эти наборы данных должны размещаться на официальных веб-сайтах государственных органов или органов местного самоуправления, являющихся обладателями этих наборов данных. Для этого веб-сайты должны быть подготовлены следующим образом:
а) на веб-сайте должна быть создана специализированная страница для публикации открытых данных в машиночитаемых форматах (далее - страница открытых данных);
б) на главной странице веб-сайта должна располагаться визуально различимая гиперссылка на страницу открытых данных с надписью "Открытые данные";
в) страница открытых данных должна содержать реестр открытых данных, состоящий из ссылок на отдельные страницы паспортов наборов открытых данных (далее - страница набора данных);
г) для каждого опубликованного паспорта набора открытых данных на веб-сайте государственного органа или органа местного самоуправления должна быть предусмотрена ссылка на набор открытых данных.
д) в целях доступности страниц открытых данных для поисковых роботов должна быть размещена ссылка на каталог метаданных - разрешение в robots.txt, указание в sitemap.xml.
IV. Технические требования к публикации наборов данных
Требования к наименованию и идентификационному номеру набора данных
6. Наименование набора данных, используемое паспортах отрытых данных, выбирается следующим образом:
а) наименование набора данных должно отражать его содержание;
б) наименование набора данных не должно повторять информацию, содержащуюся в идентификационном номере (коде) набора данных (см. ниже).
7. Идентификационный номер (код) набора данных формируется следующим образом:
а) формат идентификационного номера: <код организации>-<наименование паспорта;
б) код организации представляет собой идентификационный номер налогоплательщика (ИНН), соответствующий государственному органу, органу местного самоуправления или организации, опубликовавшей набор данных;
в) наименование паспорта - сокращенное англоязычное название паспорта набора данных, указывается в одно слово.
Требования к странице публикации открытых данных
8. Адрес страницы публикации открытых данных в сети "Интернет" (URL) должен формироваться по следующему шаблону: "<адрес веб-сайта>/opendata/" или "<адрес веб-сайта>/открытыеданные/", если для адресации в пределах веб-сайта используются адреса на кириллице.
Страница публикации открытых данных должна иметь заголовок "Открытые данные" и обеспечивать предоставление пользователям веб-сайта:
1) реестра наборов открытых данных и ссылки на веб-страницы, посвященные наборам открытых данных (далее - страницы паспортов наборов открытых данных);
2) статистической информации о наборах данных, открытых государственным органом или органом местного самоуправления (их количество, форматы и т.п.);
3) средства поиска данных, открытых государственным органом или органом местного самоуправления. В случае если государственным органом или органом местного самоуправления открыто не более 20 наборов данных, такие средства поиска создавать не обязательно;
4) описания условий использования данных, открытых государственным органом или органом местного самоуправления (если такое описание не приведено на страницах наборов данных);
5) файловое представление перечня (реестра) наборов данных, открытых государственным органом или органом местного самоуправления.
Требования к публикации реестра наборов открытых данных
9. Реестр наборов открытых данных должен иметь представление в формате HTML или RDFa (модель описания метаданных Resource Description Framework in attributes в соответствии с рекомендациями W3C (http://www.w3.org/TR/xhtml-rdfa-primer/)). При визуальном представлении в формате HTML должно быть обеспечено файловое представление в формате - CSV (текстовый формат представления табличных данных comma-separated values, в соответствии со спецификацией http://www.rfc-editor.org/rfc/rfc4180.txt, далее формат CSV) или XML (язык разметки Extensible Markup Language, в соответствии со спецификацией W3C (http://www.w3.org/TR/xml11/), далее формат XML)
1) Представление реестра наборов данных в формате RDFa или HTML на странице <адрес веб-сайта>/opendata/ для каждого набора данных должно включать:
- порядковый номер набора данных;
- название набора;
- ссылку на страницу паспорта набора открытых данных.
2) При использовании файлового представления реестра в формате CSV файл должен располагаться по адресу "<адрес веб-сайта>/opendata/opendatalist.csv" или "<адрес веб-сайта>/открытыеданные/реестроткрытыхданных.csv". Реестр должен содержать актуальный список всех паспортов наборов открытых данных (названия и ссылки на страницы этих паспортов). Записи о каждом из наборов данных должны быть разделены символом "перевод строки". Данные внутри записи о наборе данных должны разделяться символом ";" (точка с запятой). Внутри каждого поля данных символы ";" (точка с запятой) и "перевод строки" не допускаются.
3) При использовании файлового представления реестра в формате XML файл формата XML должен располагаться по адресу "<адрес веб-сайта>/opendata/opendatalist.xml" или "<адрес веб-сайта>/открытыеданные/реестроткрытыхданных.xml".
Требования к странице паспорта набора открытых данных
10. Заголовок страницы паспорта набора данных должен соответствовать названию набора данных. Страница паспорта набора данных должна обеспечивать предоставление пользователям веб-сайта:
1) информации о наборе данных, необходимой и достаточной для его использования (паспорта набора данных) - в визуальном интерфейсе и в виде файла для загрузки;
2) описания условий использования набора данных (если такое описание не приведено на странице открытых данных);
3) возможности немедленной загрузки данных из опубликованного набора без требований по дополнительной авторизации, ввода кода Captcha и иных ограничений;
4) обратной связи (экранных форм для обратной связи в виде комментариев, либо ссылок на экранные формы для обратной связи), позволяющей пользователям веб-сайта оставлять предложения и отзывы по вопросам открытия государственных данных, в том числе по ошибкам, выявленным в наборах данных и их паспортах. Обратная связь, реализованная на странице набора данных, должна обеспечивать привязку вводимой пользователем информации к соответствующему набору данных.
Адрес страницы паспорта набора открытых данных должен формироваться по следующему шаблону: "<адрес веб-сайта>/opendata/<код организации>-<наименование паспорта>" или "<адрес веб-сайта>/открытыеданные/<код организации>-<наименование паспорта>", если для адресации в пределах веб-сайта используются адреса на кириллице.
На странице паспорта набора открытых данных должна быть информация, описывающая открытые данные по специальной структуре.
Паспорт набора открытых данных должен включать данные, перечисленные в Приложении 1.
Паспорт набора данных должен иметь представление в формате HTML или RDFa.
При визуальном представлении в формате HTML должно быть обеспечено файловое представление в формате - CSV или XML. Название и адрес размещения файлового представления паспорта должно соответствовать одному из следующих шаблонов:
1. <адрес веб-сайта>/opendata/<код организации>-<наименование паспорта>.csv
2. <адрес веб-сайта>/opendata/<код организации>-<наименование паспорта>.xml
Паспорт набора открытых данных, отображаемый в визуальном интерфейсе, рекомендуется представлять с использованием формата RDFa в соответствии с требованиями, приведенными в Приложении 4.
Требования к представлению наборов открытых данных
11. Требования к публикуемым наборам открытых данных:
а) открытые данные должны публиковаться в форматах CSV или XML. В формате CSV рекомендуется публиковать данные, имеющие плоскую табличную форму, при этом в содержании записи не допускается использование символа перевода строки. Сложные иерархические данные рекомендуется публиковать в форматах XML;
б) в случае значительных объемов, частых обновлений или необходимости формирования специфических выборок открытые данные могут предоставляться через программный интерфейс, имеющий опубликованную спецификацию; программный интерфейс должен обеспечивать возможность полностью автоматического (без участия человека) доступа ко всем сведениям набора данных;
в) у файла каждой версии набора данных должна быть постоянная гиперссылка, формируемая по шаблону*: "<адрес веб-сайта>/opendata/<код организации>-<наименование паспорта>/data-<номер версии набора данных>-structure-<номер версии структуры набора данных>.csv" или "<адрес веб-сайта>/opendata/<код организации>-<наименование паспорта>/data-<номер версии набора данных>-structure-<номер версии структуры набора данных>.xml";
г) количество хранимых версий набора данных определяется на основании ресурсных возможностей для хранения с учетом потребности пользователей набора данных;
д) в случае, если размер набора данных превышает 10 мегабайт, рекомендуется архивировать его с помощью алгоритма архивирования, имеющего спецификацию в виде открытого стандарта;
е) вместе с данными, публикуемыми в формате XML, должны публиковаться файлы структурного описания формата в виде схемы XSD (язык описания структуры XML документа XML Schema, в соответствии с рекомендациями W3C http://www.w3.org/TR/xmlschema-0/, далее схема XSD);
ж) вместе с данными, публикуемыми в формате CSV, должны публиковаться файлы структурного описания формата в виде текстового файла (txt, csv), имеющего спецификацию в виде открытого стандарта;
з) в случае предоставления доступа к набору данных через программный интерфейс на странице набора данных должно быть приведено полное описание программного интерфейса (спецификации протоколов, форматов данных, первичные параметры доступа к сервису и пр.), достаточное для реализации полностью автоматического доступа к набору данных для специалиста, обладающего квалификацией программиста;
и) для представления наборов открытых данных, содержащих сведения из различных предметных областей, должны использоваться существующие форматы разметки типовых данных (schema.org, YMapsML, XAL и т.п.), имеющие опубликованную спецификацию;
к) необходимо избегать смены формата представления открытых данных, так как это затрудняет автоматическую обработку данных. В случае смены формата необходимо уведомлять пользователей, например, путем установки значения параметра "Содержание последнего изменения" в "Изменение структуры данных" в паспорте набора данных.
л) Атрибуты каждого набора открытых данных должны иметь краткое англоязычное представление (в виде англоязычных имен или краткого текста транслитерации)
12. Требования к публикуемой структуре наборов открытых данных:
а) Структура наборов открытых данных должна представлять описание каждого информационного поля набора данных.
б) Структура наборов открытых данных должна иметь файловое представление в формате XSD для наборов открытых данных, представленных в формате XML
в) Структура наборов открытых данных должна иметь файловое представление в текстовом формате (txt, csv) для наборов данных в формате CSV.
г) При изменении структуры набора открытых данных должна обеспечиваться версионность структуры и соответствие данной версии последующим наборам открытых данных
д) количество хранимых версий структуры набора данных определяется на основании ресурсных возможностей для хранения с учетом потребности пользователей набора данных;
е) каждая версия структуры наборов открытых данных должна иметь постоянную гиперссылку, формируемую по шаблону: "<адрес веб-сайта>/opendata/<код организации>-<наименование паспорта>/structure-<номер версии структуры набора данных>-<дата версии структуры набора данных>.xsd" или "<адрес веб-сайта>/opendata/<код организации>-<наименование паспорта>/structure-<номер версии структуры набора данных>-<дата версии структуры набора данных>.txt".
ж) атрибуты каждой структуры набора данных должны иметь англоязычное представление (в виде англоязычных имен или краткого текста транслитерации);
з) описание структуры набора данных должно содержать и описание (в том числе в виде ссылок) всех справочников и классификаторов, используемых для формирования набора данных;
и) в случае предоставления доступа к набору данных через программный интерфейс, указывается гиперссылка на файл, содержащий описание такого интерфейса и условия использования.
V. Условия использования открытых данных
13. При публикации наборов открытых данных на странице перечня наборов в обязательном порядке должно присутствовать описание условий использования данных или ссылка на него.
14. Условия использования не должны требовать от пользователей заключения договора с государственным органом или органом местного самоуправления .
15. Условия использования не должны ограничивать пользователей данных в их использовании в некоммерческих и коммерческих целях.
16. Условия использования должны предполагать безвозмездное предоставление открытых данных.
17. В условиях использования должно присутствовать требование по ссылке на источники публикации наборов данных в проектах, использующих данные из этого набора.
18. Рекомендуется публикация данных под лицензиями Creative Commons или Open Data Commons.
19. В условиях использования должны отсутствовать требования регистрации и авторизации на сайте для возможности пользования открытых данных.
VI. Порядок публикации наборов данных
20. Открываемые данные должны публиковаться в следующем порядке:
а) государственный орган или орган местного самоуправления переводит набор данных в формат, в котором этот набор данных подлежит публикации;
б) государственный орган или орган местного самоуправления публикует паспорт набора данных, добавляет необходимую информацию на страницу публикации открытых данных своего веб-сайта (реестр наборов открытых данных, опубликованных государственным органом) и ссылку на страницу соответствующего паспорта набора данных;
в) государственный орган или орган местного самоуправления проверяет доступность опубликованного набора данных для пользователей веб-сайта;
г) государственный орган или орган местного самоуправления передает в виде файла в формате CSV или XML запись об опубликованном наборе данных, выгруженную из реестра наборов данных, открытых государственным органом или органом местного самоуправления, в рабочую группу федерального уровня, ведущую единый реестр открытых данных;
д) рабочая группа федерального уровня обновляет единый реестр открытых данных, а также другую информацию об опубликованных наборах государственных данных, которую она ведет на веб-странице в сети "Интернет" для публикации сводной информации о данных, открытых государственными органами или органом местного самоуправления в машиночитаемых форматах.
------------------------------
* Пример реализации данного шаблона приведен в Приложении 1
Методические рекомендации по публикации открытых данных государственными органами и органами местного самоуправления и технические требования к публикации открытых данных (версия 2.3) (утв. протоколом заседания Правительственной комиссии по координации деятельности открытого правительства от 4 июня 2013 года N 4)
Текст методических рекомендаций официально опубликован не был
Настоящие методические рекомендации фактически утратили силу
См. методические рекомендации от 29 мая 2014 г. Версия 3.0 "По публикации открытых данных государственными органами и органами местного самоуправления, а также технические требования к публикации открытых данных"