Приложение. Единые требования к стандарту ведения данных

Приложение
к распоряжению Департамента
информационных технологий города Москвы
от 1 ноября 2016 г. N 64-16-549/16

Единые требования к стандарту ведения данных

1. Общие сведения

1.1. Назначение стандарта ведения данных.

Стандарт ведения данных обеспечивает повышение совместимости интеграционного взаимодействия информационных систем города Москвы, путем:

1.1.1. Формирования требований к информационным системам и ресурсам города Москвы в части межсистемного интеграционного взаимодействия и обмена необходимыми данными.

1.1.2. Обеспечения изменения проектных документов в части вопросов интеграционного взаимодействия с иными информационными системами и ресурсами.

1.1.3. Обеспечения анализа информационных систем и ресурсов на предмет соответствия предъявляемым требованиям по обмену данными.

1.1.4. Обеспечения работников органов исполнительной власти города Москвы и подведомственных организаций, а также работников организаций, участвующих в процессе автоматизации предоставления государственных услуг и выполнения государственных функций в части, связанной с обработкой и передачей данных информацией, необходимой для эффективного проектирования взаимодействия между информационными системами и ресурсами и решения задач построения аналитической отчетности.

1.2. Стандарт ведения данных определяет форму и особенности ведения и обмена данными, наличествующими в информационных системах и ресурсах города Москвы.

2. Термины и определения

Термин	Определение
Сущность (информационный объект)	Указание на конкретный объект (человека, организацию, здание, транспортное средство и т.д.).
Атрибуты	Уникальные характеристики Сущности, значение которых позволяет ее идентифицировать. (Например, одним из Атрибутов Сущности "человек" может быть "Страховой номер индивидуального лицевого счета (СНИЛС)". Номер СНИЛС используется для того, чтобы отличить одного человека (один экземпляр Сущности "человек") от другого. Часть Атрибутов может входить в условно-постоянный набор ссылочной учрежденческой информации (т.е. являться Нормативно-справочной информацией организации).
Категория	объединяет Сущности по определенному признаку. (Категории сущностей являются Сущностями и могут образовывать иерархическую структуру. Например, в Категорию "человек" могут входить такие Сущности как "работник", "учащийся", "пенсионер". В свою очередь в Категорию "учащийся" могут входить такие Сущности как "школьник" и "студент".)
Отношения	описывает взаимосвязь между Сущностями.
Тип данных	ограничение на тип данных, которое может содержаться для каждого экземпляра Атрибута (например, строка или целое число).
Схема данных	включает в себя описание того, какие Атрибуты входят в состав Сущностей и то, как эти Сущности и Атрибуты взаимосвязаны между собой. Для Атрибутов определяется тип данных и различные ограничения (обязательность заполнения, диапазон возможных значений и пр.).
Структурированные данные	данные, состав которых определяется схемой данных. (Примерами структурированных данных являются данные, хранимые в реляционных БД, XML и JSON файлах. Структурированные данные могут обрабатываться посредством использования языков запросов (например, SQL, XPath).
Неструктурированные данные	данные, состав которых не определяется какой-либо схемой. К таким данным относятся тексты, мультимедийные данные (видео/аудио и изображения). (Например, сканы документов, тексты обращений граждан или логи информационных систем).
ФЛК	Форматно-логический контроль
Информационный ресурс	Массив данных содержащий Структурированные или Неструктурированные данные.
Информационная система	система, включающая в себя Информационные ресурсы и управляющая ими в части работы с содержащимися в них данными (запись информации, поиск, обработка). Информационная система (кроме всего прочего) предоставляет доступ к входящим в ее состав информационным ресурсам для внешних потребителей.
ЖЦ Сущности/ Атрибута	совокупность состояний и соответствующих им воздействий, которым подвергается Сущность/Атрибут за время своего существования в Информационной системе. (В общем случае в Информационной системе Сущности/Атрибуты могут создаваться (Created), читаться/использоваться (Read), обновляться (Updated) и удаляться (Deleted). В конкретной Информационной системе может выполнятся только подмножество вышеприведенного набора действий.)
Документ	файл содержащий Неструктурированные данные. Документ описывается прикрепленными к нему метаданными (данными о документе). Метаданные позволяют получить информацию о документе и связать документ с экземпляром Сущности.
ЖЦ Документа	совокупность состояний и соответствующих им воздействий, которым подвергается Документ за время своего существования в Информационной системе. (В общем случае в Информационной системе Документы могут создаваться (Created), читаться/использоваться (Read), обновляться (Updated) и удаляться (Deleted). В конкретной Информационной системе может выполнятся только подмножество вышеприведенного набора действий.)
Плагин	независимо компилируемый программный модуль, динамически подключаемый к основной программе и предназначенный для расширения и/или использования ее возможностей
Логирование действий пользователей	Процесс фиксации действий пользователя в операционной системе, в т.ч. при посещении web-ресурсов.
Метод анализа пакетов трафика	Метод основанный на технологии накопления статистических данных, проверки и фильтрации сетевых пакетов по их содержимому.
Поставщик данных	Орган исполнительной власти города Москвы, подведомственная организация, использующие ИСиР для обработки и передачи данных при предоставлении государственных услуг и выполнении государственных функций, обеспечивающий доступ к данным для внешних потребителей.
Потребитель данных	Орган исполнительной власти города Москвы, подведомственная организация, использующие ИСиР для обработки и передачи данных при предоставлении государственных услуг и выполнении государственных функций, получающий доступ к внешним данным.
Оператор данных	Орган исполнительной власти города Москвы, структурное подразделение органа исполнительной власти города Москвы, подведомственная организация - обеспечивающая контроль за соблюдением стандарта ведения данных.

3. Требования к описанию данных

3.1. Схема стандарта ведения данных

3.1.1. Обобщенная схема структуры объектов данных, получаемых из информационных систем, на которые распространяется стандарт, изображена на Рис. 1.

Рис 1. Схема стандарта.

3.1.2. Информация, предоставляемая информационными системами может содержать как структурированные, так и неструктурированные данные.

3.1.2.1. Для структурированных данных определяется схема данных, включающая в себя перечень сущностей, их взаимосвязей и атрибутов, которые должны предоставляться Информационными системами.

3.1.2.2. Для неструктурированных данных данным стандартом определяется набор метаданных, которые описывают документ и позволяют связать его с экземплярами сущностей, предоставление атрибутивного состава которых со стороны информационных систем регламентируется вышеуказанным стандартом. Стандарт не затрагивает вопросов анализа содержимого неструктурированных данных (документов).

3.2. Навигатор данных

3.2.1. Сведения об информации, поступающей из источников информации в информационные системы и ресурсы города Москвы, должны быть доступны для потребителей данных. Оператор данных обеспечивает предоставление информации в соответствии с моделью, приведенной на Рис 2.

Рис 2. Навигатор данных

3.2.2. В соответствии с данной моделью создается описание структурированных и не структурированных данных.

3.2.2.1. Для структурированных данных описывается набор сущностей, взаимосвязей между сущностями и их атрибутивный состав. Требования к формату описания представлены в приложении 1 "Навигатор атрибутов".

3.2.2.2. Для неструктурированных данных (документов) описывается перечень предоставляемых документов и набор метаданных для каждого типа документов. Данный набор метаданных должен дать необходимую информацию о документе для использования в целях интеграции и построения аналитической отчетности, а также обеспечить связь между экземпляром сущности и документом.

Требования к описанию метаданных документа представлены в приложении 2 "Навигатор метаданных".

4. Требования к предоставлению данных

4.1. Применение стандарта

4.1.1. Требования к наборам данных, выгружаемых из информационных систем, формирует Оператор данных и публикует на специальном ресурсе, доступном для потребителя данных.

Общие правила к предоставляемым из источников файлам должны отвечать следующим требованиям:

Должен быть произведен контроль содержимого файла на соответствие требуемой кодировке и формату csv.

- Требуемая кодировка файла - utf8

- Содержимое полей должно быть разделено символом ";"

- Содержимое строк должно быть разделено символом "\n"

Значения, содержащие зарезервированные символы (двойная кавычка, запятая, точка с запятой, новая строка) обрамляются двойными кавычками ("). Если в значении встречаются кавычки - они представляются в файле в виде двух кавычек подряд.

Требования к набору сущностей и к их атрибутивному составу, которые предоставляют поставщики данных, приведены в приложении 1 к данному стандарту - "Навигатор атрибутов". При изменении требований к набору сущностей и их атрибутивному составу производится внесение необходимых изменений в стандарт и выпуск новой версии стандарта.

4.1.2. Источники данных должны обеспечивать предоставление актуальных сведений по сущностям. При изменениях информации в части вышеуказанных сущностей, эти изменения должны оперативно отражаться в предоставляемых поставщиками данных.

4.1.3. Способ предоставления данных со стороны поставщиков информации определяется индивидуально для каждой Информационной системы, являющейся поставщиком данных. В рамках информационного межсистемного взаимодействия могут быть использованы следующие варианты обмена данными:

4.1.3.1. Выгрузка данных в CSV формате на сетевой ресурс, доступный для потребителей.

4.1.3.2. Интерфейсные таблицы/view на стороне поставщика информации и обеспечение доступа к ним со стороны потребителей с использованием типовых протоколов JDBC/ODBC.

4.1.3.3. Сервисы на стороне поставщика информации, посредством которых можно получать данные в соответствии с задаваемыми фильтрами. Протоколы взаимодействия и прикладной программный интерфейс данных сервисов определяются Оператором данных.

4.1.4. В случае предоставления информации и сервисов пользователям через web-клиента стандартом де факто должны считаться те версии браузеров, которые включают в сборку и предлагают установить для удобства работы пользователей и получения ими информации плагины, разработанные в интересах города Москвы.

Соответствующие версии браузеров должны быть рекомендованы к использованию во всех структурных подразделениях и бюджетных учреждениях города, а также являться обязательными для тестирования работоспособности создаваемых в интересах города информационных систем.

4.1.5. Источники данных для учета действий пользователей должны обеспечить предоставление актуальных сведений в процессе сбора структурированных и неструктурированных данных с использованием метода анализа пакетов трафика и логирования действий пользователей.

4.1.5.1. Для сбора данных с использованием метода анализа пакетов трафика на стороне источников данных должны быть произведены настройки, позволяющие запрашивать информацию по согласованным с Оператором параметрам.

4.1.5.2. Для регистрации действий пользователя на информационных ресурсах, должна быть произведена установка промерочного компонента, обеспечивающего фиксацию фактов деятельности пользователя на информационном ресурсе.

4.1.6. Для анализа активности интернет-пользователей в части интернет-ресурсов города Москвы, Оператор д