Приложение. Стандарт раскрытия метаданных и использования централизованных справочников

Приложение
к распоряжению Департамента
информационных технологий
города Москвы
от 16 января 2023 г. N 64-16-15/23

Стандарт
раскрытия метаданных и использования централизованных справочников

1. Общие положения

1.1. Настоящий Стандарт раскрытия метаданных и использования централизованных справочников (далее - Стандарт) применяется в целях обеспечения работников органов исполнительной власти города Москвы и подведомственных им организаций информацией, необходимой для эффективного проектирования информационных систем и ресурсов города Москвы и решения задач построения аналитической отчетности.

1.2. Требования Стандарта по предоставлению метаданных должны выполняться при создании и развитии (модернизации) информационных систем города Москвы, оператором которых является Департамент информационных технологий города Москвы, организации, подведомственные Департаменту информационных технологий города Москвы.

1.3. Стандартом не устанавливаются требования к хранению данных и архитектурно-техническим решениям по обмену данными (за исключением технических требований по использованию централизованных справочников).

2. Термины и сокращения

N	Термин/сокращение	Определение
2.1	BI	англ. Buisness Intelligence, набор инструментов и технологий для сбора, анализа и обработки данных
2.2	JSON	англ. JavaScript Object Notation, Текстовый формат обмена данными
2.3	АМиПМ	Аппарат Мэра и Правительства Москвы
2.4	Атрибут(ы)	Реквизиты (информационные элементы) Сущности, значение которых позволяет эту Сущность идентифицировать
2.5	Веб-сервис	Программная реализация интерфейсов обмена данными между различными приложениями
2.6	ГИС ЕХД	Городская информационная система "Единое хранилище данных города Москвы"
2.7	ДИТ	Департамент информационных технологий города Москвы
2.8	Система-потребитель	Информационная система, использующая централизованные справочники, размещенные в ГИС ЕХД
2.9	Система-поставщик	Информационная система, предоставляющие метаданные в ГИС ЕХД
2.10	ИСиР	Информационные системы и ресурсы города Москвы
2.11	КМС	Корпоративная мультисервисная сеть Правительства Москвы
2.12	Метаданные	Описание сущностей и связей между ними
2.13	Неструктурированные данные	Данные, состав которых не определяется схемой данных. К Неструктурированным данным относятся тексты, мультимедийные данные (видео, аудио и изображения), а также электронные образы документов, тексты обращений граждан или лог-файлы информационных систем
2.14	ОИВ	Орган(ы) исполнительной власти города Москвы
2.15	Оператор данных	Структурное подразделение ДИТ, обеспечивающее реализацию полномочий оператора Городской информационной системы "Единое хранилище данных города Москвы"
2.16	Основные данные	Данные, предоставляющие контекст для сведений о бизнес-деятельности, представленные в форме относящихся к этой деятельности общепринятых абстрактных понятий
2.17	РИРС	Единый реестр информационных ресурсов и систем города Москвы
2.18	Справочные данные	Таблицы кодов и определений, необходимые исключительно для описания характеристик других данных
2.19	СТП	Служба технической поддержки
2.20	Структурированные данные	Данные, состав которых определяется схемой данных (например, данные, хранимые в реляционных базах данных, XML и JSON файлах). Структурированные данные могут обрабатываться посредством использования языков запросов (например, SQL, XPath)
2.21	Сущность	Информация, содержащая сведения об объекте, явлении, процессе, событии в виде совокупности логически связанных реквизитов (информационных элементов) - атрибутов
2.22	СУБД	Система управления базами данных
2.23	Схема метаданных, JSON-схема	Описание состава Сущностей и взаимосвязей Сущности и Атрибутов между собой. Для Атрибутов определяется Тип данных и ограничения (например, обязательность заполнения, диапазон возможных значений и пр.)
2.24	Тип данных	Характеристика набора данных, которая определяется для каждого Атрибута (например, строка или целое число)
2.25	Транзакционные данные	Данные о выполнении операции, имеющие характеристику времени. Становятся историчными сразу после завершения операции

3. Описание данных при межсистемном взаимодействии и информационном обмене

Описание метаданных.

3.1. Обобщенное описание предметной области:

3.1.1. Обобщенная схема регулируемой Стандартом предметной области изображена на Рис.1. Непосредственно под действие Стандарта попадает часть схемы, выделенная пунктиром.

3.1.2. Не подлежат описанию технологические и аналитические ИСиР, а также технологические и аналитические подсистемы ИСиР, в том числе:

- интеграционные шины;

- системы управления мастер данными;

- системы, осуществляющие полнотекстовый поиск;

- системы, реализующие технический/транспортный функционал приема и обработки заявок/заявлений/обращений;

- системы BI.

Не подлежат описанию ИСиР, функциональным заказчиком которых является любой из следующих ОИВ: Департамент здравоохранения города Москвы, Департамент образования города Москвы, Департамент труда и социальной защиты населения города Москвы.

3.1.3. Метаданные должны описывать не физический слой хранения (реляционные и прочие СУБД), а концептуальный или логический слой данных, который может быть интерпретирован конечными бизнес-пользователями. Таким образом, не требуется описывать технические сущности/таблицы, в том числе сущности/таблицы, используемые для хранения: логов действий пользователей/программ, ролевой модели, конфигураций, аналитических отчетов.

Личные кабинеты физических и юридических лиц подлежат описанию в части, не связанной с учетными данными и ролевой моделью.

3.1.4. Внутри сущностей/таблиц не должно присутствовать описаний технических атрибутов/полей, например: времени создания, версионности, автора.

3.1.5. Данные, поступающие из внешних ИСиР, описываются в полном объеме в случае, если они связаны с основными, транзакционными или справочными данными описываемой ИСиР.

3.1.6. Данные, поступающие из внешних ИСиР для построения аналитики, описанию не подлежат.

3.2. Описание схемы метаданных:

schema
	id system rirs			integer	Код системы в РИРС
	id package			uuid	GUID пакета
	creation time			date-time	Дата и время создания схемы
	entil	ties		array	Сущности
		name		string	Имя сущности
		deprecated		boolean	Признак того, что сущность устарела и более не используется/не актуализируется
		entitytype		enum	Тип данных
		owners		array of string	Поставщики данных
		frequency		enum	Периодичность обновления
		information		string	Описание
		attri	3utes	array	Атрибуты сущности
			name	string	Имя атрибута
			datatype	enum	Тип данных
			nullable	boolean	Обязательность
			information	string	Описание
			multiple	boolean	Множественность
			entityref	json-pointer	Связь поля с сущностью
		inteirations		array	Интеграции
			id system rirs	integer	Код системы в РИРС
			systemjiame	string	Наименование ИС, если система не в РИРС
			integrationtype	enum	Способ интеграции
			direction	enum	Направление потока данных
	documents			array	Документы
		name		string	Имя документа
		deprecated		boolean	Признак того, что документ устарел и более не используется/актуализируется
		contenttype		enum	Формат содержимого
		owners		array of string	Поставщики данных
		tags		string	Тэги
		frequency		enum	Периодичность обновления
		information		string	Описание

Содержание перечислений:

Перечисление	Содержание	Пояснения
Тип данных сущности	[ "master", "reference", "transactional" ]	Основные данные, справочные данные, транзакционные данные
Тип данных атрибута	[ "integer", "string", "number", "datetime", "base64", "ref', "boolean" ]
Периодичность обновления	[ "year", "quarter", "month", "week", "day", "not defined", "online" ]
Формат содержимого	[ "png", "jpg", "jpeg", "doc", "docx", "pdf', "xls", "xlsx" 1
Способ интеграции	[ "web-service", "queue", "file", "database" 1
Направление потока данных	[ "input", "output" ]	Входящий поток данных, исходящий поток данных

Наименования поставщиков указываются в соответствии со справочником ОИВ, размещенным в ГИС ЕХД.

Пример JSON-схемы приведен в приложении к Стандарту.

3.3. Проверка требований к метаданным:

3.3.1. Метаданные описываются в формате JSON.

3.3.2. Требования к содержанию описания задаются JSON-схемой. Табличное описание JSON-схемы представлено в пункте 3.2 Стандарта.

3.3.3. Актуальная версия JSON-схемы публикуется на Портале метаданных, являющемся частью ТИС ЕХД.

3.3.4. ТИС ЕХД предоставляет веб-сервис для валидации метаданных, описанных в JSON формате, на предмет соответствия актуальной JSON-схеме. Веб-сервис валидации доступен с использованием информационнотелекоммуникационной сети Интернет.

4. Требования к сбору и раскрытию метаданных

4.1. Общая схема технического решения по сбору и раскрытию метаданных изображена на Рис.2.

4.2. Передача метаданных:

4.2.1. Передачу метаданных инициирует Система-поставщик путем обращения к веб-сервису ГИС ЕХД. ГИС ЕХД возвращает Системе-поставщику статус обработки метаданных. Метаданные считаются переданными, если ГИС ЕХД вернула статус "успешно".

4.2.2. Веб-сервис ГИС ЕХД по приему метаданных доступен с использованием информационно-телекоммуникационной сети Интернет и КМС.

4.2.3. Сетевую связанность по сети КМС обеспечивает СТП ГИС ЕХД по запросу ответственного за Систему-поставщика работника ДИТ.

4.3. Раскрытие метаданных:

4.3.1. Раскрытие метаданных осуществляется при помощи Портала метаданных.

4.3.2. Доступ к Порталу метаданных предоставляется всем работникам ОИВ.

4.4. Оператор данных осуществляет мониторинг сбора метаданных, не реже чем раз в квартал формирует аналитическую статистическую справку и направляет эту информацию в АМиПМ.

5. Требования к использованию централизованных справочников

5.1. Список централизованных справочников публикуется Оператором данных на Портале метаданных.

5.2. Оператор данных осуществляет мониторинг использования централизованных справочников, формирует предложения по использованию централизованных справочников в ИСиР и направляет эту информацию в АМиПМ.

5.3. СТП ГИС ЕХД:

5.3.1. Обеспечивает регистрацию Систем-потребителей по запросу ответственного за Систему-потребителя работника ДИТ.

5.3.2. Предоставляет права доступа к конкретным централизованным справочникам для зарегистрированных информационных систем.

5.3.3. Предоставляет техническое описание веб-сервисов интеграции с ГИС ЕХД.