ІНСТРУКЦІЯ ПО ДОДАВАННЮ НОВОГО НАБОРУ ДАНИХ

Основні поняття:

Наповнення нашого “Одеського порталу Відкритих даних”, як і інших порталів подібного профілю, відбувається за рахунок додавання на нього “Наборів даних” та “Ресурсів”. Набори даних на нашому порталі оформлені згідно з “Положенням про набори даних, які підлягають оприлюдненню у формі відкритих даних”, котре було затверджено відповідною постановою Кабінету Міністрів України (КМУ) №___  від “__”__________2015 року.

Кожний з вищезгаданих наборів даних являє собою контейнер, який містить наступну інформацію:

  • Ресурси у виді одного чи декількох файлів з Відкритими даними, що користувачі та IT розробники можуть або завантажувати собі на комп'ютер або використовувати через API (інтерфейс створення додатків) для здійснення вибірок і створення програмних додатків для мобільних пристроїв та сторонніх Web-ресурсів.
  • Паспорт, що відповідно до вимог вищезгаданого Положення містить докладні додаткові відомості про набір даних для здійснення його легкого пошуку, оцінки та використання.
  • Опис умов чи найменування видів вільних ліцензій, на підставі яких набір даних може вільно поширюватися та використовуватися.
  • Можливі оцінки та коментарі користувачів порталу по поточному наборі даних.

Файли ресурсів, по можливості, повинні мати машинозчитувані формати, використання яких задекларовано вищезгаданим Положенням і є найбільш зручним для застосування й аналізу цих форматів у сторонніх програмних додатках для мобільних пристроїв та Web-ресурсів. До машиночитаних форматів, які застосовуються для файлів ресурсів, можуть відноситися:

  • CSV - текстовий формат, призначений для представлення табличних даних та використовуваний при різних варіантах аналізу даних. Кожен рядок файлу тут це один рядок таблиці. Значення ж окремих стовпчиків розділяються в цих файлах розділовим символом, як правило – комою.
  • JSON - текстовий формат обміну даними, заснований на JavaScript і зазвичай вживаний на порталах Відкритих даних для представлення різних структур географічних даних.
  • XML - формат обміну даними, що так само, як і JSON, на основі відповідних файлів ресурсів може застосовуватися через API з метою створення програмних додатків для мобільних пристроїв та сторонніх Web-ресурсів.

Природно, що ресурси для наборів даних можуть бути розміщені на нашому порталі й у не машиночитаних  форматах, таких як:

  • Текстові дані - TXT, RTF, ODT*, DOC (X), PDF (з текстовим змістом, а не відскановане зображення), (X) HTML*
  • Структуровані дані -  XML*,  XLS (X), ODS*, YAML*
  • Графічні дані - GIF*, TIFF, JPG (JPEG)*, PNG*
  • Відеодані - MPEG, MKV, AVI, FLV
  • Аудіодані - MP3, WAV, MKA
  • Дані, розроблені в Macromedia Flash - SWF, FLV
  • Заархівірувані дані - ZIP*, 7z*, Gzip *, Bzip2 *

У цьому випадку, перевага буде віддаватися тим форматам ресурсів, що у вищенаведеному списку позначені * - зірочкою. Але, все ж, слід мати на увазі, що всі наведені в списку вище не машинозчитувані формати (навіть ті, які позначені зірочкою), є непридатними, як для здійснення вибірок, так і для створення програмних додатків і сторонніх Web-ресурсів.

Зміст практичного приклада:

Для наочності, усі подальші пояснення в рамках дійсної інструкції ми будемо вести на прикладі роботи з таким вигаданим набором даних, як “Перелік пам'ятників та об'єктів культурної спадщини Київського району м. Одеси”.

Крок 1: Створення Набору даних

Додавати нові набори даних можуть тільки зареєстровані користувачі порталу, котрі мають право на створення і редагування наборів даних і ресурсів до них. Після того, як Ви зайшли на портал як зареєстрований користувач з необхідними правами, Вам належить відкрити пункт головного меню “Дані”  та натиснути на кнопку “ADD НАБОР ДАННЫХ”, розташовану в лівому верхньому куті екрана.

Після цього відкриється форма для створення нового набору даних

Як видно з малюнка, на першому кроці при початковому створенні набору даних у форму вноситься наступна інформація:

Мова – у цьому полі вказується мова (або українська, або російська), властива для поточного набору даних. Оскільки типовою мовою для нашого порталу є українська, то при створенні нових наборів даних у цьому полі рекомендується завжди вказувати УКРАЇНСЬКА МОВА.

Тема це обов'язкове поле, де вказується інформація, яка ідентифікується з набором даних при його пошуку, що може бути здійснений по заданих параметрах, як тільки Ви натискаєте на пункт меню “Дані”.

Найменування набору даних – це поле призначене для зазначення назви набору у відповідному Паспорті набору даних і, як правило, дублює зміст поля “Тема” або “Заголовок”. Тут також на Ваше бажання можуть бути внесені дуже короткі доповнення, так щоб весь внесений Вами текст не перевищував 254 символи.

Короткий опис змісту набору даних – це обов'язкове поле, що призначене для короткого опису того, що міститься та чим специфічний поточний набір даних. Потрібно пам'ятати, що загальний обсяг тексту, котрий може бути внесений Вами в це поле, не повинний перевищувати 4000 символів.

Умови, на яких здійснюється публічне використання і поширення даних – це обов'язкове поле, у якому від самого початку, відповідно до вимог вищезгаданого Положення КМУ, уже зазначені умови поширення та використання Відкритих даних, наданих державними органами влади. У тому, випадку, якщо Ви створюєте набір Відкритих даних не від державного органу влади, а від громадської чи бізнес структури, то Ви повинні видалити типовий зміст цього поля і вписати в нього інформацію, затребувану відповідно одному із способів ліцензування Відкритих даних.. Таким, найбільш розповсюдженим способом є “Ліцензії та інструменти Creative Commons”.

Формат тексту додатковий параметр до поля “Умови, на яких здійснюється публічне використання і поширення даних”, що визначає формат виведення тексту для даного поля. Типове значення даного параметра встановлено, як “Розширений HTML”, що дає можливість введення у відповідне поле форматованого тексту на основі HTML програмування. Як правило, даний параметр не потребує змін.

Групи – це розкритий список, наявних на порталі категорій даних, які об'єднують набори даних відповідно до тієї чи іншої предметної сфери. Для зручності систематизації та фільтрації наборів даних за наявними групами, найменування та описи цих груп на нашому порталі проводиться лише українською мовою.

 Після того, як Ви увели всю перераховану вище інформацію, Ви можете натиснути на кнопку "ДАЛІ: ДОДАТИ ДАНІ" для того, щоб почати безпосереднє додавання, як файлів ресурсів, так і додаткових відомостей з метою забезпечення наступного пошуку, оцінки та систематизації наборів даних.

Крок 2: Додавання в набір даних файлів ресурсів

На другому кроці, після натискання на кнопку "ДАЛІ: ДОДАТИ ДАНІ" Вам буде запропоновано додати до створеного набору даних один чи декілька ресурсів. Тут під ресурсами в залежності від їхнього типу та розташування мається на увазі три наступні можливі джерела даних:

► Посилання на файл – дана вкладка дозволяє створити на порталі ресурс у виді посилання на файл даних, розміщений на якому-небудь сторонньому Web-ресурсі в Internet. Хоча сам файл залишиться на іншому Web-ресурсі, дані з цього файлу можуть бути імпортовані в сховище даних нашого порталу для наступного перегляду й аналізу.

► Посилання на API - деякі інформаційні ресурси не є самостійними файлами, а формуються лише в результаті онлайн запитів, котрі спрямовані на вибірку даних з відповідних баз даних. Для здійснення запитів до цих баз даних є окрема вкладка на, так званий програмний інтерфейс (API), який може використовуватися будь-якими IT розробниками для створення на основі наборів даних нашого порталу програмних додатків для різних мобільних пристроїв і Web-ресурсів.

► Завантажити файл - ця вкладка дозволяє здійснити безпосереднє завантаження того чи іншого файлу даних на наш портал. Як і для вкладки "Посилання на файл", дані з файлу, що завантажується, можуть бути імпортовані в сховище даних нашого порталу для наступного перегляду й аналізу.

Для того, щоб продовжити створення нашого набору даних з переліком пам'ятників Київського району Одеси додамо до уже створеного набору даних файл із переліком відповідних пам'ятників у форматі .CSV. Подивимося, як це робиться на конкретному прикладі:

► Закачати - завантаження файлу з локального твердого диску.

► Установка варіантів переглядів джерела даних – установка параметрів та варіантів представлень, що дозволяють користувачам порталу переглядати опубліковані дані в трьох наступних видах:

• Мапа – географічні дані по широті та довготі об'єктів, що містяться у файлах JSON формату та що забезпечують їхній перегляд у виді географічних карт.

• Графіки – статистичні дані, що забезпечують користувачам порталу можливість створення власних варіантів візуалізації цих даних у виді графіків та діаграм

• Таблиця – файли CSV формату з табличними даними у виді електронних таблиць з метою забезпечення фільтрації, сортування та пошуку

Крім 3-х вищеназваних варіантів представлень опублікованих даних, група “Установка варіантів переглядів джерела даних” також містить наступні параметри:

Роздільник – поле для вказівки роздільника, використовуваного між колонками даних у файлі формату CSV.

Включити – перемикач, що при його включенні (установки галочки) повинний надалі вказувати рядок зв'язку з джерелом даних для забезпечення заданого представлення файлу ресурсу на сторонніх Web-сторінках.

Заголовок - це поле з короткою характеристикою джерела і специфіки інформації з файлу, який у вигляді ресурсу входитиме в контейнер створюваного набору даних.

Опис – це поле для занесення тексту з докладним описом джерела і специфіки інформації з файлу, що у виді ресурсу входитиме в контейнер створюваного набору даних

Формат файлу – поле для зазначення формату файлу, який, зокрема, дає можливість користувачу здійснювати пошук наборів даних виходячи з заданого формату

Набір даних – це розкритий список, у якому, крім уже заданого батьківського набору даних для цього ресурсу можна вибирати всі ті набори уже існуючих даних, що можуть бути безпосередньо зв'язані з ресурсом, що додається.

Групи – це розкритий список категорій даних, що маються на порталі, у якому Ви повинні вибрати одну чи декілька категорій, характерних для створюваного Вами набору даних. На даному кроці це поле слід залишити без змін, оскільки необхідні групи в ньому Ви вже повинні були вибрати на першому кроці при введенні основної інформації по набору даних

У нижній частині цієї сторінки ми можемо вибрати:

ДАЛІ: ДОДАТКОВА ІНФОРМАЦІЯ - Зберегти цей ресурс і перейти до третього кроку з метою створення повноцінного Паспорта набору даних шляхом введення додаткових відомостей згідно з вимогами відповідного Положення КМУ

ЗБЕРЕГТИ - Зберегти даний ресурс та відразу повернутися до нього для подальшого його редагування

ЗБЕРЕГТИ ТА ДОДАТИ ЩЕ - Зберегти цей ресурс і додати ще один ресурс до цього ж набору даних

У нашому прикладі, ми будемо додавати лише один ресурс, тому жмемо "ДАЛІ: ДОДАТКОВА ІНФОРМАЦІЯ", щоб перейти на крок 3. Якби в нас було більш одного ресурсу, нам би довелося додавати до нашого набору даних додаткові ресурси шляхом натискання на кнопку "ЗБЕРЕГТИ ТА ДОДАТИ ЩЕ". Просто натиснувши на кнопку "ЗБЕРЕГТИ" ми б закінчили процес створення набору даних і зберегли б поточний набір даних без додаткових відомостей про нього.

Крок 3: Додавання в набір даних додаткових відомостей

Після натискання на кнопку "ДАЛІ: ДОДАТКОВА ІНФОРМАЦІЯ" ми переходимо до третьої форми створення набору даних, котра дозволяє додавати для нього необхідні додаткові відомості згідно з вимогами відповідного Положення КМУ. Поля в цій формі дозволяють ввести цінну інформацію про набір даних, як для користувачів порталу, так і для пошукових машин, завдяки яким відомості про набори даних порталу будуть реєструватися пошуковими системами типу Google чи Yandex.

Давайте уважніше подивимося на основні поля, які доступні в цій формі для введення додаткових відомостей згідно з вимогами відповідного Положення КМУ:

► Мова інформації, що міститься в наборі даних – це поле для зазначення мови, якою були сформовані файли ресурсів, розміщенні в створюваному наборі даних. Тут Ви повинні вибрати або український, або російську мову.

► Формат (формати), в якому доступний набір даних – в цьому полі Ви повинні вказати формат або формати (за допомогою кнопки "ДОДАТИ ДРУГИЙ ЕЛЕМЕНТ"), в якому (яких) будуть доступні файли ресурсів в створюваному наборі даних.

► Формат стиснення набору відкритих даних – у випадку, якщо в створюваному наборі даних будуть розміщені заархівовані (стислі) файли ресурсів, то в цьому полі Ви повинні вказати формат стиснення цих файлів.

► Дата актуальності даних у наборі даних – Даний розділ форми являє собою поля, які дозволяють описати тимчасові проміжки, в рамках яких створюваний набір даних буде актуальний. Тут нам потрібно ввести ту дату або той часовий інтервал, по відношенню до яких наш перелік пам'яток та об'єктів культурної спадщини Київського району м Одеси міг бути актуальним і не потребував би оновлення.

► Частота відновлення набору даних – поле, що надає відомості про то, як часто буде обновлятися наш набір даних. Існують наступні варіанти значень для цього поля: Більш одного разу в день, Щодня, Щотижня, Щомісяця, Щокварталу, Кожні півроку, Щорічно; Щораз зі зміною даних. Оскільки відомості про пам'ятники в нашому випадку обновляються щораз з їхньою зміною, то ми в цьому полі вказуємо відповідний варіант значення.

► Ключові слова, які відображають основний зміст набору даних – дане поле повинне містити ті ключові слова, що відображають основний зміст створюваного набору даних. Визначати ці ключові слова слід виходячи з виду документа ("програма", "звіт", "реєстр" і т.д.) та підгруп (середня освіта, бюджет, енергетика і т.д.), в які можуть бути об'єднані набори даних за предметними сферами. Причому для підгруп може бути два вкладення. Наприклад, для групи "Освіта", підгрупою 1-го рівня явиться "Середні освіта", а підгрупою 2-го рівня - "Бюджет". Або ж, для групи "Промисловість", підгрупою 1-го рівня явиться "Легка промисловість", а підгрупою 2-го рівня - "Швейне виробництво".

► Гіперпосилання на ресурси набору даних – в цьому полі вказується гіперпосилання на основний ресурс для створюваного набору даних відповідно до наступного API формату:

[http:// data.ngorg.od.ua/uk/api/3/action/resource_show?id=] +
[ідентифікаційний номер основного ресурсу]

де: [ідентифікаційний номер основного ресурсу] – эце зазвичай номер ресурсу набору даних в машинозчитуваному форматі файлу. Цей номер можна знайти при переході по посиланню на необхідному ресурсі в сторіночці набору даних та наступному переході по посиланню "Опис API до даних".

У випадку, якщо у Вас в наборі даних знаходяться лише ресурси в файлах не машинозчитуваного формату, то тоді для того, щоб отримати посилання на такий файл досить на кнопці для скачування цього файлу викликати контекстне меню і скопіювавши посилання для цієї кнопки, вставити її в дане поле.

► Гіперпосилання на паспорт та опис ресурсу набору даних – поле призначене для зазначення гіперпосилання на паспорт та опис ресурсу набору даних з метою здійснення вибірки необхідних даних відповідно до наступного API формату:

[http:// data.ngorg.od.ua/api/3/action/package_show?id=] +
[ідентифікаційний номер набору даних]

де: [ідентифікаційний номер набору даних] – автоматично формується при його створенні та вказується в першому рядку паспорта цього набору даних.

► Розпорядник інформації, у володінні якого знаходиться набір даних – випадаючий список з уже сформованим переліком структурних підрозділів Одеської обласної державної адміністрації та Одеської міської ради, у володінні яких може знаходитися поточний набір даних.

► Відповідальна особа розпорядника інформації – поле, яке містить інформацію про посаду, ПІБ та контактний телефон відповідальної особи з питань доступу до публічної інформації розпорядника інформації, яка відповідає за оприлюднення інформації згідно із Законом України “Про доступ до публічної інформації”

► E-mail відповідальної особи – поле яке визначає контактний E-mail відповідального за оприлюднення інформації відповідно до Закону України "Про доступ до публічної інформації".

► Джерела ресурсів, розміщених в наборі даних – це поле для посилання на ті ресурси, що Ви уже додали. Дане поле, автоматично повинне мати значення хоча б того ресурсу, що був доданий Вами на попередньому кроці. Як правило, при створенні нового набору даних це поле не змінюється. Воно повинне звичайно коригуватися в рамках таких процесів, як додавання, редагування та видалення ресурсів того чи іншого набору даних

► Територія, де був сформований набір даних – поле, де зі списку може бути обраний, один або кілька районів Одеського регіону, Одеська область або ж м. Одеса, які є характерними територіями для створюваного набору даних. У нашому випадку, тут ми просто зі списку вибираємо: Київський район м. Одеса. Це поле замінює або доповнює наступне розглянуте поле: Область на карті Google, де був сформований набір даних.

► Область на карті Google, де був сформований набір даних – поле з численними додатковими функціями, завдяки якому ми можемо визначити географічний район, характерний (пов'язаний) з даними, які нами вводяться. У нашому випадку, це Київський район м. Одеси, який ми обвели за допомогою контурного інструменту “Прямокутник” на візуалізованою географічній карті. Якби у нас був готовий файл з розширенням JSON, то ми б могли точно окреслити межі міста, а також вказати місце розташування всіх пам'ятників за допомогою посилання “Add data manually”.

► Рівень публічної доступності – поля для зазначення рівня, відповідно до якого створюваний набір даних може бути публічно доступним, незалежно від того, ким він був наданий. Існують три наступні рівня доступності: Публічний, Обмежений і Приватний.

► Додаткові роз'яснення до набору даних – це інформаційне поле для внесення додаткової описової інформації для здійснення будь-якого виду пояснень у сфері змісту та специфіки створюваного набору даних (одиниці вимірювань, термінологія, передумова, динаміка розвитку і т.д.). У більшості випадків, в цьому полі просто вказується URL до ресурсу, який пояснює створюваний набір даних і знаходиться в іншому місці Internet.

► Додаткова інформація – це механізм, що дозволяє додавати до створюваного набору даних безліч полів за бажанням для забезпечення додаткових пояснень у випадку якщо вони необхідні у відповідності зі специфікою цих даних.

Після натискання на кнопку "ЗБЕРЕГТИ", всі введені Вами додаткові відомості зберігаються та відкривається стандартна панель з основними відомостями по щойно створеному набору даних: