В.М. Веселов Анализ пропусков в метеорологических и гидрологических архивах по территории России. Нормализованные ЯОД- архивы - презентация

1 В.М. Веселов Анализ пропусков в метеорологических и гидрологических архивах по территории России. Нормализованные ЯОД- архивы Апрель, 2007 г.

2 Источники формирования нормализованных ЯОД-архивов TM0_SR 3-срочные данные TM1_SR 4-срочные данные ВОСХОД 8-срочные данные ВОСХОД-77 8-срочные данные TM1_SU Суточные данные СУТ-66 Суточные данные СУТ-77 Суточные данные ТММ1 Наблюдения на станциях ТМС Наблюдения на станциях ТМСС Суточные обобщения ТМСМ Месячные обобщения Срочные наблюдения, архивы ручной подготовки Суточные обобщения, архивы ручной подготовки Данные автоматизированных систем первичной обработки Всего:

3 Среда хранения и среда обработки архивов Среда хранения и среда обработки архивов на примере архива ТМС–Текущая метеорология станций (1984 – 2007 гг.) Хранение Обработка Хранение Обработка Хранение Обработка гг г г. Магнитная лента CD-ROM Жесткий диск Картридж

4 Основные недостатки базовых архивов наличие структурных дефектов, появившихся как во время хранения, так и вследствие дефектов технологий сбора; наличие дублей (полных и, еще хуже, частичных) как на уровне файлов, так и внутри файлов; наличие существенных пропусков в данных; отсутствие сведений о полноте и пропусках в данных недостаточное качество данных, неудобный способ упорядочения по пространственно-временным признакам, ориентированный на технологии сбора, а не на задачи обслуживания; необеспеченность эффективного доступа (за счет хранения на лентах и картриджах)

5 Потеря или появление лишних байтов, Инородные включения Нарушение структуры в смысле файловой системы ОС Ошибки значений счетчиков и длин Выход ключей за границы Нарушение постанционной структуры файлов Выход значений за естественные границы Ошибки формата элементов (буквы вместо цифр и т.п.) Дефекты структуры базовых архивов

6 Нормализованные архивы Нормализованные архивы получаются из базовых архивов путем тщательного тестирования, исправления структурных дефектов, реструктуризации и упорядочения, удаления дублей, устранения пропусков и других процедур, повышающих их качество Для различных базовых архивов набор применяемых процедур может быть различным Нормализованные архивы сопровождаются подробным описанием выполненных процедур и общей оценкой полноты и качества данных Нормализованные архивы сохраняют содержание базового архива Нормализованные архивы используется как отправная точка при формировании всех других производных массивов и баз данных, а также при обслуживании потребителей Нормализованные архивы служат основой построения эффективной системы доступа к режимным данным Нормализованный архив – это не просто производный массив, полученный применением определенных процедур к базовому архиву, а производный массив, наделенный статусом информационного ресурса Архивной системы

7 Метеорологические станции России

8 Число метеостанций России в срочных архивах Госфонда по годам

9 Пропуски в срочных данных для метеостанций России в массивах Госфонда

10 Сравнение пропусков в срочных данных в 2005 и 2007 гг.

11 Полнота и отсутствие данных по станциям

12 Спасибо за внимание