Анализ пропусков в метеорологических и гидрологических архивах по территории России. Нормализованные ЯОД-архивы. Главной задачей Госфонда, является сбор, - презентация

1 Анализ пропусков в метеорологических и гидрологических архивах по территории России. Нормализованные ЯОД-архивы. Главной задачей Госфонда, является сбор, учет и обеспечение долговременного хранения данных. Учитывая специфику данных, которая состоит в том, что ресурсы Фонда регулярно используются для решения различного рода задач, связанных с прогнозированием погодных условий, выполнением исследований по оценке изменений Климата и состояния природной среды, Госфонд должен обеспечивать качество и полноту используемой информации. Поэтому обеспечение максимальной полноты и качества собираемой информации, обеспечение ее сохранности, поиск и восстановление утерянной информации являются основной нашей целью.

2 С 1978 года в качестве стандарта в области гидрометеорологии для представления данных в Госфонд был принят язык описания данных (ЯОД). ЯОД является унифицированным средством структуры данных Госфонда для всех видов информации, обеспечивая стуктурное единство и иформационную совместимость выходных форматов. Специально разработанная В.М.Веселовым система СУД Аисори обеспечивает доступ к ЯОД-архивам и выполнение основных операций над ними включая выборку данных, их тестирование, реструктуризацию, статистические расчеты и т. п.

3 Организация нового поколения архивов – Нормализованных архивов выполнена с помощью технологии, реализованной на базе системы СУД Аисори. Исходные первичные гидрометеорологические архивы имеют квазисиноптический формат – каждый файл содержит данные по всем станциям управления Гидрометслужбы за один месяц. Нормализованная структура архива – получена в результате ряда операций, которые позволили перейти от квазисиноптической структуры архива к климатической, в которой каждый файл содержит данные по одной станции (с одним уникальным номером) за весь период наблюдений. При формировании номализованного архива были выполнены проверка структуры массива, слияние и сортировка информации, удаление дублей, общее тестирование данных. Для файлов Нормализованной структуры был выполнен дополнительный выходной контроль.

4 В 2003 году был проведен анализ пропусков в нормализованных метеорологических и гидрологических массивах первичной обработки. Основные причины пропусков в данных связаны: -с нарушениями технологической дисциплины при обработке и передаче данных в РВЦ (ТВЦ) и УГМС; -со сменой поколений ЭВМ, программных средств и технических носителей в УГМС; -со сбоями при перезаписи данных. По результатам анализа пропусков были получены справки о полноте информации. Получение справки о наличии данных выполнялось с помощью программного комплекса Аисори по автоматизированному Каталогу, в который включены все когда-либо функционировавшие станции и посты УГМС. Справка показывает наличие и отсутствие данных по годам и месяцам. Во все управления были высланы подробные справки-таблицы с наличием и отсутствием гидрометеорологической информации. Ниже приведен пример справок по метеорологии и гидрологии для Приморского УГМС.

5 Отсутствие данных по годам и месяцам - метеорология Коорд. номер станции Название станции Год Наличие/отсутствие данных по месяцам Комментарии ЯнвФевМарАпрМайИюнИюлАвг Се н ОктНояДек Агзу ПППП ППППППП ПППП Анучино ПППП ППППППП П ПППП 1987 П Арсеньев, АМСГ ПППП ППППППП ПППП 1987 П+++++НННННН Станция закрыта Артем П ПППП ППППППП ПППП 1987 П+++++НННННН Станция закрыта

6 Первичные гидрологические архивы - полнота данных по годам Номер г/поста Название постаТип Наличие данных по годам 198x199x200x р.Уссури(Улахэ) - мет.ст.Березняки(х.Березняки) Г. ПП.... ЕЕЕЕЕ М. ПП. Е.. ЕЕЕЕЕЕЕПП р.Уссури - с.Верхняя Бреевка Г. ПП.... ЕЕЕЕЕ.. ППППППП М. ПП. Е.. ЕЕЕЕЕЕЕППППППП 05108р.Уссури - г.Лесозаводск Г М. ПП. Е.. ЕЕ.. ЕЕЕППППППП 05110р.Уссури - Графское Г М. ПП. Е.. ЕЕ.. ЕЕЕППППППП 05112р.Уссури - Тарташевка Г М. ПП. Е.. ЕЕ.. ЕЕЕППППППП р.Тополевая(Цыцогоуза) - пос.Тополевый(Теплый) Г. ПП М. ПП

7 Аналогичные справки были направлены во все УГМС. УГМС провели работу по анализу справок и передали в ГУ «ВНИИГМИ-МЦД» заполненные таблицы. На основании откорректированных справок по метеорологии и гидрологии, полученных из УГМС, были составлены Таблицы с объемами пропусков для каждого УГМС. В рамках «Комплексной программы развития фонда данных Росгидромета на и последующие годы» ГУ «ВНИИГМИ- МЦД» совместно с УГМС проводит организацию работ в части проведения сплошного контроля метеорологических и гидрологических архивов и заполнению имеющихся пропусков. В ГУ «ВНИИГМИ-МЦД» разработан проект заключения (безденежного) Соглашения с УГМС по устранению пропусков и улучшению качества архивных файлов режимной гидрометеорологической информации, полученных средствами систем ПЕРСОНА, и уточнению каталога гидрометеорологических постов и станций.

8 Соглашения являются совместной работой по повышению качества массивов, переданных ранее на хранение в Госфонд (ГУ «ВНИИГМИ- МЦД»), включая заполнение имеющихся пропусков на электронных носителях в рядах наблюдений гидрометеорологических станций и постов по территории УГМС. По запросу УГМС ГУ «ВНИИГМИ-МЦД» обеспечивает подготовку и оформление Соглашения между ГУ «ВНИИГМИ- МЦД» и УГМС на выполнение работ по заполнению пропусков в рядах наблюдений. ГУ «ВНИИГМИ-МЦД» подготавливает передачу нормализованных данных по территории деятельности УГМС за период, указанный в Соглашении, и необходимого инструктивного материала в УГМС Дополнительно для гидрологических массивов выполняется преобразование данных из формата ЕС ЭВМ в исходный формат файлов системы ПЕРСОНА РЕКИ. Ниже представлена таблица, в которой отражены сведения об уже заключенных Соглашениях и результаты их выполнения.

9 Наименование УГМС Отправлено Прислано МетеорологияГидрология Колымскоеметео метео гидрол гидрол Доп. соглашение (1-12) гг. Уточненный каталог УГМС 33 Приволжскоеметео – гидрол – метео гидрол – (6)- доз.-50 ст/мес (1) - доз (1-12) - доз (6, 9) - доз (1-6, 12)- доз (1-6) - доз г., гг. (по вед. Заказу) гг. (по соглашению) Приморскоегидрол – метео Доп. соглашение гг (по соглашению) Уточненный каталог УГМС 26 Северноеметео – метео (1-12) г.(без соглашения) 1990 г.(без согл.) 1989 г.(без согл) УГМС ЦЧОметео – гидрол – гг. Якутскоеметео метео гидрол 1998, (11) – доз списки дозапись 2000 (4г/п) 2002 (7г/п) 2003 (1г/п)(без соглашения) Сведения о заключенных Соглашениях

10 Центральноеметео – , метео гидрол – (1-12) г (по согл) Сахалинскоеметео – – – 61г/п 1989 – 63 г/п 1990 – 65 г/п (без соглашения) Северо- Кавказское Дагестан метео – –1996 (8) - доз.1 ст/мес 1997 (2,10) – доз (7) – доз (10,11) – доз (1-12) – 2005 (1-12) – дозапись Мурманскоеметео – гидрол – Прислан список станций, которые восстановить нельзя - отсутствуют в архиве. Акт выполненных работ гг.( по соглашению). Уточненный каталог УГМС 02 Дальневосточноеметео – гидрол – Доп.согл. по гидрол. До г (1-12)1996 – 1999 гг. Присланы уточненные списки г/п УГМС 25 Повторно прислали – 1995,1996,1997гг., в связи с уточнением данных Западно- Сибирское метео – гидрол – (1-12) 1985 (5) – доз. – 1ст/мес списки отсутствия станций в архиве г/п, 2001 – 1 г/п, 2002 – 1 г/п, 2003 – 1 г/п 2004 – 2 г/п 2000 (рекасрок 197, рекасутки 171) по согл. Северо-Западное Республика Карелия метео – гидрол –

11 Уральскоеметео – гидрол – Средне-Сибирскоеметео2001(3)-8Присланы уточненные списки г/п УГМС 21 Верхнее-Волжское-Прислан КРТ 1986 (5-12)- 7 ст/мес 1988 (1) 1989 (11) 1990 (9) 1992 (4, 5) Прислан КРТ гг. – общий период. Прислан CD за гг. по Ярославскому ЦГМС УГМС Татарии1987 г. (без согл) Обь-Иртышское-1999 г.(по ведомств. Заказу)

12 Метеорология. Количество пропусков по Соглашениям УГМС Кол-во станций Кол-во пропусков по соглашениям гг. Заполнено по соглашениям Осталось записать по соглашениям гг. Дозапись Сплошной контроль Осталось записать Данных не будет Колымское ( ) Якутское+Тиксинское ( ) Западно-Сибирское Приморское66106 Северное+Амдерминское ( ) УГМС ЦЧО4972 Центральное УГМС Обь-Иртышское110согл. не было48 ВВ УГМС79согл. не было Дальневосточное ( ) Забайкальское92согл. не было Камчатское37согл. не было Чукотское29согл. не было2 Башкирское37согл. не было Иркутское93согл. не было4 Среднесибирское+Таймыр135+13согл. не было10 Уральское Калининградский ЦГМС9согл. не было6 Мурманское ( ) Приволжское Сахалинское ( ) Северо-Западное Северо-Кавказское+ Дагестан ( ) УГМС Татарстана21согл. не было Диксонский ЦГМС36243

13 Западно-Сибирское / Колымское / / /485 Обь-Иртышское151нет согл. 1998,1999 (вед.зак) УГМС ЦЧО / /6 Якутское+Тиксинское ,199956/315 Центральное /157 31/40 (03,04,05гг.) Приморское / /21 Дальневосточное / / / /485 79/ гг. 56/ гг. Сахалинское41нет согл Средне-Сибирское (вед.зак) Мурманское / /991 Приволжское /23014/ /44 Северо-Западное / Уральское /173 МС Кол- во пост ов Переданные данныеКол-во пропусков в переданных данных (пост/мес) Полученные данныеКол-во пропусков в полученных данных (пост/мес) Период ЕС ПерсонаПериод ЕСПерсона ЕС Персон а ЕСПерсона Гидрология Количество пропусков по Соглашениям

14 График соглашений полностью приславших пополненные массивы по гидрологии.

15 Заключение соглашения является добровольным дело управлений, но все управления самостоятельно ведут работы по заполнению пропусков. И не везде есть электронные версии первичных массивов с гг. При заключении соглашения ГУ «ВНИИГМИ-МЦД» предоставляет весь период гидрометеорологических архивов в нормализованном виде, доступном для работы с ПЕРСОНОЙ на CD-R. Поэтому заключение соглашения есть взаимовыгодное предложение со стороны ГУ «ВНИИГМИ-МЦД».