Оцифровка архивных документов в центральных архивах Москвы Тихонов Владимир Иванович к.и.н., директор Центра автоматизированных архивных технологий Государственное бюджетное учреждение города Москвы «Центральный государственный архив города Москвы» (ГБУ «ЦГА Москвы»)

Поделиться опытом оцифровки архивных аудиовизуальных и бумажных документов в центральных архивах Москвы Поделиться опытом оцифровки архивных аудиовизуальных и бумажных документов в центральных архивах Москвы Определить круг проблем, возникающих при организации постоянного хранения электронных образов и электронного НСА к документам на бумажном носителе Определить круг проблем, возникающих при организации постоянного хранения электронных образов и электронного НСА к документам на бумажном носителе Задачи презентации:

Государственное бюджетное учреждение города Москвы «Центральный государственный архив города Москвы» (ГБУ «ЦГА Москвы») Руководство архивом Отделы аппарата управления Центры хранения документов: Центр хранения документов до 1917 г. Центр хранения документов после 1917 г. Центр хранения документов общественно-политической истории Москвы Центр хранения документов личных собраний Центр хранения научно-технической документации Москвы Центр хранения электронных и аудиовизуальных документов Москвы Функциональные центры: Научно-информационный центр Центр автоматизированных архивных технологий Центр микрографии и реставрации документов Центр научного описания документов Центр публикации архивного фонда

Обеспечение граждан, общества и органов власти архивной информацией Обеспечение граждан, общества и органов власти архивной информацией Использование в работе архивов информационно-коммуникационных технологий – один из эффективных способов, повышающих оперативность и качество обслуживания пользователей архивными документами Миссия государственных архивов

Получение эффективных средств копирования и распространения архивной информации Получение эффективных средств копирования и распространения архивной информации Создание фонда пользования архивными материалами Создание фонда пользования архивными материалами Включение электронных образов документов в информационно-поисковые системы архива Включение электронных образов документов в информационно-поисковые системы архива ГБУ «ЦГА Москвы» использует электронные копии документов в поисковых системах двух центров хранения документации: Центр хранения электронных и аудиовизуальных документов Москвы (ЦХЭАДМ) Центр хранения электронных и аудиовизуальных документов Москвы (ЦХЭАДМ) Центр хранения документов после 1917 г. (ЦХД после 1917 г.) Центр хранения документов после 1917 г. (ЦХД после 1917 г.) Цели оцифровки архивных документов

Оцифровка фотодокументов на магнитной ленте с 2004 г. Оцифровка фотодокументов на магнитной ленте с 2004 г. Оцифровка фотодокументов (негативов, позитивов и слайдов) с 2005 г. Оцифровка фотодокументов (негативов, позитивов и слайдов) с 2005 г. Оцифровка видеодокументов с 2009 г. Оцифровка видеодокументов с 2009 г. Оцифровка документов ЦХЭАДМ

Оцифровка фотодокументов на магнитной ленте Технические характеристики: Кодек – PCM (Pulse Code Modulation), преобразующий звуковые сигналы в цифровой формат несжатого (т.е. без потери качества) звука Кодек – PCM (Pulse Code Modulation), преобразующий звуковые сигналы в цифровой формат несжатого (т.е. без потери качества) звука Частота дискретизации – 44,1 КГц Частота дискретизации – 44,1 КГц Разрядность – 16 бит Разрядность – 16 бит Объем оцифрованного ресурса: 1043 ед. хр. (бобин с лентой) из общего фонда в 4629 ед. хр. (22,5 %) 1043 ед. хр. (бобин с лентой) из общего фонда в 4629 ед. хр. (22,5 %)Хранение: диски DVD-R (в двух экземплярах) диски DVD-R (в двух экземплярах) Оцифровка документов ЦХЭАДМ

Оцифровка фотодокументов Разрешение: 2000 точек на дюйм 2000 точек на дюйм Форматы хранения: TIFF – копия страхового формата TIFF – копия страхового формата JPEG – копия пользовательского формата JPEG – копия пользовательского формата Объем оцифрованного ресурса: около 17,5 тыс. фотодокументов (6,5 % всего фонда) около 17,5 тыс. фотодокументов (6,5 % всего фонда)Хранение: TIFF-файлы на дисках DVD-R (в двух экземплярах) и на файл-сервере АИПС архива (один экземпляр) TIFF-файлы на дисках DVD-R (в двух экземплярах) и на файл-сервере АИПС архива (один экземпляр) JPEG-файлы на дисках CD-R (в двух экземплярах) и в СУБД АИПС архива (один экземпляр) JPEG-файлы на дисках CD-R (в двух экземплярах) и в СУБД АИПС архива (один экземпляр) Оцифровка документов ЦХЭАДМ

Оцифровка видеодокументов в Видеоархивном комплексе Вместимость основной ленточной библиотеки: 1927 картриджей LTO-3 совокупной емкостью в 750 Тбайт более 10 тыс. часов видеодокументов Территориально разнесенное однотипное оборудование: по 2 видеомонтажных станции по 2 станции нелинейного видеомонтажа Avid Liquid Chrome HD сервера с дисковыми системами хранения видеоконтента ленточные библиотеки (одна основная и две удаленные по 30 картриджей LTO-3 для создания резервных копий) сетевое оборудование (Cisco, SAN и т.п.) выделенный канал связи в 100 Мбит/сек 14 рабочих станций для работников и посетителей архива Оцифровка документов ЦХЭАДМ

Оцифровка видеодокументов в Видеоархивном комплексе Входные форматы для оцифровки: Betacam, VHS DV, DVcam, DV, DVCpro DVD Видеокодеки и форматы хранения в ленточной библиотеке: MPEG-2 (с битрейтом до 50 Мбит/с) в формате файлового контейнера MXF OP1A DV, DIF (до 50,3 Мбит/с) Rawvideo, uyvy422i, не компрессионный (176 Мбит/сек) Объем оцифрованного ресурса: 228 ед. хр., более 200 часов архивных видеодокументов (16,2% от фонда) 228 ед. хр., более 200 часов архивных видеодокументов (16,2% от фонда) Оцифровка документов ЦХЭАДМ

Оцифровка видеодокументов в Видеоархивном комплексе Запись и хранение копий на внешних носителях: на лентах DVcam – страховой фонд видеодокументов на дисках DVD-R (в двух экземплярах) – резервный фонд пользования видеодокументами Количество цифровых копий видеодокументов: две копии в страховом формате в основной библиотеке одна копия на картридже резервного хранения две копии низкого разрешения (битрейт 1 Мбит/с) на серверах АИПС архива одна копия страхового фонда две копии резервного фонда пользования Оцифровка документов ЦХЭАДМ

Задачи Видеоархивного комплекса : создание страховых копий видеодокументов в цифровых форматах создание автоматизированного фонда пользования видеодокументами (интегрированного с АИПС архива) создание копий видеодокументов по запросам пользователей без дополнительного использования оригиналов использование в качестве временного хранилища при поступлении в архив на хранение видеодокументов в цифровых форматах Оцифровка документов ЦХЭАДМ

Оцифровка видеодокументов в Видеоархивном комплексе Перспективы развития Видеоархивного комплекса: организация открытого доступа к копиям видеодокументов через Интернет-сайт архива приобретение и внедрение видеокодека MPEG-4 приобретение для архива технологий оцифровки кинодокументов и фотодокументов на виниловой основе и их интеграция с Видеоархивным комплексом Оцифровка документов ЦХЭАДМ

Работы по оцифровке проводились в соответствии с п «Плана мероприятий по проектированию, разработке и внедрению информационных систем на 2008 год» утв. распоряжением Правительства Москвы от РП: Создание единой системы электронных архивов документов Правительства Москвы Цель оцифровки документов: создание автоматизированного фонда пользования архивными документами органов исполнительной власти Москвы через включение электронных образов документов и индексной информации в Интегрированную автоматизированную информационную систему (ИАИС) Главархива Москвы Оцифровка документов ЦХД после 1917 г.

Решение предварительных задач: Выбор документального массива: распорядительные документы райисполкомов Москвы, использование которых имеет беспрецедентное социальное значение, главным образом в сфере имущественных отношений граждан Выбор объекта индексирования (описания): индексирование на уровне отдельного документа Интеграция с ИАИС Главархива Москвы: проведение модернизации структуры и модулей АИС «Научно-справочный аппарат по документам на бумажной основе» Оцифровка документов ЦХД после 1917 г.

Решение предварительных задач: Реквизиты индексирования электронных копий документов райисполкомов Москвы: номера фонда, описи и единицы хранения (архивного дела), номер листа дела, с которого начинается документ вид документа райисполкома (решение, протокол и т.д.) номер, дата, заголовок документа фамилии и инициалы персоналий, встречающиеся в документе адреса зданий, встречающиеся в документе комментарий путь к папке с электронными копиями документа на передаваемом носителе Оцифровка документов ЦХД после 1917 г.

Решение предварительных задач: Правила индексирования определялись в соответствии с нормативным документов Главархива Москвы по описанию распорядительных документов органов исполнительной власти Москвы: Методические рекомендации по описанию и классификации документной информации для создания АИПС «Организационно-распорядительные документы Московского городского совета и Исполнительного совета народных депутатов за 1931–1991 гг.». (Мосгорархив, 2003) Оцифровка документов ЦХД после 1917 г.

Решение предварительных задач: Оцифровка документов проводилась на территории архива, но на оборудовании и специалистами Исполнителя по государственному контракту. Были оборудованы рабочие места: 10 рабочих мест с планетарными сканерами (9 сканеров для оцифровки документов форматом до A2, один сканер – для формата A1) 6 рабочих мест для расшивки и последующей сбрюшеровки оцифрованных дел промышленные сканеры с автоматической протяжкой листов не применялись, в связи с ветхим состоянием некоторых документов Оцифровка документов ЦХД после 1917 г.

Работы по сканированию документов: Разрешение: 300 точек на дюйм Режим сканирования: «бинарный» – для документов в хорошем состоянии «градации серого» – для документов с нечетким текстом (пожелтевшая бумага, нечеткость машинописи и т.п.) Формат сохранения файлов: TIFF Объем получаемых файлов: от 50 Кбайт до 60 Мбайт (в зависимости от режима сканирования и формата документа) средний объем файла – 3-4 Мбайта Выборочный контроль качества электронных образов Оцифровка документов ЦХД после 1917 г.

Индексирование электронных копий архивных документов проводилось специалистами Исполнителя по государственному контракту и на его территории Готовый информационный ресурс передавался архиву электронные копии документов записывались на диски DVD-R в двух экземплярах (в среднем на каждый диск помещались копии документов двух дел) база данных с индексной информацией (в формате MS Access) – на диски CD-R в двух экземплярах Передача осуществлялась по актам и описям дисков с электронными копиями архивных документов Оцифровка документов ЦХД после 1917 г.

Завершающий этап: Прием информационного ресурса оформлялся только после проверки технического состояния поступивших дисков с помощью специализированного ПО в Информационном центре Главархива Москвы Трудозатраты на проверку дисков: мин. на проверку одного диска DVD задействовались один-два работника на 2-3 ПК Объем выявленного брака: 8% (около 229 дисков) Рабочая рекомендация: Записывать экземпляры электронных документов на носители разных фирм-производителей Оцифровка документов ЦХД после 1917 г.

Завершающий этап: Импорт электронных копий документов и индексной информации в ИАИС Главархива Москвы Исправление ошибок индексации (не более 0,01%): в составлении пути к электронным образам на переданных носителях в привязке электронных образов к идентификации документа в фамилиях персоналий, названиях улиц Оцифровка документов ЦХД после 1917 г.

Затраты времени на реализацию проекта: Оцифровка документов: около 4 месяцев (3921 архивное дело, образов) Индексация документов: около 6 месяцев ( документов райисполкомов) Проверка дисков: более 9 месяцев (1812 дисков) Экспорт информационного ресурса в ИАИС: две недели Оцифровка документов ЦХД после 1917 г.

В 2011–2012 гг. работы по оцифровке архивных документов ЦАГМ были продолжены : Состав документов: распорядительные документы райисполкомов Москвы распорядительные документы Мосгорисполкома (Моссовета) Формат хранения: JPEG Электронные носители: DVD-R внешние жесткие диски емкостью 1-1,5 Тбайт (с 2012 г.) Наличие в составе ИАИС Главархива Москвы электронной картотеки «Решения и распоряжения Мосгорисполкома» сократило объемы работ по индексации документов Мосгорисполкома Оцифровка документов ЦХД после 1917 г.

Промежуточные итоги проекта: Объем электронных копий фонда пользования: 8126 дел по фондам 6 райисполкомов Москвы (из 30), более 1,6 млн листов 8712 дел по фонду Мосгорисполкома, более 2,5 млн листов Всего: дел, около 4,2 млн листов Формы хранения информационного ресурса: в двух экземплярах на 2792 дисках DVD (райисполкомы) в двух экземплярах на 24 внешних жестких дисках (Мосгорисполком и райисполкомы) один экземпляр на 238 дисках BD-R в роботизированном дисковом накопителе, интегрированном с ИАИС Совокупный объем хранения – около 25 Тбайт Оцифровка документов ЦХД после 1917 г.

Перспективы развития проекта в 2014–2018 гг.: Организация удаленного доступа к электронным копиям документов для органов власти Москвы и гражданам (через Интернет) Планируется оцифровать более 100 тыс. ед. хр., в том числе метрические книги (ЦХД до 1917 г.) и дела с научно- технической документацией Центрального архива научно- технической документации Москвы (ЦХНТДМ) При сохранении существующих темпов оцифровки потребуется не менее сотни лет на то, чтобы перевести в электронную среду лишь наиболее востребуемую часть фондов центральных архивов Москвы Оцифровка документов ЦХД после 1917 г.

Спасибо за внимание! Вопросы?