Оцифровка архивных документов в центральных архивах Москвы Тихонов Владимир Иванович Заместитель директора Информационного центра Главархива Москвы, к.и.н. - презентация

1 Оцифровка архивных документов в центральных архивах Москвы Тихонов Владимир Иванович Заместитель директора Информационного центра Главархива Москвы, к.и.н.

2 Поделиться опытом оцифровки архивных аудиовизуальных и бумажных документов в центральных архивах Москвы Поделиться опытом оцифровки архивных аудиовизуальных и бумажных документов в центральных архивах Москвы Определить круг проблем, возникающих при организации постоянного хранения электронных образов и электронного НСА к документам на бумажном носителе Определить круг проблем, возникающих при организации постоянного хранения электронных образов и электронного НСА к документам на бумажном носителе Задачи презентации:

3 Главное архивное управление города Москвы (Главархива Москвы) Руководство Главархива Москвы Центральный аппарат Главархива Москвы Архивные отделы по административным округам Москвы Центральные архивы Москвы: Центральный архив города Москвы Центральный исторический архив Москвы Центральный архив общественно-политической истории Москвы Центральный московский архив-музей личных собраний Центральный архив научно-технической документации Москвы Центральный архив электронных и аудиовизуальных документов Москвы Центральный архив документов о трудовой деятельности граждан города Москвы Функциональные центры: Центр научного описания документов Центр научного использования и публикации архивного фонда Выставочный центр Центр документационного обслуживания населения Информационный центр Центр микрографии и реставрации документов Центр производственно-технического обслуживания Центр по региональным и международным связям Центр научно-справочной и библиотечной информации

4 Обеспечение граждан, общества и органов власти архивной информацией Обеспечение граждан, общества и органов власти архивной информацией Использование в работе архивов информационно-коммуникационных технологий – один из эффективных способов, повышающих оперативность и качество обслуживания пользователей архивными документами Миссия Главархива Москвы

5 Получение эффективных средств копирования и распространения архивной информации Получение эффективных средств копирования и распространения архивной информации Создание фонда пользования архивными материалами Создание фонда пользования архивными материалами Включение электронных образов документов в информационно-поисковые системы архива Включение электронных образов документов в информационно-поисковые системы архива Главархив Москвы использует электронные образы в поисковых системах двух архивов: Центрального архива электронных и аудиовизуальных документов Москвы (ЦАЭ и АДМ) Центрального архива электронных и аудиовизуальных документов Москвы (ЦАЭ и АДМ) Центрального архива города Москвы (ЦАГМ) Центрального архива города Москвы (ЦАГМ) Цели оцифровки архивных документов

6 Оцифровка фонодокументов на магнитной ленте с 2004 г. Оцифровка фонодокументов на магнитной ленте с 2004 г. Оцифровка фотодокументов (негативов, позитивов и слайдов) с 2005 г. Оцифровка фотодокументов (негативов, позитивов и слайдов) с 2005 г. Оцифровка видеодокументов с 2009 г. Оцифровка видеодокументов с 2009 г. Оцифровка документов ЦАЭ и АДМ

7 Оцифровка фонодокументов на магнитной ленте Технические характеристики: Кодек – PCM (Pulse Code Modulation), преобразующий звуковые сигналы в цифровой формат несжатого (т.е. без потери качества) звука Кодек – PCM (Pulse Code Modulation), преобразующий звуковые сигналы в цифровой формат несжатого (т.е. без потери качества) звука Частота дискретизации – 44,1 КГц Частота дискретизации – 44,1 КГц Разрядность – 16 бит Разрядность – 16 бит Объем оцифрованного ресурса: 1004 ед. хр. (бобин с лентой) из общего фонда в 4629 ед. хр. (22 %) 1004 ед. хр. (бобин с лентой) из общего фонда в 4629 ед. хр. (22 %)Хранение: диски DVD-R (в двух экземплярах) диски DVD-R (в двух экземплярах) Оцифровка документов ЦАЭ и АДМ

8 Оцифровка фотодокументов Разрешение: 2000 точек на дюйм 2000 точек на дюйм Форматы хранения: TIFF – копия страхового формата TIFF – копия страхового формата JPEG – копия пользовательского формата JPEG – копия пользовательского формата Объем оцифрованного ресурса: более 11 тыс. фотодокументов (4 % всего фонда) более 11 тыс. фотодокументов (4 % всего фонда)Хранение: TIFF-файлы на дисках DVD-R (в двух экземплярах) и на файл-сервере АИПС архива (один экземпляр) TIFF-файлы на дисках DVD-R (в двух экземплярах) и на файл-сервере АИПС архива (один экземпляр) JPEG-файлы на дисках CD-R (в двух экземплярах) и в СУБД АИПС архива (один экземпляр) JPEG-файлы на дисках CD-R (в двух экземплярах) и в СУБД АИПС архива (один экземпляр) Оцифровка документов ЦАЭ и АДМ

9

10

11 Оцифровка видеодокументов в Видеоархивном комплексе Главархива Москвы Вместимость основной ленточной библиотеки: 1927 картриджей LTO-3 совокупной емкостью в 750 Тбайт более 10 тыс. часов видеодокументов Территориально разнесенное однотипное оборудование: по 2 видеомонтажных станции по 2 станции нелинейного видеомонтажа Avid Liquid Chrome HD сервера с дисковыми системами хранения видеоконтента ленточные библиотеки (одна основная и две удаленные по 30 картриджей LTO-3 для создания резервных копий) сетевое оборудование (Cisco, SAN и т.п.) выделенный канал связи в 100 Мбит/сек 14 рабочих станций для работников и посетителей архива Оцифровка документов ЦАЭ и АДМ

12 Оцифровка видеодокументов в Видеоархивном комплексе Главархива Москвы Входные форматы для оцифровки: Betacam, VHS DV, DVcam, DV, DVCpro DVD Видеокодеки и форматы хранения в ленточной библиотеке: MPEG-2 (с битрейтом до 50 Мбит/с) DV, DIF (до 50,3 Мбит/с) Rawvideo, uyvy422i, некомпрессионный (176 Мбит/сек) Объем оцифрованного ресурса: около 180 часов архивных видеодокументов (12,5% от фонда) около 180 часов архивных видеодокументов (12,5% от фонда) Оцифровка документов ЦАЭ и АДМ

13 Оцифровка видеодокументов в Видеоархивном комплексе Главархива Москвы Запись и хранение копий на внешних носителях: на лентах DVcam – страховой фонд видеодокументов на дисках DVD-R (в двух экземплярах) – резервный фонд пользования видеодокументами Количество цифровых копий видеодокументов: две копии в страховом формате в основной библиотеке одна копия на картридже резервного хранения две копии низкого разрешения (битрейт 1 Мбит/с) на серверах АИПС архива одна копия страхового фонда две копии резервного фонда пользования Оцифровка документов ЦАЭ и АДМ

14 Задачи Видеоархивного комплекса Главархива Москвы: создание страховых копий видеодокументов в цифровых форматах создание автоматизированного фонда пользования видеодокументами (интегрированного с АИПС архива) создание копий видеодокументов по запросам пользователей без дополнительного использования оригиналов использование в качестве временного хранилища при поступлении в архив на хранение видеодокументов в цифровых форматах Оцифровка документов ЦАЭ и АДМ

15

16

17

18

19

20 Оцифровка видеодокументов в Видеоархивном комплексе Главархива Москвы Перспективы развития Видеоархивного комплекса: преобразование оцифрованных видеодокументов в формат файлового контейнера MXF OP1A приобретение и внедрение видеокодека MPEG-4 приобретение для архива технологий оцифровки кинодокументов и фонодокументов на виниловой основе и их интеграция с Видеоархивным комплексом Оцифровка документов ЦАЭ и АДМ

21 Работы по оцифровке проводились в соответствии с п «Плана мероприятий по проектированию, разработке и внедрению информационных систем на 2008 год» утв. распоряжением Правительства Москвы от РП: Создание единой системы электронных архивов документов Правительства Москвы Цель оцифровки документов: создание автоматизированного фонда пользования архивными документами органов исполнительной власти Москвы через включение электронных образов документов и индексной информации в Интегрированную автоматизированную информационную систему (ИАИС) Главархива Москвы Оцифровка документов ЦАГМ

22 Решение предварительных задач: Выбор документального массива: распорядительные документы райисполкомов Москвы, использование которых имеет беспрецедентное социальное значение, главным образом в сфере имущественных отношений граждан Выбор объекта индексирования (описания): индексирование на уровне отдельного документа Интеграция с ИАИС Главархива Москвы: проведение модернизации структуры и модулей АИС «Научно-справочный аппарат по документам на бумажной основе» Оцифровка документов ЦАГМ

23 Решение предварительных задач: Реквизиты индексирования электронных копий документов райисполкомов Москвы: номера фонда, описи и единицы хранения (архивного дела), номер листа дела, с которого начинается документ вид документа райисполкома (решение, протокол и т.д.) номер, дата, заголовок документа фамилии и инициалы персоналий, встречающиеся в документе адреса зданий, встречающиеся в документе комментарий путь к папке с электронными копиями документа на передаваемом носителе Оцифровка документов ЦАГМ

24 Решение предварительных задач: Правила индексирования определялись в соответствии с нормативным документов Главархива Москвы по описанию распорядительных документов органов исполнительной власти Москвы: Методические рекомендации по описанию и классификации документной информации для создания АИПС «Организационно-распорядительные документы Московского городского совета и Исполнительного совета народных депутатов за 1931–1991 гг.». (Мосгорархив, 2003) Оцифровка документов ЦАГМ

25 Решение предварительных задач: Оцифровка документов проводилась на территории Главархива Москвы, но на оборудовании и специалистами Исполнителя по государственному контракту. Были оборудованы рабочие места: 10 рабочих мест с планетарными сканерами (9 сканеров для оцифровки документов форматом до A2, один сканер – для формата A1) 6 рабочих мест для расшивки и последующей сбрюшеровки оцифрованных дел промышленные сканеры с автоматической протяжкой листов не применялись, в связи с ветхим состоянием некоторых документов Оцифровка документов ЦАГМ

26 Работы по сканированию документов: Разрешение: 300 точек на дюйм Режим сканирования: «бинарный» – для документов в хорошем состоянии «градации серого» – для документов с нечетким текстом (пожелтевшая бумага, нечеткость машинописи и т.п.) Формат сохранения файлов: TIFF Объем получаемых файлов: от 50 Кбайт до 60 Мбайт (в зависимости от режима сканирования и формата документа) средний объем файла – 3-4 Мбайта Выборочный контроль качества электронных образов Оцифровка документов ЦАГМ

27 Индексирование электронных копий архивных документов ЦАГМ проводилось специалистами Исполнителя по государственному контракту и на его территории Готовый информационный ресурс передавался Главархиву Москвы электронные копии документов записывались на диски DVD-R в двух экземплярах (в среднем на каждый диск помещались копии документов двух дел) база данных с индексной информацией (в формате MS Access) – на диски CD-R в двух экземплярах Передача осуществлялась по актам и описям дисков с электронными копиями архивных документов Оцифровка документов ЦАГМ

28

29

30 Завершающий этап: Прием информационного ресурса оформлялся только после проверки технического состояния поступивших дисков с помощью специализированного ПО в Информационном центре Главархива Москвы Трудозатраты на проверку дисков: мин. на проверку одного диска DVD задействовались один-два работника на 2-3 ПК Объем выявленного брака: 2% (около 200 дисков) Рабочая рекомендация: Записывать экземпляры электронных документов на носители разных фирм-производителей Оцифровка документов ЦАГМ

31 Завершающий этап: Импорт электронных копий документов и индексной информации в ИАИС Главархива Москвы Исправление ошибок индексации (не более 0,01%): в составлении пути к электронным образам на переданных носителях в привязке электронных образов к идентификации документа в фамилиях персоналий, названиях улиц Оцифровка документов ЦАГМ

32

33

34

35 Затраты времени на реализацию проекта: Оцифровка документов: около 4 месяцев (3921 архивное дело, образов) Индексация документов: около 6 месяцев ( документов райисполкомов) Проверка дисков: более 9 месяцев (1812 дисков) Экспорт информационного ресурса в ИАИС: две недели Оцифровка документов ЦАГМ

36 В 2011–2012 гг. работы по оцифровке архивных документов ЦАГМ были продолжены : Состав документов: распорядительные документы райисполкомов Москвы распорядительные документы Мосгорисполкома (Моссовета) Формат хранения: JPEG Электронные носители: DVD-R внешние жесткие диски емкостью 1-1,5 Тбайт (с 2012 г.) Наличие в составе ИАИС Главархива Москвы электронной картотеки «Решения и распоряжения Мосгорисполкома» сократило объемы работ по индексации документов Мосгорисполкома Оцифровка документов ЦАГМ

37 Промежуточные итоги проекта: Объем электронных копий фонда пользования: 8126 дел по фондам 6 райисполкомов Москвы (из 30), более 1,6 млн листов 8712 дел по фонду Мосгорисполкома, более 2,5 млн листов Всего: дел, около 4,2 млн листов Формы хранения информационного ресурса: в двух экземплярах на 2792 дисках DVD (райисполкомы) в двух экземплярах на 24 внешних жестких дисках (Мосгорисполком и райисполкомы) один экземпляр на 238 дисках BD-R в роботизированном дисковом накопителе, интегрированном с ИАИС Совокупный объем хранения – около 25 Тбайт Оцифровка документов ЦАГМ

38 Перспективы развития проекта в 2014–2016 гг.: Планируется оцифровать более 100 тыс. дел, в том числе дела с научно-технической документацией Центрального архива научно-технической документации Москвы (ЦАНТДМ) При сохранении существующих темпов оцифровки потребуется не менее сотни лет на то, чтобы перевести в электронную среду лишь наиболее востребуемую часть фондов центральных архивов Москвы Оцифровка документов ЦАГМ

39 Спасибо за внимание! Вопросы?