IBM East Europe / Asia Ltd. © Copyright IBM Corporation 2007 Электронные цифровые архивы : долговременное сохранение данных и обеспечение их аутентичности. - презентация

1 IBM East Europe / Asia Ltd. © Copyright IBM Corporation 2007 Электронные цифровые архивы : долговременное сохранение данных и обеспечение их аутентичности. Электронные цифровые архивы : долговременное сохранение данных и обеспечение их аутентичности. Модель сохранения данных OAIS (ISO 14721:2003). Валерий Елизов IBM Systems & Technology Group

2 IBM East Europe / Asia © Copyright IBM Corporation 2007 Электронные цифровые архивы : долговременное сохранение данных и обеспечение их аутентичности. Инновации IBM; Стандарты в области долговременного сохранения данных: - международные - отечественные; Проекта CASPAR и участие IBM; Модель цифрового архива DIAS (Digital Information Archival System); Обеспечение фактической и юридической значимости объекта хранения; Функциональная архитектура; Примеры реализации; Программно-аппаратное обеспечение.

3 IBM East Europe / Asia © Copyright IBM Corporation Преамбула

4 IBM East Europe / Asia © Copyright IBM Corporation 2007 Source: McKinsey Quarterly survey of 9,345 global executives Способность управлять растущими расходами Способность найти инвестиции Способность управлять глобальной организацией Способность найти лучших специалистов Способность к инновациям Руководители уверены, что ключевым фактором успеха и конкурентного преимущества являются инновации

5 IBM East Europe / Asia © Copyright IBM Corporation 2007 Инновации как основа успеха IBM 2006 год: ДОХОДЫ -$91.4млрд Лидер рынка ПО промежуточного слоя; 1На рынке ИТ-услуг и консалтинга; 1 В списке TOP100 суперкомпьютеров; Лидер рынка серверов %; 100,000 Бизнес-партнеров; 3621 патент; $6.1млрд Инвестиции в исследования и разработку.

6 IBM East Europe / Asia © Copyright IBM Corporation 2007 Нанотехнологии и цифровые архивы Открытие магнитной анизотропии атома: - Будущее технологий хранения данных: атом железа на специальной медной подложке сохраняет магнитный момент и ориентацию оси в зависимости от заряда. Перемена магнитного момента атома может интерпретироваться как «0» или «1». Молекулярный вентиль (элементарный переключатель): - В качестве элементарного переключателя (элемента логического вентиля) может использоваться отдельная молекула (нафталинцианин), которая может переходить из состояния «включено» в состояние «выключено» без изменения формы.

7 IBM East Europe / Asia © Copyright IBM Corporation Ситуация в мире

8 IBM East Europe / Asia © Copyright IBM Corporation 2007 CASPAR – сохранение культурного, художественного и научного наследия. CASPAR (Cultural, Artistic, and Scientific knowledge for Preservation, Access and Retrieval) - международный проект ЕС и UNESCO, основной целью которого является разработка стандартов и механизмов долговременного (неограниченного) срока сохранения культурного, научного и художественного наследия мира. - Preservation DataStore – инновационная система хранения данных, в основе которой - модель OAIS (ISO:14721:2002). Разрабатывается IBM.

9 IBM East Europe / Asia © Copyright IBM Corporation 2007 Расширяющаяся цифровая вселенная В 2006 г. объем оцифрованной информации – созданной и сохраненной для дальнейшего воспроизведения, составил 161 экзабайт (161 миллиард гигабайт) – объем, примерно в 3 миллиона раз превышающий объем всех написанных за историю человечества книг! До конца 2010 г. этот объем увеличится в 6 раз и составит 998 экзабайт. IDC (2007) The Expanding Digital Universe

10 IBM East Europe / Asia © Copyright IBM Corporation 2007 Основные требования к цифровым архивам Централизация; Структурность; Гарантированная сохранность данных; Гибкость ; Универсальность; Масштабируемость; Соответствие (международным) стандартам сохранения данных и создания электронных цифровых фондов; Эффективная модель управления; Производительность; «Читабельность» объектов сохранения в течение всего срока сохранения.

11 IBM East Europe / Asia © Copyright IBM Corporation 2007 Open Archival Information System Reference Model - OAIS (ISO:14721:2002) SIP = Submission Information Package AIP = Archival Information Package DIP = Dissemination Information Package SIP Descriptive Info. AIP DIP Administration PRODUCERPRODUCER CONSUMERCONSUMER queries result sets MANAGEMENT Ingest Access Data Management Archival Storage Descriptive Info. Preservation Planning orders

12 IBM East Europe / Asia © Copyright IBM Corporation 2007 Открытая система архивной информации - OAIS Простое хранение цифровой копии – нонсенс. Как обеспечить воспроизводимость и понимаемость в будущем? Описательные метаданные. Определение фокусной аудитории и принятых в этой аудитории форматов.... Reference Preservation descriptive Information Provenance Context Fixity Content Data Object Representation Information Content Packaging Information Представление объектов архивного хранения (Archival Information Package) в соответствии со стандартом OAIS (ISO :14721:2002) Представление информации в строго заданных параметрах воспроизведения, подходящих для передачи и обмена, интерпретации или дальнейшей обработки

13 IBM East Europe / Asia © Copyright IBM Corporation 2007 Модели сохранения Музей - Исходные данные и средства просмотра сохраняются в оригинальном виде и поддерживаются в рабочем состоянии; Запрет на интерпретацию данных, высокие затраты на обслуживание программно- аппаратных средств; Эмулятор - Исходные данные сохраняются в оригинальном виде; - Эмуляция средств просмотра (комплекса ПО и АО) – IBM UVC (Universal Virtual Computer); Необходимость поддержки виртуальной платформы UVC; Миграция - Миграция основных компонент контентного содержания; - Сохранение основных характеристик идентичности и целостности объектов хранения; Возможно появление «цифрового шума»; Описание - Создание описательного содержания, позволяющего воспроизведение оригинала; - Нет необходимости поддержки исходных данных и оригинальных средств просмотра; Потеря исходных данных (оригинального контента). IBM Research Lab in Haifa, Israel Модель IBM Preservation DataStore поддерживает все модели сохранения.

14 IBM East Europe / Asia © Copyright IBM Corporation Позиция и решения IBM

15 IBM East Europe / Asia © Copyright IBM Corporation 2007 Модель IBM DIAS основана на результатах проекта Networked European Deposit Library (EU-Projekt 2000 – 2002) Ввод данных: обработка входящей информации или оцифровка объекта: SIP – Submission Information Package; Упаковка и выдача: интерфейс вывода данных из депозитария: - проверка запросов; - подготовка и выдача электронного документа (при необходимости – вместе с ПО для просмотра) в соответствии с метаданными: Dissemination Information Package (DIP). Основа – IBM Content Manager; Digital Media Center. Обработка Сохранение Управление данными Доступ Архивное хранение Ввод данных Упаковка И выдача Управление Мониторинг и регистрация событий Данные Запрос AIP SIPDIP SIPDIP AIP Данные

16 IBM East Europe / Asia © Copyright IBM Corporation 2007 Решение «Электронная библиотека» IBM DIAS:

17 IBM East Europe / Asia © Copyright IBM Corporation 2007 Обеспечение фактической и юридической значимости объекта хранения Верификация аутентичности документа через применение ЭЦП необходима на всех значимых этапах преобразования объекта: Создание эталонной копии для архивного хранения; Создание рабочей копии для оперативной деятельности; Любое перемещение эталонной копии внутри архива; Любое преобразование во время миграции объекта; При необходимости – при выдачи заверенной копии клиенту; И т.д. Услуги ДТС – для обеспечения как фактической, так и юридической значимости.

18 IBM East Europe / Asia © Copyright IBM Corporation 2007 Производственные службы электронной библиотеки Лаборатория оцифровки объектов; Прием и обработка объектов на цифровых носителях; Подготовка объектов архивного хранения; Каталогизация; Электронного хранилище; Сохранение и миграция данных; Обеспечение фактической и юридической значимости; Служба экспорта цифровых ОАХ; Научно-исследовательская служба (НИС); Служба обеспечения Web-портала; Служба информационной безопасности.

19 IBM East Europe / Asia © Copyright IBM Corporation 2007 Вычислительная инфраструктура ЭБ Функциональные подразделения: Поддержка клубной деятельности; Межбиблиотечный обмен; Общественный Совет; Экспозиционная деятельность; Научно-просветительская деятельность; Организационно-методическая поддержка исследований; Электронный читальный зал; Конференц-зал, Видео-зал, Издательский отдел (10-15 подразделений Библиотеки). Серверы рабочих групп; Рабочие места пользователей; Локальные функциональные задачи. Хранилище электронной библиотеки Главный сервер управления хранением документов; Индекс поиска и буфер активных документов; Долговременный архив документов. Технологические службы ЭБ: Подготовка объектов архивного хранения; Приём и обработка объектов на цифровых носителях; Каталогизация; Электронное хранилище; Сохранение и миграция объектов; Экспорт цифровых ОАХ; Научно-исследовательская служба (НИС). Технологические кластеры Специализированное оборудование Автоматизация функций DIAS Централизованные ИТ-сервисы: Электронный документооборот; Средства коллективной работы; Электронная почта, ERP, биллинг... Информационная безопасность; Обеспечение аутентичности и юридической значимости; Интернет-портал; Библиографический каталог. We b

20 IBM East Europe / Asia © Copyright IBM Corporation Общая архитектура

21 IBM East Europe / Asia © Copyright IBM Corporation 2007 Автоматизированная ленточная библиотека архивного хранения (Центральный архив) Универсальный дисковый массив (Главный индекс Хранилища, Буфер активных документов, данные критичных приложений) Операционный зал Централизованные ИТ-сервисы Универсальный сервер (Управление Хранилищем, обеспечение производственных служб) Резервный ЦОД LAN SANSAN LAN Функциональные подразделения Основной ЦОД Общая архитектура электронно-цифрового архива Централизованные ИТ-сервисы

22 IBM East Europe / Asia © Copyright IBM Corporation 2007 Единая шина данных организации Сервисы разработки Модель / Сборка Сервисы управления ИТ Управлени е Сервисы бизнес оптимизации Сервисы бизнес оптимизации Инфраструктурные сервисы Управление информацией Бизнес приложения Управлениебизнес-процессами Адаптеры доступа Интеграция с партнерами Сервисы взаимодействия пользователей Развертыван ие Референсная модель программного обеспечения WebSphere Lotus WebSphere Information Management Websphere Tivoli WebSphere Tivoli WebSphere Rational WebSphere Information Management

23 IBM East Europe / Asia © Copyright IBM Corporation Примеры реализации

24 IBM East Europe / Asia © Copyright IBM Corporation 2007 Государственный Эрмитаж Благотворительный проект IBM II-й половины 90-х гг. Продолжение проекта – 2007 г. Особенности - Решение «под ключ»; - Введение новых административно- производственных процедур в жизнь музея; - Решение ряда важнейших технологических вопросов с нуля. - В течение нескольких лет сайт Эрмитажа – среди победителей международных интернет- конкурсов на лучший электронный музей.

25 IBM East Europe / Asia © Copyright IBM Corporation 2007 Королевская библиотека Нидерландов Особенности проекта: - Центральная часть европейского проекта; - Первые в Европе, опыт реальной производственной эксплуатации в течение нескольких лет; Конкурс: Siemens, Wang,CAP Gemini, Getronics/Wang, Pink Roccade. Комплекс: - Ядро системы – DIAS: WebSphere; Content Manager, Tivoli Storage Manager (TSM), DB node RS/6000 SP server (processing of the document input/output); - RS/6000 SP 375 MHz POWER3 SMP Wide server - processing software; - RS/6000 F50 server - Control Workstation for the RS/6000 SP; - Enterprise Storage Server, - 3 x 3494 Enterprise Tape Libraries Model C68 Optical Library.

26 IBM East Europe / Asia © Copyright IBM Corporation 2007 Kopal Project Национальная библиотека Германии - Deutsche Nationalbibliothek (The German National Library) Научное общество по обработке информации - Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen Государственная библиотека Университета Гёттингена - Niedersaechsische Staats- und Universitaetsbibliothek Goettingen (Goettingen State and University Library) IBM Deutschland GmbH Ядро: DIAS+

27 IBM East Europe / Asia © Copyright IBM Corporation 2007 Государственная библиотека Тяньцзинь Особенности проекта: - Государственная библиотека в КНР; - Первый подобный проект; - Конкурс: Computer Associates, Dell, EMC, Legend, Oracle + местные компании. Комплекс: 7 х eServer pSeries 630 security control servers; 8 х Server pSeries 650 digital content metadata servers and resource managers; eServer xSeries library automation server; eServer xSeries team development server; eServer xSeries staging server; eServer xSeries a portal server; 2 SAN 2109 Fibre Channel Switches; IBM 3583 L18 Ultrium Scalable Tape Library. Information Management: DB2 Content Manager for AIX, DB2 Content Manager VideoCharger; Lotus: WebSphere Portal Extend; Rational Software: Rational Web Developer for WebSphere Software; Tivoli Storage Management: Tivoli SANergy, Tivoli Storage Manager; Tivoli Security Solutions: Tivoli Access Manager for e-business; WebSphere: WebSphere Application Server – Enterprise.

28 IBM East Europe / Asia © Copyright IBM Corporation 2007 Библиотека университета Mashiakhat Al Azhar Особенности проекта: Оцифровка и каталогизация древних манускриптов. Комплекс: IBM RS/6000 SP2; IBM RS/6000 B50; IBM Netfinity 4500R; Storage: - Optical Storage; - Tape Storage. Программные платформы: - IBM Content Manager; - IBM Enterprise Information Portal (EIP); - IBM DB2; - IBM WebSphere Application Sever and Edge Server.

29 IBM East Europe / Asia © Copyright IBM Corporation 2007 Высшая школа менеджмента СПбГУ Особенности проекта: - Головной ВУЗ СЗФО; - Школа бизнеса мирового уровня; - Электронная библиотека; - Ядро системы – Digital Media Center; - Проектирование – российские бизнес-партнеры. Сроки: - Проектирование – 6 мес. - Исполнение (архив) – 12 мес. Контроль за исполнением: - Приоритетный национальный проект «Образование». LAN SAN Director IBM DS4800 Оперативный архив IBM DS4800 Вторичный архив Linux Кластер с GPFS IBM Servers IBM TS3500

30 IBM East Europe / Asia © Copyright IBM Corporation 2007 Аппаратная платформа Центральный кластер из 3-х серверов: - 4-CPU Power GHz; - 16 GB RAM; - 1x 2-Port Ethernet x 1 GB; - 2 x 2-Port Fiber-Channel x 2 GB; - 4 HDD x 73GB; - Administrator Console. Цифровой архив: - Оперативный архив: DS4800 6TB 48 FC HDD x 146 GB; - Вторичный архив: DS TB 48 SATA HDD x 500GB; - Доловременной архив: TS TB 4 LTO-3 привода чтения / записи; 260 кассет LTO3. IBM System p570 Кластер с GPFS IBM BladeCenter LAN SAN Director IBM DS4800 Оперативный архив IBM DS4800 Вторичный архив Ленточная библиотека IBM TS3500

31 IBM East Europe / Asia © Copyright IBM Corporation 2007 х Вопросы и ответы Валерий Елизов +7 (985)

32 IBM East Europe / Asia © Copyright IBM Corporation Дополнительные материалы Системы хранения данных IBM

33 IBM East Europe / Asia © Copyright IBM Corporation 2007 Уровень предприятия Наиболее широкая продуктовая линейка в индустрии Семейство дисковых систем IBM System Storage DS Упростить инфраструктуру и уменьшить затраты на ее управление, внося изменения по мере необходимости. Обеспечить непрерывность бизнеса и защиту данных. Эффективно управлять информацией на протяжении всего жизненного цикла. Инновации семейства IBM System Storage DS помогают: DS3200/DS3400 EXP400 DS4000 DS6000DS8000 Средний уровеньНачальный уровень

34 IBM East Europe / Asia © Copyright IBM Corporation 2007 IBM - авторитет индустрии в 4Gbit сетях хранения

35 IBM East Europe / Asia © Copyright IBM Corporation 2007 Основная система (FC диски) Задачи: Снизить издержки хранения; Уменьшить время восстановления. Решение: Несколько уровней хранения; Производительная основная СХ; Промежуточное хранилище; (например: DS4200 или EXP810 c SATA дисками); Долговременный архив на ленте. Преимущества: Соотношение стоимости информации с издержками на хранение; Быстрое восстановление; Лучшее использование ресурсов. Тип СХ Класс данных Пример инфраструктуры для ILM Критичные: Высокая производительность; Постоянно и активно используемые. Актуальные: Умеренная производительность; Периодческое использование. Архивные данные: Низкая производительность; Редкое использование и хранение на всякий случай. Промежуточное хранилище (SATA диски) Архив (Лента)

36 IBM East Europe / Asia © Copyright IBM Corporation 2007 IBM: более 50 лет в разработке лент Начало год: - IBM 726 Tape Unit 7,500 cps; 100 bpi. И продолжение в 2005 году: - IBM TS1120 Tape Drive 100 MB/sec; 500 GB IBM st cartridge drive 1964 IBM st read/back drive 1959 IBM st read/write drive 1952 IBM , IBM изобрела Перфокарту Gen IBM IBM 3590E E N T E R P R I S E Gen LTO Gen LTO Gen2 O P E N 2000 LTO Gen1

37 IBM East Europe / Asia © Copyright IBM Corporation 2007 Уровень предприятия TS3100 TS3200 / TS3310 TS3500Virtual Tape3494 Средний уровеньНачальный уровень 3592/TS1120 LTO Наиболее широкая продуктовая линейка в индустрии Ленточные системы IBM System Storage Обеспечивают непрерывность бизнеса и защиту данных. Эффективно управляют информацией на протяжении всего жизненного цикла. Обеспечивают гибкость построения и расширяемость систем. Обеспечивают высокую рентабельность систем хранения Инновации семейства IBM System Storage:

38 IBM East Europe / Asia © Copyright IBM Corporation 2007 UltraScalable Tape Library TS3500 Поддерживает до 16 стоек, до 192 приводов, до 6887 лент, максимальная емкость до 2754 ТБ; Восстановление канала передачи данных после сбоя; Балансировка нагрузки; Поддерживает Ultrium 3 и IBM 3592 приводы; Multi-Path архитектура; Возможность чтения/записи Ultrium 2 кассет с емкостью Ultrium 2, но с улучшенной производительностью; Восстановление пути управления под AIX; Улучшение управления/функциональности.

39 IBM East Europe / Asia © Copyright IBM Corporation 2007 х