Начальник отдела системной поддержки Progress Башкатов В.Г. Москва, 2008 г. v.bashkatov@csbi.ru CSBI Open Edge Replication - это просто! - презентация

1 Начальник отдела системной поддержки Progress Башкатов В.Г. Москва, 2008 г. CSBI Open Edge Replication - это просто!

2 (812) CSBICSBI Open Edge Replication – это просто! Введение в репликацию Архитектура и терминология Синхронная и асинхронная репликация Обработка ошибочных ситуаций Online backup на target базе Планирование Выбор метода реализации Репликация и after-imaging Запуск и мониторинг

3 (812) CSBICSBI Open Edge Replication – это просто! Введение в репликацию Архитектура и терминология Синхронная и асинхронная репликация Обработка ошибочных ситуаций Online backup на target базе Планирование Выбор метода реализации Репликация и after-imaging Запуск и мониторинг

4 (812) CSBICSBI Open Edge Replication – это просто! Агент репликации; Архитектура и терминология Primary и secondary базы данных; Source и Target базы данных; Файл свойств OE Replication; Сервер репликации;

5 (812) CSBICSBI Open Edge Replication – это просто! Агент репликации; Архитектура и терминология Primary и secondary базы данных; Source и Target базы данных; Файл свойств OE Replication; Сервер репликации;

6 (812) CSBICSBI Open Edge Replication – это просто! Source и Target базы данных SourceTarget Open Edge Replication

7 (812) CSBICSBI Open Edge Replication – это просто! Модель работы OE Replication Source AI Target Open Edge Replication Server Open Edge Replication Agent

8 (812) CSBICSBI Open Edge Replication – это просто! Агент репликации; Архитектура и терминология Primary и secondary базы данных; Source и Target базы данных; Файл свойств OE Replication; Сервер репликации;

9 (812) CSBICSBI Open Edge Replication – это просто! target.repl.propertiessource.repl.properties Файл свойств OE Replication SourceTarget Open Edge Replication

10 (812) CSBICSBI Open Edge Replication – это просто! Содержимое файла свойств, для source базы данных [server] control-agents=agent1, agent2 database=source transition=manual transition-timeout=1200 [control-agent.agent1] name=agent1 database= your target name host=yourhost port=your port or service name connect-timeout=120 replication-method=async critical=0 [control-agent.agent2] name=agent2 database=your target name host=yourhost port=your port or service name connect-timeout=120 replication-method=async critical=0

11 (812) CSBICSBI Open Edge Replication – это просто! Содержимое файла свойств, для target базы данных [agent] name=agent1 database= your target name listener-minport=4387 listener-maxport=4500 [transition] database-role=normal auto-begin-ai=0 auto-add-ai-areas=0 ai-structure-file= repl ai.st

12 (812) CSBICSBI Open Edge Replication – это просто! Агент репликации; Архитектура и терминология Primary и secondary базы данных; Source и Target базы данных; Файл свойств OE Replication; Сервер репликации;

13 (812) CSBICSBI Open Edge Replication – это просто! Модель работы OE Replication Source AI Target Open Edge Replication Server Open Edge Replication Agent

14 (812) CSBICSBI Open Edge Replication – это просто! Агент репликации; Архитектура и терминология Primary и secondary базы данных; Source и Target базы данных; Файл свойств OE Replication; Сервер репликации;

15 (812) CSBICSBI Open Edge Replication – это просто! Модель работы OE Replication Source AI Target Open Edge Replication Server Open Edge Replication Agent

16 (812) CSBICSBI Open Edge Replication – это просто! Введение в репликацию Архитектура и терминология Синхронная и асинхронная репликация Обработка ошибочных ситуаций Online backup на target базе Планирование Выбор метода реализации Репликация и after-imaging Запуск и мониторинг

17 (812) CSBICSBI Open Edge Replication – это просто! Асинхронная модель работы OE Replication Target Source AI Open Edge Replication Server Open Edge Replication Agent AI Transaction Log

18 (812) CSBICSBI Open Edge Replication – это просто! Синхронная модель работы OE Replication Target Source AI Open Edge Replication Server Open Edge Replication Agent AI Transaction Log Подтверждение

19 (812) CSBICSBI Open Edge Replication – это просто! Синхронная модель работы OE Replication Target Source AI Open Edge Replication Server Open Edge Replication Agent AI Transaction Log Подтверждение

20 (812) CSBICSBI Open Edge Replication – это просто! Введение в репликацию Архитектура и терминология Синхронная и асинхронная репликация Обработка сбойных ситуаций Online backup на target базе Планирование Выбор метода реализации Репликация и after-imaging Запуск и мониторинг

21 (812) CSBICSBI Open Edge Replication – это просто! Обработка сбойных ситуаций Synchronization Server failure recovery Agent failure recovery

22 (812) CSBICSBI Open Edge Replication – это просто! Обработка сбойных ситуаций Synchronization Server failure recovery Agent failure recovery

23 (812) CSBICSBI Open Edge Replication – это просто! Обработка сбойных ситуаций Synchronization Server failure recovery Agent failure recovery

24 (812) CSBICSBI Open Edge Replication – это просто! Введение в репликацию Архитектура и терминология Синхронная и асинхронная репликация Обработка ошибочных ситуаций Online backup на target базе Планирование Выбор метода реализации Репликация и after-imaging Запуск и мониторинг

25 (812) CSBICSBI Open Edge Replication – это просто! Условия выполнения Online backup на target базе 1.Репликация выполняется в асинхронном режиме 2.Сервер репликации может блокировать схему source базы данных 3.Достаточно свободного пространства в AI экстентах source базы данных probkup online db-name [incremental] device-name [parameters] Команда выполнения Online backup

26 (812) CSBICSBI Open Edge Replication – это просто! PROBKUP OE Replication Agent OE Replication Server Source Target Выполнение копирования Копирование не возможно!

27 (812) CSBICSBI Open Edge Replication – это просто! Введение в репликацию Архитектура и терминология Синхронная и асинхронная репликация Обработка ошибочных ситуаций Online backup на target базе Планирование Репликация и after-imaging Запуск и мониторинг Выбор метода реализации

28 (812) CSBICSBI Open Edge Replication – это просто! Введение в репликацию Архитектура и терминология Синхронная и асинхронная репликация Обработка ошибочных ситуаций Online backup на target базе Планирование Репликация и after-imaging Запуск и мониторинг Выбор метода реализации

29 (812) CSBICSBI Open Edge Replication – это просто! Выбор метода реализации 1.По умолчанию 2.C запуском отложенного агента

30 (812) CSBICSBI Open Edge Replication – это просто! Выбор метода реализации 1.По умолчанию 2.C запуском отложенного агента

31 (812) CSBICSBI Open Edge Replication – это просто! Введение в репликацию Архитектура и терминология Синхронная и асинхронная репликация Обработка ошибочных ситуаций Online backup на target базе Планирование Репликация и after-imaging Запуск и мониторинг Выбор метода реализации

32 (812) CSBICSBI Open Edge Replication – это просто! Тип AI экстентаПреимуществоНедостатки Фиксированный Производительность – экстенты фиксированной длины улучшают производительность за счет отсутствия необходимости в распределении и форматировании блоков во время заполнения. Необходимость постоянного контроля заполнения экстентов – экстенты могут быть заполнены во время цикла управления экстентами, поэтому, необходимо принять во внимание необходимость контроля. Переменный Потеря производительности – когда все блоки экстента будут заполнены, и более не останется empty блоков, менеджер базы данных будет вынужден разместить и отформатировать новые блоки Заполнение дисков – экстенты переменной длины не ограничены по размерам, а следовательно могут заполнить все свободное дисковое пространство. Управление большими файлами – т.к. размеры экстентов могут расти, возникает проблема обработки больших файлов.

33 (812) CSBICSBI Open Edge Replication – это просто! Состояние AI экстентаОписание EMPTYЭкстент пуст и готов к использованию BUSY Экстент на текущий момент используется для записи. Транзакции будут собираться в экстенте, пока не произойдет автоматическое переключение на новый экстент менеджером базы или не будет выполнено ручное переключение администратором с помощью команды rfutil db-name –C aimage new LOCKED В это состояние экстент переходит, когда он заполнен (FULL), но еще не скопирован на target базу данных. К такому экстенту нельзя применить команду rfutil db- name –C aimage empty, во всяком случае, пока агент репликации полностью не скопирует его содержимое и не внесет в target базу. Однако, содержимое экстента может быть выгружено в другой файл с помощью команды rfutil db-name –C aimage extract, не дожидаясь окончания копирования. FULL Экстент заполнен и готов к процедуре архивации ARCHIVED В это состояние экстент переходит после того, как будет заархивирован с помощью After-Image Management Utility

34 (812) CSBICSBI Open Edge Replication – это просто! Методы расчета объема After-image 2. С помощью утилиты RFUTIL 3. С помощью PROMON 4. На основании информации об before-image из VST 1. На основании информации об after-image из VST (Virtual System Tables)

35 (812) CSBICSBI Open Edge Replication – это просто! Методы расчета объема After-image 1.На основании информации об after-image из VST (Virtual System Tables) Таблица _ActAILog Поле _AiLog-TotWrites Поле _AiLog-BytesWritn

36 (812) CSBICSBI Open Edge Replication – это просто! Методы расчета объема After-image 2. С помощью утилиты RFUTIL 3. С помощью PROMON 4. На основании информации об before-image из VST 1. На основании информации об after-image из VST (Virtual System Tables)

37 (812) CSBICSBI Open Edge Replication – это просто! Методы расчета объема After-image 2. С помощью утилиты RFUTIL 3. С помощью PROMON 4. На основании информации об before-image из VST 1. На основании информации об after-image из VST (Virtual System Tables) rfutil db-name -C aimage extent list

38 (812) CSBICSBI Open Edge Replication – это просто! Методы расчета объема After-image 2. С помощью утилиты RFUTIL 3. С помощью PROMON 4. На основании информации об before-image из VST 1. На основании информации об after-image из VST (Virtual System Tables)

39 (812) CSBICSBI Open Edge Replication – это просто! Методы расчета объема After-image 2. С помощью утилиты RFUTIL 3. С помощью PROMON 4. На основании информации об before-image из VST 1. На основании информации об after-image из VST (Virtual System Tables) promon R&D – 5 – 3 (3600) – 2 - 6

40 (812) CSBICSBI Open Edge Replication – это просто! Методы расчета объема After-image с PROMON

41 (812) CSBICSBI Open Edge Replication – это просто! Методы расчета объема After-image с PROMON Ср. знач / 1024 = 4 Kb 4 * 6367 = Kb

42 (812) CSBICSBI Open Edge Replication – это просто! Методы расчета объема After-image 2. С помощью утилиты RFUTIL 3. С помощью PROMON 4. На основании информации об before-image из VST 1. На основании информации об after-image из VST (Virtual System Tables)

43 (812) CSBICSBI Open Edge Replication – это просто! Методы расчета объема After-image 4.На основании информации об before-image из VST Таблица _ActBILog Поле _BiLog-TotWrites Поле _BiLog-BytesWritn

44 (812) CSBICSBI Open Edge Replication – это просто! Фиксированный размеры After-image экстентов Размеры экстентов должны учитывать время возможного простоя целевой базы данных Наиболее простые аппаратные сбои могут быть решены в течении четырех часового периода, например, дисковый или сетевой контролер может быть заменен в течении короткого времени. В определенных ситуациях, целевая машина может быть выведена из строя, достаточно длительное время. В таких ситуациях, общий размер AI экстентов должен быть способен вместить все transaction- log записи, которые будут сгенерированны за этот период.

45 (812) CSBICSBI Open Edge Replication – это просто! Расчет фиксированного размера AI экстента Рассчитайте среднее количество сгенерированных after- image данных за 4 часовой период 1. 26,21 Mб 2. 23,45 Mб 3. 22,59 Mб 4. 29,24 Mб Среднее: 25,37 Mб Определяем значение replication overhead1,5 Определяем количество рабочих часов в день16 часов в день Определяем количество рабочих часов в неделю16 часов * 5 дней = 80 часов Рассчитываем количество сгенерированных ai данных в день 25,37 Мб * 16 часов = 405,94 Мб Рассчитываем количество сгенерированных ai данных в неделю 405,94 Мб * 5 дней = 2029,69 Мб Определяем количество сгенерированных AI данных с учетом replication overhead 25,37 Мб * 1,5 = 38,06 Мб Определяем количество сгенерированных AI данных с учетом replication overhead в день 405,94 Мб * 1,5 = 608,91 Мб Определяем количество сгенерированных AI данных с учетом replication overhead в неделю 608,91 Мб * 5 дней = 3044,53 Мб Размер одного фиксированного ai – экстента38,06 Мб * 4 часа = 152,23 Мб Общее количество after-image экстентов, необходимых для работы в течении недели 3044,53 Мб / 152,23 Мб = 20 экстентов

46 (812) CSBICSBI Open Edge Replication – это просто! Использование экстентов переменной длины 1 Размеры таких экстентов ограничены только размерами файловой системы, при условии, что включена поддержка больших файлов. 2 Экстенты переменной длины будут заполняться пока не достигнут максимально возможного в системе размера файла 3 Нет необходимости контролировать заполнение множества экстентов, их переключение и т.п. 4 Так как экстенты предварительно не форматируются и не перераспределяются, ни каких правил по формированию их размера не нужны.

47 (812) CSBICSBI Open Edge Replication – это просто! Введение в репликацию Архитектура и терминология Синхронная и асинхронная репликация Обработка ошибочных ситуаций Online backup на target базе Планирование Репликация и after-imaging Запуск и мониторинг Выбор метода реализации

48 (812) CSBICSBI Open Edge Replication – это просто! Настройка source базы данных в online prostrct list source-db-name source-db-name.st probkup source-db-name source-db-name.bak proutil source-db-name -C enableSiteReplication source [server] defer-agent-startup=240 probkup online source-db-name source-db-name.bak -REPLTargetCreation

49 (812) CSBICSBI Open Edge Replication – это просто! Настройка target базы данных в online prorest target-db-name source-db-backup-name prorest target-db-name source-db-incrementalbackup-name proutil target-db-name -C enableSiteReplication target

50 (812) CSBICSBI Open Edge Replication – это просто! Старт source базы данных proserve -db source-db-name -DBService replserv Старт target базы данных proserve -db target-db-name -DBService replagent -S [port|service name ]

51 (812) CSBICSBI Open Edge Replication – это просто! Мониторинг работы OpenEdge Replication dsrutil -C monitor dsrutil -C status agentname -detail

52 (812) CSBICSBI Open Edge Replication – это просто! Мониторинг работы OpenEdge Replication dsrutil -C monitor dsrutil -C status agentname -detail

53 (812) CSBICSBI Open Edge Replication – это просто! Мониторинг работы OpenEdge Replication dsrutil -C monitor dsrutil -C status agentname -detail RETCODE=`dsrutil $a -C status -detail` MESS="Replication error!" STS="High" case $RETCODE in 0) MESS=" Unknown!" STS="High";; 1001) MESS=" Initial connection." STS="Low";; 1037) MESS=" Agent is Stopped!" STS="High";; 3048) MESS=" Startup Sychronization." STS="Low";; 3049) MESS=" Normal Processing." STS="Normal";; 2080) MESS=" Pre-transition!" STS="High";; 6005) MESS=" Startup Synchronization." STS="Low";; 6060) MESS=" Server is ended!" STS="High";; esac

54 (812) CSBICSBI Open Edge Replication – это просто!

55 (812) CSBICSBI Open Edge Replication – это просто! Спасибо за внимание! Башкатов В.Г. Москва, 2008 г.