Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL news EnterprizeDB 2008 10 млн. долларов инвестиций от IBM Убран лозунг совместимости. - презентация

1 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL news EnterprizeDB млн. долларов инвестиций от IBM Убран лозунг совместимости с Оракл Rebranding Enterprize DB Postgres Plus A true Enterprise Open Source DB GridSQL исполнение запросов в Grid среде Postgres Plus Advanced Server коммерческая версия Cloud Edition (Elastra) Совместимость с Оракл, миграция DynaTune автоматическая настройка

2 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL news XDI Applience postgreSQL with support of shared-nothing parallel cluster envrionment with FPGA acceleration 1GB/s SQL query per Node (TPC-H) 1TB/min sustained SQL query 19 inch server rack Decision Support Systems, Full table scan, Group By, Order By, Aggregation, multitable joins

3 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL news XDI Appliance 750,000 USD

4 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: Планы Сроки: Февраль начало 2009 Wishlist Patch Status CommitFest Feature Matrix

5 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Изменена стратегия TOAST (+) min_input_size=32 байт (было 256 байт) Req. сompression rate = 25% (было 20%) Видимый выигрыш 10% на ts_rank() Concurrent psql (+) Много независимых коннектов к разным БД из одной сессии Можно тестировать взаимодействие между коннектами локи, транзакции

6 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Изменения в Index AM Индекс может сказать точное совпадение или run time (+) GIT Group Index Tuples (?) Индекс с точностью до страницы, не tuple Очень выгоден для кластеризованных таблиц GIN/GiST index Избавиться от оператора для запросов с метками - tsvector 'star:a'::tsquery Ускорить GiST index - не всегда индекс lossy On-disk Bitmap index (?)

7 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Изменения в Index AM GIN Partial Match (+) - уже есть opclasses: Prefix Search: to_tsquery('star:*'), API словарей поддерживает wildcard Ускоряется wildcard search - LIKE '%asd%' Поддержка full scan, запросы '!foo'. Очень быстрая приближенная статистика для GIN индекса gin_stat (см. gevel) (+) 0.5 s для ~ 450,000 документов Improvement of GIN insertion speed GIN multicolumn index support

8 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Изменения в Index AM Добавить методы навигации по GiST дереву (?) Поиск ближайших соседей KNN-search Цифровые деревья, SP-GiST GiST bulk insert (?) Лучше дерево, быстрее создание индекса

9 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Изменения в FTS Middleware для словарей гибкость HTML-парсер Увеличить количество весов с 4 до 16 Сжатие tsvector-а Разное GiSTarray intarray для всех встроенных типов Ltree, pg_trgm поддержка UTF-8

10 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Group Commit (??? async. Commit 8.3) WAL flush для нескольких коммитов Windowing functions (?) SQL:2003 Table function support (?) RETURN TABLE(SELECT * FROM Foo WHERE x < a); PL/PgPSM ( SQL/PSM) (?) - SQL3 EXECUTE USING параметры (+)

11 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans ON TRUNCATE triggers - отслеживать TRUNCATE TABLE (+) Улучшения в psql (+) \d table_name показывает FK \l+ - tablespace, размер БД Улучшена tab-completion Схемa: UPDATE foo.bar SET Quoted name: UPDATE "foo" SET

12 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Карты FSM - free space map DSM dead space map VM - Visibility Map SVM - Segment Visibility Map Плюсы Partial Vacuum Index-only scans Automatic Partitioning

13 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans DSM Dead Space Map (?) Как FSM, но помечаются (bgwriter) страницы, которые нуждаются в вакууме (dead tuples) Vacuum использует DSM - ускорение Vacuum ALL сканирует все страницы Полезно для очень больших БД с редкими изменениями

14 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Visibility Map (VM) (?) Index-only scans Надо знать, все ли записи на странице видимы для ВСЕХ транзакций bitmap (1bit/page) 1 все записи видимы, 0 - непонятно. Можно использовать для ускорения вакуума надо знать информацию о: страницах с dead tuples (vacuum) Страницах с non-frozen tuples (vacuum freeze)

15 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Segment Visibility Map (?) какие сегменты 100% видимы pg_svm, размер сегмента 1Gb бита на каждый сегмент (не на блок) rw,ro,ro_pending, ro_frozen Дополнительные состояния - explicitly marked read only, clustered, compressed, offline Обобщение DSM, Visibility Map ?

16 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Динамическая сегментация (partitioning) (?) Текущий подход - constraints на таблицу и view/inheritance, данные заливаются согласно constraints Предлагается обратный подход извлекать неявные constraints из данных, автоматическая сегментация больших таблиц.

17 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Динамическая сегментация (partitioning) (?) Часто большие таблицы обладают следующими свойствами: Новые записи часто вставляются Свежие записи обновляются часто Старые записи в основном read-only Иногда происходит массовое удаление данных (bulk delete) Делим таблицу на сегменты (1Gb) и отслеживаем read-only сегменты (SVM)

18 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Динамическая сегментация (partitioning) (?) Для read-only сегментов можно хранить min/max значения, которые можно использовать для оптимизации SeqScan (Segment Exclusion) Используются только те атрибуты, чьи значения связаны с физическим размещением данных в таблице transaction date, sequences,...

19 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Scan always Select count(*) from Foo where id >10 and id

20 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Security Enhanced (SE) PostgreSQL (?) Совместимость с SELinux Мандатная политика доступа Нет привилегированного пользователя Контроль доступа на уровне записей, колонок

21 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Security Enhanced PostgreSQL

22 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Security Enhanced PostgreSQL

23 Российская группа пользователей PostgreSQL Корпоративные БД 2008 PostgreSQL 8.4: plans Column level privileges (?) GRANT, REVOKE on INSERT,UPDATE, REFERENCES. SELECT не поддерживается \z (\dp) показ в psql Stored procedures stats Call counts, duration,... =# select * from pg_stat_user_functions ; procid | schemaname | procname | nargs | calls | total_time | total_cpu | self_time | self_cpu | public | f1 | 0 | 4000 | | 8352 | | | public | f2 | 0 | 2000 | | 8364 | | | public | f3 | 0 | 1000 | | 8364 | 9 | 0 (3 rows)

24 Российская группа пользователей PostgreSQL Корпоративные БД 2008 Дополнительные ссылки TODO-список (Бартунов, Сигаев) WildSpeed Gevel Waiting for 8.4 by depesz (Hubert Lubaczewski)

25 Российская группа пользователей PostgreSQL Корпоративные БД 2008 Дополнительные ссылки Dead Space Map 12/msg01188.php 12/msg01188.php Visibility Map 11/msg00142.php Segment Visibility Map Dynamic Partitioning 01/msg00028.php