Всеволод Дёмкин vseloved@gmail.com Новые нереляционные системы хранения данных. - презентация

1 Всеволод Дёмкин Новые нереляционные системы хранения данных

2 Зачем всё это нужно? оно в облаке обещание масштабируемости много интересных идей как ни странно, это работает :)

3 Ландшафт средств хранения до Web Текстовые файлы Иерархические БД навигационные Реляционные БД Сетевые БД Объектные БД BerkleyDB

4 (с) artlebedev.ru NOSQ L постоянные хеш-таблицы колонко- ориентированные документо- ориентированные БД для графов

5 Наш случай 4 млн. пользователей 20 тыс. API / час 1 API запрос ~ … сек 40 сек чтобы дать ответ пользователю БД КЕШ: волатильность списки рекомендации DB

6 Постоянные ХТ BerkleyDB memcached memcachedb Tokyo Cabinet + Tyrant Redis Voldemort Amazon SimpleDB

7 Redis списки, множества, сортированные множества, … волатильность (EXPIRE, TTL) очень быстрый (110k SET/sec, 81k GET/sec) но жрет много памяти не дружит с остальными очень быстро развивается

8 Документо-ориентированные БД не очень быстро простое взаимод. только MapReduce стабильная! так себе админ. хорошая док. очень быстро взаимод. сложнее MapReduce + Dynamic есть баги удобная админ. так себе док.

9 API для взаимодействия raw sockets JSON HTTP REST Thrift (binary protocols)

10 Действительно распределенные CAP-теорема Брюэра Consistency Availability Partition tolerance

11 Колонко-ориентированные БД Google BigTable Facebook Cassandra HBase

12 Cassandra BigTable-база Dynamo-архитектура супер-колонки уровни Consistency P2P-распределенный: Gossip но Thrift

13 Сложность фичастость plain-text memcachedTokyo Redis Berkley Couch Mongo Voldemort Cassandra HBase

14 За счет чего масштабируются? HT non-blocking IO (iolib) DODB Join'ы уже сделаны MapReduce СODB архитектура

15 Take-away самое главное (как по мне):

16 Плюсы + некоторые действительно масштабируются + а другие быстро работают :) + есть специфические решения для некоторых задач + есть хорошие архитектурные решения

17 Минусы - незрелые - хайп - не до конца понятно - библиотеки, инструменты еще недоразвиты

18 «Литература» nosql-if-only-it-was-that-easy/ my-thoughts-nosql/ hbase-vs-cassandra-why-we-moved/ Getting_Real_about_NoSQL_and_the_SQL_ Isnt_Scalable_Lie/