Винников Олег. NET Developer. Почему NoSQL Особенности NoSQL решений Модели данных NoSQL Масштабирование MongoDB.

Презентация:



Advertisements
Похожие презентации
BigData изнутри: технологии и алгоритмы Александр Сербул руководитель направления, разработчик Партнерская конференция «1С-Битрикс»
Advertisements

NoSQL – взрыв возможностей Алексей Солнцев, iForum, 17 апреля 2012.
Почему не MongoDB Сергей Туленцев. MapReduce Медленный Однопоточный.
Докладчик – Альперин Борис NOT ONLY SQL NOSQL 1. Различные модели представления информации: иерархическая, сетевая, реляционная, объектная, … Реляционная.
Как Map/Reduce спас Яндекс.Статистику. Background Взрывной рост объема данных, за 8 лет объем дневных данных вырос в 2000 раз с 2ГБ до 4ТБ Скорости процессоров,
Разработка высоконагруженных проектов (например – сайтов для сообществ) Олег Бунин.
Разработка высоконагруженных проектов Олег Бунин.
Павел Светличный Senior iOS Developer Svitla Systems Киев, Построение кластера на базе Apache CouchDB.
Пошаговый алгоритм разработки высоконагруженной системы Олег Бунин
NOSQL NoSQL (англ. not only SQL, не только SQL) Обозначает ряд подходов, проектов, направленных на реализацию моделей баз данных, имеющих существенные.
Медиа-архив Фонд «Сорос-Кыргызстан» Султан Иманходжаев.
Ключ-значение. Обзор лекции 1.Ключ-значение 2.Колоночные 3.Документо-ориентированные 4.Графовые 2.
Как увеличить скорость работы проекта путём оптимизации архитектуры БД
1С-Битрикс: Управление сайтом 10.0 Веб-кластер.
Веб-кластер, планы по развитию, распределенный веб-кластер Максим Смирнов ведущий разработчик.
Учебник по построению высоконагруженных систем Олег Бунин.
Реализация концепции построения и формирования отраслевой системы государственного учета, регистрации и мониторинга (ОСГУРМ) информационных ресурсов сферы.
ECMECM Набор документов (Document Set) Уникальный идентификатор документа (Document ID) Управление корпоративными метаданными Enterprise Content Types)
Репликация – это процесс создания и поддерживания копии объектов базы данных на удаленном сервере.
SharePoint 2010 Докладчик: Илья Бойко, MCTS Разработчик SharePoint, Компания UMSoft
Транксрипт:

Винников Олег. NET Developer

Почему NoSQL Особенности NoSQL решений Модели данных NoSQL Масштабирование MongoDB

Теорема CAP (Брюера)

Гибкая модель данных

Twitter – генерирует 2 Петабайта/год Twitter – генерирует 2 Петабайта/год Большие данные Google – обрабатывает 24 Петабайта/день Google – обрабатывает 24 Петабайта/день Facebook – 1.5 Петабайта фотографий Facebook – 1.5 Петабайта фотографий

MapReduce

Счет, пожалуйста! Enterprise – $/процессор Parallel DW– $/процессор Parallel DW– 11 серверов/22 процессора Enterprise $/сервер

Column Families Super Column FamilyColumn Column FamilyKey Space Users UserTweets Tweets

Асинхронная запись данных Асинхронная запись данных Отказоустойчивость при разделении Отказоустойчивость при разделении Решения поддержки согласованности Решения поддержки согласованности Слабая согласованность Слабая согласованность

Key – Value Databases Простейщая структура данных Простейщая структура данных Низкие задержки Низкие задержки Виртуальная память = хранилище Виртуальная память = хранилище

Типы : Строки, Списки, Хэши Типы : Строки, Списки, Хэши Собственная виртуальная подсистема Собственная виртуальная подсистема Устойчивость Устойчивость

Репликация Redis Клиент Мастер Слейв Чтение Слейв Запись Чтение

Документы (BSON), Коллекции Документы (BSON), Коллекции Отображение файлов в память Отображение файлов в память Индексы (внутренние, по массиву) Индексы (внутренние, по массиву) Агрегация (MapReduce) Агрегация (MapReduce)

Искусство масштабирования MongoDB

Сильная согласованность Клиент Слейв Запись Чтение Мастер Слейв

Слабая согласованность Клиент Мастер Слейв Запись Чтение

Шардинг – быстрый старт 1. Запустить сервер с метаданными и роутер 1. Запустить сервер с метаданными и роутер 2. Включить шардинг 4. Добавлять шарды 3. Выбрать ключ и колекцию для шардинга

Шардинг и репликация

Спасибо за внимание ! Skype : dinoh4 Twitter :