Распределенные файловые системы: обзор Докладчик: Тюлькин Антон, кафедра СП ВМиК МГУ Доклад

Предпосылки развития Необходимость работать с удаленными данными Совместная работа с данными

Andrew FS Server (Vice) Server (Vice) Server (Vice) Client (Venus) Client (Venus) Client (Venus) Client (Venus) Volume Location Database на каждом сервере Все клиенты видят единое глобальное пространство имен

Кэширование на клиенте Файл целиком кэшируется на клиенте в момент открытия Нет обменов с сервером до закрытия файла Другие клиенты увидят изменения только тогда, когда файл будет закрыт

CIFS, NFS SMB, NFS – не распределенная файловая система, а протокол удаленного доступа к файловой системе Не рассматривают важные аспекты РФС Общего назначения

Дальнейшая эволюция Рост объема хранимых данных Необходимость выполнять операции над большими объемами данных Доступ к данным не смотря на географическую удаленность

Создание новых систем HPC (high performance computing) DISC (data-intensive scalable computing) SRB (storage resource broker) Отдельный интерес к системам построенным на базе стандартных машин –отказоустойчивость

Что ожидает пользователь Единое глобальное пространство имен Стабильность (надежность хранения/доступность данных) Производительность Корректность операций (выполнение гарантий)

Внутренние механизмы Способы хранения данных и метаданных Методы дублирования данных/ресурсов Кэширование данных, распараллеливание операций Методы работы с разделяемыми ресурсами

DISC Основные характеристики –Хранение огромных объемов данных –Выполнение длительных заданий (batch jobs) Часто используется MapReduce парадигма Использование дешевого оборудования Примеры –Google File System –Hadoop –Amazon S3

Ослабление семантики Использование определяет архитектуру и гарантии Пример: GFS операции записи в конец (append) может породить дубликаты записей, паддинг регионы.

Архитектура GFS Single Master Chunk Server Chunk Server Chunk Server Chunk Server Client Информация о файле Обмен данными Реплика 1 Реплика 2 Реплика 3

Отсутствие кэширования в GFS Ни клиент, ни чанк-сервер не осуществляют кэширование данных –Упрощает реализацию –Не проблема при потоковой обработке данных

HPC Эффективные вычисления и обработка данных для научных приложений Особенности –Параллельная обработка данных –Более дорогое оборудование (и соответственно более надежное) –Часто используется MPI Примеры –GPFS (IBM) –PVFS –Lustre (SUN)

GPFS Shared Disk Shared Disk Shared Disk File System Node File System Node File System Node Switching Fabric Блочный интерфейс доступа part1part2part3 файл

GPFS Один распределенный менеджер блокировок –атомарность операций чтения/записи –консистентность кэшей –исключение: atime Альтернативный режим – узел отвечает за блок, все запросы идут на соответствующий узел Используется упреждающая загрузка данных, с учетом структуры доступа (например, последовательная); можно дать подсказки

PVFS I/O сервера узлы используют локальную ФС для хранения частей файлов Нет никаких блокировок, но каждая субоперация должна быть атомарной по отношению к файловой системе Несколько серверов метаданных

GPFS Locking vs PVFS non-locking Преимущества не-блокировок –Проще реализовать –Меньше задержек (меньше обменов сообщениями) –Нет состояния (проще восстанавливать после сбоев) Недостатки –Не POSIX семантика –Нужно делать сборку мусора

Lustre POSIX семантика (c минимальными исключениями) В ранних версиях: один сервер метаданных (+ один запасной) Полагаются на надежные диски (RAID), в будущих версиях планируются разбиение данных с использованием механизмов избыточности Распределенные «целевые» блокировки –можно ли кэшировать операции с метаданными

CEPH РФС общего назначения Несколько серверов метаданных, учитывается популярность метаданных для динамической репликации Данные реплицируются на несколько OSD (object storage device) Поддерживает POSIX, но расширяет интерфейс

POSIX vs HPC POSIX разрабатывался для одномашинных систем, с единым пространством виртуальной памяти и простым периферийным устройством хранения данных Исследования экспертов HPC показали, что использование POSIX не позволяет эффективно использовать имеющиеся ресурсы

HPC нагрузки Одновременный доступ к одному файлу несколькими клиентами Непоследовательный доступ к файлу Активное использование операций с метаданными (например параллельное создание файлов в директории)

Пример расширения POSIX Readdirplus (nfs3) Openg, Openfh Statlite Writex, Readx

SRB Используется в большой, разнородной среде, используемой различными комьюнити Стандартные задачи –Найти данные –Получить данные –Как можно больше упростить жизнь клиента Особенности GRID –Разные форматы данных, разные хранилища данных –Разные сетевые топологии, технологии, методы доступа

SRB MCAT (metadata catalog) – URL – SQL –пути к файлам –и т.д. Драйверы для разных хранилищ данных Новые задачи: –Виртуализация доступа –Доступ к физически удаленным ресурсам –Работа через файерволы и т.п.

Тенденции в РФС Использование более интеллектуальных единиц хранения (например, OSD) Разделение данных и метаданных Упрощение механизмов обновления, создания файловой системы

Cloud computing Сервисы хранения (Amazon S3) Создание private cloud WAN РФС: XtreemFS, WheelFS

Wheel FS Основные принципы – Децентрализация – У каждого приложения свои потребности Способ – Управлять семантикой доступа к файлу /wfs/rtm/.anyversion/data /wfs/rtm/.latestversion/data – Давать подсказки системе WriteOnce – Локальные операции записи, чтение наподобие BitTorrent

Новая РФС от Google Существующие недостатки – Специальное поведение Например, записи в конец файла могут появляться в разном порядке, что неожиданно для программистов – Нет оптимизаций для real-time приложений – Один мастер Проблема с большим количеством файлов Неприемлемый простой в результате сбоя – Большой размер чанка Не эффективно работать с маленькими файлами

Много других задач Создание снапшотов Права доступа Оптимизация операций (например, collective IO) Синхронизация реплик

Конец Спасибо за внимание