Кеширование информационных потоков и стратегия оптимизации маршрутов в распределенных системах кеш-серверов С.А. Крашаков, Л.Н. Щур Институт теоретической. - презентация

1 Кеширование информационных потоков и стратегия оптимизации маршрутов в распределенных системах кеш-серверов С.А. Крашаков, Л.Н. Щур Институт теоретической физики им. Л.Д. Ландау

2

3 Cache-mesh

4 Протоколы, используемые кеш-серверами Взаимодействие между кеш-серверами – Internet Cache Protocol (ICP)(RFC 2186, 2187) – Hyper Text Caching Protocol (HTCP)(RFC 2756) – Cache Digest- squid only – Cache Array Routing Protocol (CARP) Взаимодействие между элементом сети (маршрутизатор, L4-коммутатор) и кеш-сервером – Web Cache Control (Coordination) Protocol (WCCP) – Network Element Control Protocol (NECP) - proposed draft

5 Кеширующие прокси-серверы, подерживающие ICP Harvest (1994) – первый сервер с поддержкой ICP. Прекратил развитие в конце Потомки – Netcache и Squid. Cached-2(3) (Netcache) – коммерческий потомок Harvest cached, выпускавшийся в гг. В настоящее время полностью интегрирован в продукты Netcache фирмы Network Appliance. Squid ( (1996) Oops ( Wcol: WWW Collector – Prefetching proxy-server for WWW (1994) ( KOTETU ( – prefetching прокси- сервер, потомок Wcolhttp://infonet.aist-nara.ac.jp/products/kotetu/ Microsoft Proxy-server ( Microsoft Internet Security and Acceleration Server (

6 Постановка задачи Можно посылать запросы напрямую или одному из parent. - Домены не являются компактными, поэтому поддерживать access list по множеству доменов - практически нереально. - Использование маршрутизации по AS - сложнее в реализации и также сложно в поддержке. - Маршрутизация изменяется динамически - Загрузка каналов неодинакова во времени Имеется прокси-сервер в Черноголовке и возможные parents - FREEnet, RSSI, OSI, NLANR. Требуется минимизировать время ожидания пользователей.

7 Фрагмент netprobe database / www-cache.chg.ru ikia.ru.ircache.net sd.cache.nlanr.net pb.cache.nlanr.net / fortran.org.ru itp.ac.ru ikia.ru.ircache.net sd.cache.nlanr.net / alpclub.ru ikia.ru.ircache.net / ikia.ru.ircache.net ikia.ru.ircache.net pb.cache.nlanr.net sd.cache.nlanr.net / optics.npi.msu.su ikia.ru.ircache.net sd.cache.nlanr.net bo.cache.nlanr.net / ftp.mcs.anl.gov uc.cache.nlanr.net pb.cache.nlanr.net bo.cache.nlanr.net sd.cache.nlanr.net ikia.ru.ircache.net / science.springer.de link.springer.de uc.cache.nlanr.net sd.cache.nlanr.net ikia.ru.ircache.net pb.cache.nlanr.net / sv.cache.nlanr.net uc.cache.nlanr.net pb.cache.nlanr.net sd.cache.nlanr.net ikia.ru.ircache.net

8 Поддержка измерений ICMP RTT, netprobe database и ICP v2 (с поддержкой ICP_FLAG_HIT_OBJ) появилась в Squid (1997) На сегодня нам неизвестны работы, в которых бы проводилось сравнение эффективности указанных алгоритмов Использование данного алгоритма позволяет: автоматически выбирать кратчайший (в смысле RTT) маршрут до источника информации обеспечить балансировку загрузки между несколькими каналами связи

9 Стандартный SquidМодификация t pd t od t op + t pd t od Предлагаемая модификация Squid

10 Допустим, имеется 2 различных стратегии выбора маршрута кеш-сервером 1. Как их можно сравнивать и определить условия, при которых та или иная стратегия будет предпочтительней? 2. Будет ли измерения воспроизводимыми или нет ? 3. Если да, то какова их точность? 4. Или, иными словами, как долго должны проводиться измерения, чтобы получить требуемую точность (например, 5%) Основные трудности: естественная периодичность активности пользователей все элементы сети постоянно меняются, модернизируются, и т.п. эволюция коннективности как таковой по каким критериям делать сравнение: TLD? AS? URL?

11 Эксперимент 1 (январь-февраль 2000)

12 Отношение средней скорости получения информации с использованием и без использования parent кеш-серверов для различных доменов

13 Cache triangle

14 Число запросов к различным доменам за 3 недели (симметричный треугольник, декабрь 2000) N = TLD -2.34(5)

15 Асимметрия в числе запросов для симметричного треугольника

16 nl cz cafipt Распределение трафика, обслуженного левым ( ) и правым ( ) серверами, по доменам (в двойном логарифмическом масштабе) N = TLD -2.25(16)

17

18 Средний размер документов в измерении на симметричном треугольнике

19 Средняя скорость получения документов (кбит/сек) для симметричного треугольника

20 Средний размер документов в эксперименте с асимметричным треугольником

21 Средняя скорость получения документов (кбит/сек) для асимметричного треугольника

22 Средняя скорость получения документов (кбит/сек) для асимметричного треугольника (после подстройки конфигурации)

23 Отношение средней скорости получения информации с использованием и без использования parent кеш-серверов (после подстройки конфигурации асимметричного треугольника)

24 Заключение 1. Предложен модифицированный алгоритм выбора маршрута получения информации в распределенной системе кеш-серверов, который: - позволяет в среднем повысить скорость получения информации - не требует априори информации о коннективности - гибко подстраивается при нарушениях в маршрутизации - позволяет выравнивать загрузку между разлтчными каналами связи 2. Предложены экспериментальные подходы для сравнительного изучения различных стратегий кеширования и кеш-маршрутизации. Представлены предварительные результаты измерений 3. Показано, что сравнительные измерения весьма полезны для обнаружения неточностей в конфигурации распределенной сети кеш-серверов, выявления узких мест и оптимизации работы сети.

25 Работа выполнена частично при поддержке РФФИ (гранты , , и ) и МНТ РФ (проект НСКТ-НВШ)