UA-IX Новые технологии и возможности Сети Сергей Полищук 29 мая 2009 г.

IPv6

Пул 32bit IPv4 адресов состоит из 220 /8 (36 reserved by IETF) IANA -> RIR -> LIR -> End User 190 из 220/8 уже выданы. Ожидаемая дата исчерпания адресного пула IANA: 13 Июня 2011

Правление ИнАУ приняло решение: 3.4. провести тестування впровадження ipv6 unicast з Учасниками Мережі на добровільній основі на базе RS-I началось тестирование. Четверо Участников сделали это: Топнет, Датагруп, Нетассист, УНТ Для участия в эксперименте нужно лишь сообщить по адресу следующие параметры: - номер своей автономной системы - список анонсируемых префиксов ipv6 - мак-адрес маршрутизатора и идентификатор своего порта включения в UA-IX (для тех у кого более одного порта включения)

BGP router identifier , local AS number BGP table version is 49, main routing table version 49 4 network entries using 624 bytes of memory 4 path entries using 304 bytes of memory 3779/4 BGP path/bestpath attribute entries using bytes of memory 3438 BGP AS-PATH entries using bytes of memory 164 BGP community entries using 4408 bytes of memory 0 BGP route-map cache entries using 0 bytes of memory 0 BGP filter-list cache entries using 0 bytes of memory Bitfield cache entries: current 4 (at peak 5) using 124 bytes of memory BGP using total bytes of memory Dampening enabled. 0 history paths, 0 dampened paths BGP activity 6941/3705 prefixes, 38762/32815 paths, scan interval 60 secs Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd 2A02:280:0:FFFF:: w2d 1 2A02:280:0:FFFF:: w2d 1 2A02:280:0:FFFF:: w2d 1 2A02:280:0:FFFF:: w2d 1 BGP table version is 49, local router ID is Status codes: s suppressed, d damped, h history, * valid, > best, i - internal, r RIB-failure, S Stale Origin codes: i - IGP, e - EGP, ? - incomplete Network Next Hop Metric LocPrf Weight Path *> 2A01:D0::/32 2A02:280:0:FFFF:: i *> 2A01:758::/32 2A02:280:0:FFFF:: i *> 2A02:70::/32 2A02:280:0:FFFF:: i *> 2A02:CF0::/32 2A02:280:0:FFFF:: i

В чем отличие? Multicast neighbor discovery вместо ARP, Multicast router advertisement (RA) вместо default route Другой синтаксис написания адресов. 2001:db8::/32 = 2001:0db8:0000:0000:0000:0000:0000:0000/32 Каждый интерфейс уже имеет link local address FE80:: /10

Формат глобального IPv6 адреса: Казалось бы, имеем 128 бит вместо 32, но реально… LIR получает блок /32, префикс которого занимает 28bit: : : :/32 Начиная с /64 начинает работать механизм Stateless Autoconfiguration. Клиентское устройство самостоятельно присваивает себе глобальный адрес, приписав к изученному RA свой мак-адрес, автоматически лишая нас возможности использования 64 бит для указания фиксированного адреса. Еще 19 бит уходят на «001» и SLA, остается лишь 48… Отнимаем еще 28 бит занимаемых собственно префиксом и получаем, что LIR может распоряжатся лишь 20 битами адреса, т.е. владеет 1 миллионом адресов (как IPv4 /12)

Особенности передачи данных на скоростях >1GE

FLOW Control

В 1997-м году сервера были недостаточно быстрыми и тогда, при разработке стандарта GigabitEthernet в спецификацию был добавлен механизм приостановки передачи трафика flow-control (IEEE 802.3x). В случае, если принимающая сторона не способна принимать трафик, она отправляет фрейм на специальный малтикастовый адрес: 01:80:c2:00:00:01 В отличие от протокола TCP, данная функциональность работает на уровне одного линка (между двумя интерфейсами) и не зная информации о состоянии всей сети, блокирует весь трафик на интерфейсе, дублируя при этом более эффективный механизм протокола TCP, умеющий управлять скоростью передачи отдельных сессий в зависимости от множества параметров актуальных на участке между любыми отправителями и получателями данных в глобальных сетях.

Чаще всего проблемы возникают в коммутаторах работающих одновременно на нескольких скоростях. Например, в UA-IX для подключения Участников доступны скорости 100/1000/ Гипотетически, при попытке передачи информации на максимальной скорости из порта в порт 1000, должен срабатывать механизм ethernet flow control. На практике, ввиду неоднозначности понимания данного механизма разными производителями, последствия срабатывания flow control непредсказуемы. Как правило блокируется прохождение легитимного трафика, а не только того, который привел к перегрузке. Чаще всего срабатывание механизма выглядит как понижение реальной пропускной способности всех портов до уровня скорости самого медленного порта коммутатора. Например, в такой ситуации на всех портах коммутатора Foundry BigIron будет выставлен статус блокировки всего входящего трафика. Дешевые неуправляемые коммутаторы без поддержки протокола IEEE 802.3x таят в себе еще больше опасности, т.к. Pause Frame будет ретранслирован во все порты такого коммутатора как и положено для малтикаста, что приведен к блокировке всех портов устройств подключенных ко всей цепочке таких коммутаторов.

Как правило, современные коммутаторы известных производителей обеспечивают передачу всего трафика на полной скорости порта, что минимизирует вероятность срабатывания flow-control. Большинство Участников UA-IX работают именно с таким оборудованием, тем не менее, за год мы наблюдали около 3-4 случаев "залипания« 10GE портов вызванных феноменом flow-control. Текущая статистика портов Участников которые активировали у себя flow-control: Port Flow Cntrl DG ASYM ETT SYM Kancom SY/ASY Ukrsat SYM volz ASYM Navigato> ASYM LuckyNet SYM Techsyst>SY/ASY Citius SY/ASY Navigato> ASYM United ASYM VikaTV ASYM UMC SY/ASY Wimax SY/ASY Astelit SY/ASY Kumirtel> SYM Lviv.Net SY/ASY Cosmonov>SY/ASY Merlin SY/ASY Mobicom SYM Adamant SYM Intertel SYM Tenet SY/ASY Хорошая новость. В версии XOS работающей сейчас на BD8810 появилась возможность блокировать прохождение фреймов flow-control в обоих направлениях и теперь сеть UA-IX защищена даже от единичных непредсказуемых срабатываний. Вывод: крайне НЕ РЕКОМЕНДУЕТСЯ отрабатывать Pause Frames на уровне ядра сети. Наиболее верное решение – распознавать такие фреймы и игнорировать их.

JUMBO

Jumbo - так звали гигантского слона из Африки ( ) прославившегося в Париже и Лондоне. Но какое отношение имеют слоны к сети UA-IX и почему мы об этом говорим?

С момента своего появления (~1980) размер Ethernet-фреймов всегда был Jumbo frame - это любой Ethernet frame размеры полезной нагрузки которого превышают обычные 1500 байт. Данное понятие доступно только для сетей работающий на скоростях 1000 и выше. Интересно, что данное понятие не вошло в стандарт IEEE 802, и каждый из производителей выбирает свой максимальный размер фреймов доступных на его оборудовании, но все же федеральные сети США совместно с проектом Internet2 популяризовали значение MTU 9000 для Jumbo-фреймов на своих сетях, хотя теоретически фрейм можно было бы растянуть до байт (ограничение IPv4). Почему 9000? Причины две: алгоритм 32 bit CRC теряет свою эффективность при размеру >12000, 8Kб фрейм протокола NFS помещается в Коммутаторы Extreme Networks, а также сеть UA-IX поддерживают размер 9216 байт.

Зачем это нужно? При прохождении каждого пакета по сети передачи данных, на каждом из активных устройств анализируется заголовок в котором указана информация об отправителе и получателе, а затем, принимается решение о том, куда пойдет этот пакет дальше. Использование jumbo frames означает, что через сеть будет передаваться намного меньше пакетов, что приведен к снижению нагрузки как на процессор, так и увеличит полезную пропускную способность каналов. Один фрейм 9000 заменяет 6 обычных 1500-байтных, уменьшая нагрузку на сеть в пять раз, а также сокращая объем передаваемой служебной информации на 290=((5*(40+18)) байт для каждого TCP/IP пакета. 1GE не способен пропустить более стандартных пакетов – он будет полностью забит, заставляя процессор или сетевую Карту принимать решение о передаче данных раз в секунду. В случае с 9К-пакетами получим всего 13900pps и дополнительно 32Mbps реальной полосы освобожденной от оверхеда.

Проблемы? Маркетологи производителей процессоров и маршрутизаторов против. Эффективно только если в цепочке устройств все используют Jumbo. Если слон попытается залезть в бутылочное горлышко, требуется Механизм его гарантированного прохождения. К сожалению, описанный в RFC 1191 & 1981 path MTU discovery не всегда работает из-за фильтрации ICMP некоторыми провайдерами – требуется поддержка альтернативного механизма RFC 4821 robust path MTU discovery. Решив эти проблемы, возможно смешение сетей с произвольными MTU, что позволит значительно снизить нагрузку на сетевое оборудование.

Одна из причин задержки появления стандарта 100GE заключается в попытке сохранить старый малый размер MTU, но наталкивается на физические ограничения, т.к. на обработку одного фрейма требуется потратить не более 0.12 uS, т.е. от интерфейса ожидают производит ельность в 1000 более высокую, чем для FastEthernet, но технологические процессы производства микрокристаллов за 15 лет подняли производительность лишь в сотни раз. Переход на размер пакета в 64К позволил бы запустить 100GE на той же дешевой элементной базе, которая сейчас используется для 1GE. IPv6 дает возможность в будущем еще больше увеличивать размер MTU: Текущие параметрыАльтернатива v6Альтернатива v4 SpeedYearMTUWire TimeMTUWire TimeMTUWire Time kB1200 uS kB120 uS9 kB720 uS4.3 kB433 uS kB12 uS64 kB512 uS9 kB72 uS kB1.2 uS150 kB120 uS64 kB51.2 uS uS1.5 MB120 uS64 kB5.12 uS MB120 uS64 kB0.512 uS

Эффективное подключение на скорости 10GE к UA-IX

20 января :12:26 – с этого момента, в сети UA-IX появился новый центральный коммутатор Extreme Networks Summit X650, целевое назначение которого - подключение оборудования UA-IX и Участников интерфейсами 10GE. В состав устройства входит 24 порта 10GE формфактора SFP+ Дальнейшее расширение возможно путем каскадирования X650 до 176 портов 10GE. Таким образом, после установки первого коммутатора X650, потенциальная емкость сети UA-IX выросла с 536 до 780Gbps с возможностью дальнейшего расширения до 2296Gbps. С этого момента, при подключении на скорости 10GE, на технической площадке DG, от Участника будет требоваться предоставление оптического модуля формфактора SFP+ Поскольку на уровне оптического сигнала обеспечивается interoperability, на оборудовании самого Участника, кроме нового SFP+ может использоваться также любой из форматов 10GBASE XENPAK, 10GBASE X2, 10GBASE XFP.

Справочная сравнительная информация по ценам на оптические модули: Part-N GPL Name Description $ GBASE-SR SFP+ up to 300 meters Multimode Fiber $ GBASE-LR SFP+ up to 10 km Singlemode Fiber $126 10GBASE-CR SFP+ 1m pre-terminated twin-ax copper cable $173 10GBASE-CR SFP+ 3m pre-terminated twin-ax copper cable $210 10GBASE-CR SFP+ 5m pre-terminated twin-ax copper cable $252 10GBASE-CR SFP+ 10m «Старые» модули формата XFP несколько дороже: $2096 SR XFP 10GBASE-SR XFP up to 300 meters Multimode Fiber $3147 LR XFP 10GBASE-LR XFP up to 10 km Singlemode Fiber Те участники, оборудование которых находится на расстоянии менее 10 метров до стойки 1-2 на площадке DG, могут значительно сэкономить путем использования специальных пассивных патчкордов стандарта 10GBASE-CR. В случае использования такого патчкорда, полностью отпадает необходимость в дорогостоящих оптических модулях и стоимость организации канала связи 10GE фактически снижается более, чем в 10 раз.

Технология SFP+ поддерживается ведущими производителями: Extreme Networks, Cisco Systems (только новые серии коммутаторов), Force Extreme Networks для своих коммутаторов Summit X450a/e и X350 производит новый модуль расширения XGM2-2sf на два порта SFP+. При желании, любой из 15 участников уже подключенных к ua-ix модулем XFP, может быть переключен на новый коммутатор ua-ix путем простой замены оптических модулей. С одной стороны, это позволит Участнику использовать более дорогой модуль для развития собственной сети, а с другой – возможность дальнейшего расширения скорости своего подключения до 80GE (с шагом 10GE).

UA-IX сегодня

2009 май EAPS protected ring, 10GE SFP+

Май 2009

IX и Европа

2009 monthly fees UA-IXPLIXMSKLINXAMS-IXDE-CIX 100M G G Цена 10GE в UA-IX (13 копеек за мегабит) дешевле, чем 100M FE в любой Европейской точке обмена трафиком. Это одна из причин феномена «бесплатного» украинского трафика. Аналогичное дорогостоящее оборудование используется в: LINX - Лондон, CIXP - Женева, FICIX - Хельсинки. * - перевод валют в Euro выполнен с использованием Bloomberg calculator 10/02/2009.

Основные результаты за год Понижена себестоимость подключения на скорости 10GE путем установки дополнительного коммутатора X650 на 24 порта SFP+. SFP+ дешевле XFP в 1.5 раза, а на расстоянии до 10 м – более, чем в10 раз! Повышена надежность сети путем резервирования основных элементов (2xBD-8810, 5хPS, 2xUPS, 2xRS, Nx10GE каналы, для BD-8810 все модули зарезервированы) 10GE стал таким же привычным как 1GE. Число включений 10GE превышает число 100FE Защита каналов по протоколу EAPS (

Спасибо за внимание!

Приятного аппетита!