Производительность вычислительных систем рост производительности EDSAC, 1949, Кембридж Hewlett- Packard V2600 время такта 2 микросекунды можно было выполнить. - презентация

1 Производительность вычислительных систем рост производительности EDSAC, 1949, Кембридж Hewlett- Packard V2600 время такта 2 микросекунды можно было выполнить 2*n операций за 18*n миллисекунд 100 операций в секунду время такта 1.8 наносекунды пиковая производительность около 77 миллиардов операций в секунду семьсот миллионов раз 2× ×10 -9

2 MIPS отношение количества команд в программе к времени ее выполнения Проблемы: 1. MIPS зависит от набора команд процессора, что затрудняет сравнение по MIPS компьютеров, имеющих разные системы команд 2. MIPS даже на одном и том же компьютере меняется от программы к программе 3. MIPS может меняться по отношению к производительности в противоположенную сторону.

3 Классическим примером для последнего случая является рейтинг MIPS для машины, в состав которой входит сопроцессор плавающей точки. Команда с плавающей точкой много тактов синхронизации Программы сопроцессор выполняются быстрее меньше подпрограмм меньше рейтинг MIPS Оптимизирующие компиляторы сокращается количество команд увеличивается производительность рейтинг MIPS уменьшается

4 IBM RS 6000 MIPS Whetstone 1 RS/6000 MIPS 1,6 VAX 11/780 MIPS составлен из синтетических тестов, разработанных с использованием статистики распределения инструкций промежуточного уровня компилятора Whetstone Algol, собранной на основе большого количества вычислительных задач. H. J. Curnow и B. A. Wichmann, (National Physical Laboratory) 1976 г несколько модулей, имитирующих программную нагрузку в наиболее типичных режимах исполнения вычислительных задач. Каждый модуль выполняется многократно, в соответствии с исходной статистикой Whetstone-инструкций Различия в Whetstone-характеристиках редакций 1976 и 1988 г. могут достигать 20%.

5 Комплект тестов Whetstone состоит из нескольких модулей, имитирующих программную нагрузку в наиболее типичных режимах исполнения вычислительных задач (целочисленная арифметика, арифметика с плавающей точкой, операторы типа IF, вызовы функций и т.д.). Каждый модуль выполняется многократно, в соответствии с исходной статистикой Whetstone-инструкций (практически это реализуется с помощью заключения модулей в циклические конструкции с разным числом "оборотов" цикла - от 12 до 899), а производительность рассчитывается как отношение числа Whetstone-инстpукций к суммарному времени выполнения всех модулей пакета. Этот результат представляется в KWIPS (Kilo Whetstone Instructions Per Second) или в MWIPS (Mega Whetstone Instructions Per Second). В известном смысле указанные единицы аналогичны MIPS, но с одной существенной оговоркой: Whetstone-инструкции не привязаны к системе команд какого-либо компьютера, т. е. оценка производительности в MWIPS является модель независимой. Различия в Whetstone-характеристиках редакций 1976 и 1988 г. могут достигать 20%. Пакет Whetstone ориентирован на оценку производительности обработки чисел с плавающей точкой: почти 70% времени выполнения Fortran-версии теста на компьютере VAX 11/785 (компилятор BSD 4.3 Fortran) приходится на "плавающую" арифметику

6 Большое число обращений к библиотеке математических функций, заложенное в тесты Whetstone, требует особой осторожности при сравнении результатов, полученных для разных компьютеров: фирмы-изготовители имеют возможность оптимизировать оценку Whetstone, внося изменения в библиотеку. Во всяком случае, нужно помнить, что тесты Whetstone дают надежные ориентиры только в отношении задач с большой интенсивностью использования стандартных математических функций. Поскольку тестовые модули Whetstone представлены очень компактным исполнительным кодом (весь пакет Whetstone в C-версии занимает около 2 Кбайт кода), для современных процессоров они не позволяют оценить эффективность механизма динамической подкачки команд в кэш инструкций: любой модуль Whetstone целиком размещается в кэш-памяти даже самой малой емкости. Особенностью описываемых тестов является почти полное отсутствие локальных переменных. Поэтому оценки Whetstone в значительной степени зависят от эффективности функционирования ресурсов компьютера, обеспечивающих доступ к оперативной памяти и буферизацию данных в пpоцессоpе (включая количество регистров, емкость кэш-памяти данных и механизм ее замещения), а также от качества реализованных в компиляторе оптимизирующих алгоритмов размещения глобальных переменных в регистрах. Однако это же обстоятельство делает тесты Whetstone практически нечувствительными к средствам повышения эффективности работы с локальными переменными (например, динамическое переключение регистровых окон MORS в процессорах SPARC почти не сказывается на величине Whetstone-оценки). Единственная "официальная" версия тестов Whetstone - это Pascal-версия (Pascal Evaluation Suite), зарегистрированная Британским обществом стандартов (British Standards Institution - Quality Assurance, BSI-QAS). Остальные варианты (в частности, на языке Fortran) существуют лишь де-факто. Кроме того, в 1988 г. в обращение была введена модернизированная Pascal-версия Whetstone, которая отличается от первоначальной редакции меньшим содержанием вспомогательных действий типа распечатки результатов, не имеющих отношения к измеряемой производительности, а также некоторым изменением веса тестовых модулей в результирующей оценке.

7 WhetStone (от 97 г): Athlon 1333, FSB266, L1 cache 128Kb,L2 cache 256Kb Loop content Result MFLOPS MOPS Seconds N1 floating point N2 floating point N3 if then else N4 fixed point N5 sin,cos etc N6 floating point N7 assignments N8 exp,sqrt etc MWIPS Зависимость от языка, на котором реализован тест: AM386/40 Pentium Pentium PentPro PentPro VAX MIPS VAX MIPS /386 VAX MIPS /386 Qbasic Visual Basic Visual Basic C++ no opt C++ in-line

8 VAX 11/780 компании DEC 1 MIPS Dhrystone 100 команд 53% операторы присваивания, 32% операторы управления, 15% вызовы функций. 1MIPS = 1757 Dhrystone 12 модулей, представляющих различные типовые режимы обработки. В тестах Dhrystone отсутствует обработка чисел с плавающей точкой, зато преобладают операции над другими типами данных (символы, строки, логические переменные, указатели и т. п.). 101 оператор в Pascal-версии или 103 оператора в C-версии синтетические для оценки производительности системного и прикладного ПО Reinhold Weicker1984

9 Тест Dhrystone из SiSoftware Sandra основан на арифметических вычислениях и манипуляциях со строками. Общий объем программы маленький, сравнимый с кэшем процессора. Тест может использоваться в двух направлениях, таких как, измерение скорости процессора и возможность оптимизации компилятора. Полученное число - количество измерений в секунду.

10 Business Winstone 2001 v использует такие офисные приложения, как Norton Antivirus 2000, Winzip 7.0, Microsoft FrontPage 2000, Lotus Notes R5, Microsoft Access 2000, Microsoft Excel 2000, Microsoft PowerPoint 2000, Microsoft Project 98, Microsoft Word 2000, Netscape Communicator Content Creation Winstone 2002 v.2.0 использует приложения: Adobe Photoshop 6.0.1, Adobe Premiere 6.0, Macromedia Director 8.5, Macromedia Dreamweaver UltraDev 4, Microsoft Windows Media Encoder , Netscape Navigator 6/6.01 и Sonic Foundry Sound Forge 5.0c (build 184).

11 FLOPS Как единица измерения, FLOPS, предназначена для оценки производительности только операций с плавающей точкой, и поэтому не применима вне этой ограниченной области. Например, программы компиляторов имеют рейтинг FLOPS близкий к нулю вне зависимости от того, насколько быстра машина, поскольку компиляторы редко используют арифметику с плавающей точкой. По мнению многих программистов, одна и та же программа, работающая на различных компьютерах, будет выполнять различное количество команд, но одно и то же количество операций с плавающей точкой. Именно поэтому рейтинг FLOPS предназначался для справедливого сравнения различных машин между собой. FLOPS, 92 год Тест синтетический, обращения к памяти минимизированы. Дает пиковую производительность.

12 Проблемы: Наборы операций с плавающей точкой не совместимы на различных компьютерах Например, в суперкомпьютерах фирмы Cray Research отсутствует команда деления. В то же время многие современные микропроцессоры имеют команды деления, вычисления квадратного корня, синуса и косинуса. Рейтинг MFLOPS меняется не только на смеси целочисленных операций и операций с плавающей точкой, но и на смеси быстрых и медленных операций с плавающей точкой. Например, программа со 100% операций сложения будет иметь более высокий рейтинг, чем программа со 100% операций деления. Решение обеих проблем заключается в том, чтобы взять "каноническое" или "нормализованное" число операций с плавающей точкой из исходного текста программы и затем поделить его на время выполнения.

13 Ливерморские циклы Выделяют количество нормализованных операций с плавающей точкой в соответствии с операциями, действительно находящимися в ее исходном тексте. Реальные операции с ПТНормализованные операции с ПТ Сложение, вычитание, сравнение, умножение 1 Деление, квадратный корень 4 Экспонента, синус,...8 Ливерморские циклы - это набор фрагментов фортран-программ, каждый из которых взят из реальных программных систем, эксплуатируемых в Ливерморской национальной лаборатории им.Лоуренса (США). Обычно при проведении испытаний используется либо малый набор из 14 циклов, либо большой набор из 24 циклов.

14 Процессоры персональных компьютеров AMD Athlon 64 2,211 ГГц (2003) 8 Гфлопс [10]AMDAthlon [10] AMD Athlon 64 X ,2 ГГц (2006) 13.2 ГфлопсAMDAthlon 64 X22006 AMD AMD ATHLON II X ГГц (2010) ГфлопсAMDAMD ATHLON II X42010 Intel Core 2 Duo 2,4 ГГц (2006) 19,2 Гфлопс [11]Core 2 Duo [11] Intel Core 2 Quad Q8300 2,5 ГГц 40 Гфлопс [12]Core 2 Quad [12] Intel Core i7-975 XE 3,33 ГГц (2009) Гфлопс [13] [13] CPU AMD Phenom II X6 1100T Black Edition (HDE00ZF) 3.3 ГГц/ 3+6Мб/4000 МГцSocket AM Гфлопс [14] [14]

15 SPEC создана 1988 году 1988 году Standard Performance Evaluation Corporation CPU тесты вычислительной производительности (ранее использовался пакет тестов CPU95 и CPU2000); JVM виртуальной тест Java-машины; HPC2002- тесты для HPC-систем: приложение сейсмической обработки Retired in June HPC2002 is no longer being distributed and no additional result submissions are being accepted.HPC SFS тест производительности сетевой файловой системы (NFS); SPECWEB тест для оценки производительности HTTP-серверов; Основной целью этой организации является разработка и поддержка стандартизованного набора специально подобранных тестовых программ для оценки производительности новейших поколений высокопроизводительных компьютеров.

16 CPU2006 CPU это тестовый пакет, разработанный подразделением Open Systems Group (OSG) компании System Performance Evaluation Corp. (SPEC) для оценки производительности микропроцессоров (ЦП) и вычислительных систем. Пакет CPU2006 состоит из двух групп тестов - CINT2006 для оценки производительности на целочисленных операциях и CFP2006 для оценки производительности на операциях с плавающей точкой. Буква "С" в названиях тестов означает, что тесты являются "компонентными" (component-level), в отличие от тестов производительности системы в целом. Группы тестов CINT2006 и CFP2006 ориентированы на оценку работы микропроцессоров, подсистемы кэш-памяти и оперативной памяти, а также компиляторов. Эти тесты не имеют отношения к оценке производительности сети, дисков или графической подсистемы.

17 Название Краткое описание задачи 164. gzip Утилита сжатия данных (gzip) 175. vpr Приложение для расчета FPGA- кристаллов 176. gcc Компилятор C 181. mcf Приложение для решения задачи потока минимальной стоимости в сети 186. crafty Программа для игры в шахматы 197. parser Синтаксический разбор для естественного языка 252. eon Трассировка лучей 253. perlbmk Интерпретатор языка Perl 254. gap Вычислительная задача из теории групп 255.vortex Объектно-ориентированная база данных 256.bzip2Утилита сжатия данных (bzip2) 300. twolf Задача позиционирования и маршрутизации В набор CINT2000 входят 11 тестовых приложений, написанных на языке С, и один тест (252.eon) на С++.

18 Название Краткое описание задачи 168. wupwise Задача квантовой хромодинамики 171. swim Гидродинамическая задача моделирования для "мелкой" воды 172. mgrid Многосеточная решалка для трехмерного потенциального поля 173. applu Решение параболических/эллиптических дифференциальных уравнений 177. mesa Трехмерная графическая библиотека (Mesa3D) 178. galgel Гидродинамическая задача: анализ колебательной нестабильности 179. art Моделирование нейронной сети 183. equake Моделирование землетрясения методом конечных элементов 187. facerec Задача распознавания лиц на графических изображениях 188. ammp Задача вычислительной химии 189. lucas Задача теории чисел (проверка простоты) 191.fma3d Моделирование crash-тестов методом конечных элементов 200. sixtrack Моделирование ускорителя элементарных частиц 01. apsi Атмосферная задача с учетом температуры, ветра и загрязнений В набор CFP2000 входят 14 тестовых приложений, из которых 6 написаны на языке Fortran 77, 4 на языке Fortran 90 и 4 на С++.

19 Разработчики тестов CPU2006 отказались от использования стандартных абсолютных единиц типа MFLOPS или MIPS. Вместо этого используются собственные относительные единицы SPEC. Результаты "нормализуются" по отношению к аналогичным результатам на так называемой "эталонной" машине (reference system). Это рабочая станция Sun Ultra 5/10 (процессор UltraSPARC II с тактовой частотой 300 MHz). На данной машине прогон всех тестов CPU2000 занимает примерно двое суток (48 часов). Показатель SPECint2000, например, вычисляется следующим образом: SPECint2000 = RefTime / MeasuredTime, где RefTime - время исполнения теста на эталонной машине, а MeasuredTime - время исполнения на тестируемой машине. Таким образом, смысл этого показателя - в относительном ускорении по сравнению с эталонной машиной. Показатель SPECint_rate2000 вычисляется следующиям образом: SPECint_rate2000 = N * (RefTime / MeasuredTime) * (60*60*24/RefJobTime), где N - число запущенных копий (итераций) теста, 60*60*24 - это число секунд в сутках, а величина RefJobTime принята равной Существует несколько способов выполнения тестов из наборов CFP2000 и CINT2000 и расчета на базе их результатов интегральных показателей производительности системы, которые определяются двумя характеристиками, указываемыми при запуске тестов, - "режимом" (Base или Peak) и "метрикой" (Speed Metrics или Throughput Metrics). одновременно запускается на выполнение несколько ее копий одинаковое число копий

20 Результаты тестирования некоторых систем по показателю SPECint_2006 (Speed) : Результаты тестирования некоторых систем по показателю SPECfp_2006 : ASUS TS700-E6 (Z8PE-D12X) server system (Intel Xeon X5680) ASUS RS700-E6 server system (Intel Xeon X5680) ASUS RS700D-E6 (Z8NH-D12) server system (Intel Xeon X5680) ASUS RS520-E6 (Z8NR-D12) server system (Intel Xeon X5680) ASUS RS500-E6 (Z8NR-D12) server system (Intel Xeon X5680) ASUS TS700-E6 (Z8PE-D12X) server system (Intel Xeon X5680) ASUS RS700-E6 server system (Intel Xeon X5680) ASUS RS700D-E6 (Z8NH-D12) server system (Intel Xeon X5680) ASUS RS520-E6 (Z8NR-D12) server system (Intel Xeon X5680) ASUS RS500-E6 (Z8NR-D12) server system (Intel Xeon X5680)

21 LINPACK LINPACK - это пакет фортран-программ для решения систем линейных алгебраических уравнений. В основе алгоритмов действующего варианта LINPACK лежит метод декомпозиции. Исходная матрица размером 100 х 100 элементов (в последнем варианте размером 1000 х 1000) сначала представляется в виде произведения двух матриц стандартной структуры, над которыми затем выполняется собственно алгоритм нахождения решения. Подпрограммы, входящие в LINPACK, структурированы. В стандартном варианте LINPACK выделен внутренний уровень базовых подпрограмм, каждая из которых выполняет элементарную операцию над векторами. Набор базовых подпрограмм называется BLAS (Basic Linear Algebra Subprograms). Например, в BLAS входят две простые подпрограммы SAXPY (умножение вектора на скаляр и сложение векторов) и SDOT (скалярное произведение векторов). Все операции выполняются над числами с плавающей точкой, представленными с двойной точностью. Результат измеряется в MFLOPS. Использование результатов работы тестового пакета LINPACK с двойной точностью как основы для демонстрации рейтинга MFLOPS стало общепринятой практикой в компьютерной промышленности.

22 TOP500

23 CoresRmax(GFlops)Rpeak(GFlops) National Supercomputing Center in Tianjin DOE/SC/Oak Ridge National Laboratory National Supercomputing Centre in Shenzhen (NSCS) GSIC Center, Tokyo Institute of Technology DOE/SC/LBNL/NERSC (California) Commissariat a l'Energie Atomique (CEA) Roadrunner DOE/NNSA/LANL Los AlamosDOE/NNSA/LANL Kraken XT5 National Institute for Computational Sciences/University of Tennessee Forschungszentrum Juelich (FZJ)

24 Многоядерные процессоры и распараллеливание с 1970-го по 1985 год производительность процессоров росла преимущественно за счет совершенствования элементной базы и увеличения тактовой частоты. Затем, вплоть до 2000 года, основную роль стали играть архитектурные усовершенствования конвейеризация, специализация, суперскалярность, спекулятивные вычисления, кэширование, увеличение разрядности. Все эти факторы не влияли на процесс проектирования большинства программ, даже без перекомпиляции они исполнялись на новых платформах значительно быстрее. В 2001 году был исчерпан ресурс повышения тактовой частоты процессора. К 2005 году был освоен серийный выпуск 3-гигагерцевых процессоров, и оказались в основном исчерпанными ресурсы архитектурного совершенствования отдельно взятого процессора. В апреле 2005 года Intel и AMD одновременно приступили к продаже двухъядерных процессоров для персональных компьютеров по сути, двух процессоров на одной подложке. Идея «честного» распараллеливания : если одному рабочему требуется 10 часов на изготовление 10 деталей, то 10 рабочим для этого нужен всего час.

25 При сравнениях, необходимых для сортировки массива из N элементов, стоимость параллельных алгоритмов сортировок ~N². В то же время быстрые последовательные алгоритмы сортировок обеспечивают стоимость ~ N log N. Таким образом, чтобы отсортировать массив из 1 тыс. чисел на десяти вычислителях, надо разбить его на десять частей, отсортировать их с помощью эффективного последовательного алгоритма, а затем параллельно слить эти части в общий список.

26 Число ПЭ Доля последовательных вычислений 50%25%10%5%2% Табл. 1. Максимальное ускорение работы программы в зависимости от доли последовательных вычислений и числа используемых процессоров.

27 Следствия закона Амдала при, Проявление закона Амдала при N = 10 и N = 1024 показано на рис. Если параллельная программа содержит 1% последовательного кода, то максимальное ускорение на 10 процессорах будет равно 9, а на 1024 процессорах только 91.

28 Следствия закона Амдала Зависимость ускорения от числа процессоров для различных значений (доли последовательных вычислений)

29 Следствия закона Амдала Для того чтобы ускорить выполнение программы в q раз необходимо ускорить не менее, чем в q раз не менее, чем (1-1/q)- ю часть программы. Следовательно, если есть желание ускорить программу в 100 раз по сравнению с ее последовательным вариантом, то необходимо получить не меньшее ускорение не менее, чем на 99.99% кода, что почти всегда составляет значительную часть программы! Пример: s := 0 Do i = 1, n s = s + a(i) EndDo a(1)+a(2) a(3)+a(4) a(5)+a(6) a(7)+a(8)

30 Закон Густафсона Джон Густафсон из NASA Ames research решал на вычислительной системе из 1024 процессоров три больших задачи, для которых доля последовательного кода f лежала в пределах % и получил ускорения по сравнению с однопроцессорным вариантом, равные соответственно 1021, 1020 и Согласно закону Амдала для данного числа процессоров и диапазона f, ускорение не должно было превысить величину порядка 201. Пытаясь объяснить это явление, Густафсон пришел к выводу, что причина кроется в исходной предпосылке, лежащей в основе закона Амдала: увеличение числа процессоров не сопровождается увеличением объема решаемой задачи. Реальное же поведение пользователей существенно отличается от такого представления. Обычно получая в свое распоряжение более мощную систему, пользователь не стремится сократить объем вычислений, а сохраняя его практически неизменным, старается пропорционально приросту вычислительной мощности ВС увеличить объем решаемой задачи. И тут оказывается, что наращивание общего объема программы касается главным образом распараллеливаемой части программы. Это ведет к сокращению значения f.

31 Примером может служить решение дифференциального уравнения в частных производных. Если доля последовательного кода составляет 10% для 1000 узловых точек, то для точек доля последовательного кода снизится до 0.1%. Сказанное иллюстрирует рис. 10.4, который отражает тот факт, что оставаясь практически неизменной, последовательная часть кода в общем объеме увеличенной программы имеет уже меньший удельный вес. Ускорение:

32 Закон Мура Гордон Мура сформулировал закон технологического прогресса, известный теперь под именем закона Мура. Когда готовил доклад для одной из промыш- ленных групп, он заметил, что каждое новое поколение микросхем появляется через три года после предыдущего. Поскольку у каждого нового поколения ком- пьютеров было в 4 раза больше памяти, чем у предыдущего, стало понятно, что число транзисторов на микросхеме возрастает на постоянную величину и, таким образом, этот рост можно предсказать на годы вперед. Закон Мура гласит, что количество транзисторов на одной микросхеме удваивается каждые 18 месяцев, то есть увеличивается на 60 % каждый год. Размеры микросхем и даты их произ- водства подтверждают, что закон Мура действует до сих пор Гордон Мур (Gordon Moore), один из основателей и бывший председатель совета директоров Intel,

33 Закон Мура предсказывает, что количество транзисторов на одной микросхеме увеличивается на 60 % каждый год. Точки на графике объем памяти в битах Э. ТАНЕНБАУМ, АРХИТЕКТУРА КОМПЬЮТЕРА. изд. Питер, 2007

34

35

36 Закон Натана Мирвольда (Nathan Myhrvold) «Программное обеспечение это газ. Он распространяется и полностью заполняет резервуар, в котором находится». В 80-е годы электронная обработка текстов осуществлялась программами типа troff, которая занимает несколько десятков килобайтов памяти. Современные электронные редакторы занимают десятки мегабайтов. В будущем, несомненно, они будут занимать десятки гигабайтов. Программное обеспечение продолжает развиваться и порождает постоянный спрос на процессоры, работающие с более высокой скоростью, на память большего объема, на устройства ввода-вывода более высокой производительности. Cool is a powerful reason to spend money бывший вице-президент Microsoft

37 Закон Гроша ( Херб Грош, 1965)1965 получение добавочной экономии есть только квадратный корень от увеличения в скорости то есть, чтоб сделать вычисления в 10 раз дешевле, вы должны сделать это в 100 раз быстрее. за одну и ту же сумму было выгоднее купить одну мощную машину, чем две менее мощных - их суммарная мощность оказывалась намного ниже мощности дорогой машины. где Сэвм, Cвс - соответственно стоимость ЭВМ и ВС; К1 и К2 - коэффициенты пропорциональности, зависящие от технического уровня развития вычислительной техники; Пэвм, Пi - производительность ЭВМ и i-roиз n процессоров мера производительности процессоразатраты на аппаратные средства

38 2011