Complex supercomputer benchmarking

Authors

  • V.S. Gorbunov
  • L.K. Eisymont

Keywords:

rating list benchmarking
complex test benchmarking
data intensive systems
multilevel benchmarking
space-temporal memory reference locality
memory reference delay optimization
memory reference tolerate
delay hiding
run-time systems
multithreaded architecture program emulation PDF (in Russian) (165KB) PDF. zip (in Russian) (144KB)

Abstract

A rating list and professional (complex and detailed) benchmarking are considered. These two approaches are of important practical interest. This is illustrated by the following example: an analysis of recent years benchmarking results makes it possible to reveal the consistent trend of supercomputer capability to calculate data intensive tasks more efficiently. The application methods of complex professional benchmarking are discussed; it is also shown how these methods are used in the rating and engineering design of supercomputers. An example of using these methods is given. Such an approach is unique by its multilevel and miscellaneous tests plus special tests for diverse loads on hardware. Some variants of using this approach are also analyzed and some advices how to apply test results for a program optimization and to design an advanced software are given. The paper is recommended for publication by the Program Committee of the International Scientific Conference «Scientific Service in Internet: All Incarnations of Parallelism» (http://agora.guru.ru/abrau2013).

New computational technologies

Downloads

Published

2013-11-29

Issue

Vol. 14 (2013): Issue 4.

Section

Section 2. Programming

Author Biographies

V.S. Gorbunov

Research Institute «Kvant»
• Deputy Director of Science

L.K. Eisymont

Research Institute «Kvant»
• Scientific Consultant

References

  1. Горбунов В.С., Эйсымонт Л.К., Речинский А.В., Заборовский В.С., Забеднов П.В. Суперкомпьютеры для промышленности -вопросы тестирования, анализа и разработки // Материалы 2-й Всероссийской конференции «Суперкомпьютерные технологии» (СКТ-2012). Таганрог: Изд-во ЮФУ, 360-364.
  2. Мищенков А.В., Фёдоров С.А., Андрюшин Д.В. Оценочное тестирование Intel Xeon Phi как массово-многоядерной SMP-системы // Научно-технический семинар «Высокопроизводительные и встраиваемые вычисления» (в рамках молодежной научной конференции «Студенты и молодые ученые - инновационной России», 23-24 мая 2013 г.). Санкт-Петербург: СПбГПУ, 2013 (презентация).
  3. Максимов В.И., Фёдоров С.А., Андрюшин Д.В. Реализация методики измерения пространственно-временной локализации приложения и еe отображение на синтезируемую APEX-поверхность используемого оборудования // Научно-технический семинар «Высокопроизводительные и встраиваемые вычисления» (в рамках молодежной научной конференции «Студенты и молодые ученые -инновационной России», 23-24 мая 2013 г.). Санкт-Петербург: СПбГПУ, 2013 (презентация).
  4. Макаров В.А., Фёдоров С.А., Эйсымонт Л.К. Эффективность многофазных операций считывания/записи для глобально адресуемых систем памяти // Научно-технический семинар «Высокопроизводительные и встраиваемые вычисления» (в рамках молодежной научной конференции «Студенты и молодые ученые -инновационной России», 23-24 мая 2013 г.). Санкт-Петербург: СПбГПУ, 2013 (презентация).
  5. Weinberg J. et al. Quantifying locality in the memory access patterns of HPC applications // Proc. IEEE/ACM Supercomputing Conference. New York: ACM Press, 2005. 12 рр.
  6. Strohmaier E., Shan H. Apex-Map: a global data access benchmark to analyze HPC systems and parallel programming paradigms // Proc. IEEE/ACM Supercomputing Conference. New York: ACM Press, 2005. 14 рр.
  7. Речинский А., Горбунов В., Эйсымонт Л. Суперкластер с глобально адресуемой памятью // Открытые системы. 2011. 7. 21-25.
  8. Multby J. Graph oriented computing and XMT architecture. Cray Inc. 26 slides. Climate Knowledge Discovery Workshop, March 2011. Hamburg, 2011.
  9. Горбунов В.С., Эйсымонт Л.К., Соколов А.А., Зайцев А.В., Заборовский В.С., Семеновский В.Б. Экзамасштабные технологии: инкапсуляция иерархической структуры суперкомпьютеров в модели HPGAS // Материалы 2-й Всесоюзной конференции «Суперкомпьютерные технологии» (СКТ-2012). Таганрог: Изд-во ЮФУ, 2012. 29-34.
  10. Nelson J. et al. Crunching large graphs with commodity processors // Proc. of USENIX HotPar 2011. Berkely, 2011. 1-6.
  11. Семенов А.А., Соколов А.А., Эйсымонт Л.К. Архитектура глобально адресуемой памяти мультитредово-потокового суперкомпьютера // Электроника: НТБ. 2009. № 1. 50-56.
  12. Ediger D., McColl R.M., Reidy J., Bader D.A. STINGER: high performance data structure for streaming graphs // Proc. IEEE High Performance Extreme Computing Conference. Waltham, 2012. 1-5.
  13. Горбунов В., Эйсымонт Л. Экзафлопсный барьер: проблемы и решения // Открытые системы. 2010. № 6. 12-15.
  14. US Department of Energy Exascale Operating System and Runtime Software Report. Washington, 2012.
  15. Эйсымонт Л.К. Оценочное тестирование высокопроизводительных систем: цели, методы, результаты и выводы // Cуперкомпьютерные вычислительно-информационные технологии в физических и химических исследованиях (30 октября-2 ноября 2000 г.). Сборник лекций. Черноголовка, 2000. 33-42.
  16. Кудрявцев М., Эйсымонт Л., Мошкин Д., Полунин М. Суперкластеры -между прошлым и будущим // Открытые системы. 2008. № 8. 14-19.
  17. Кудрявцев М.В., Мошкин Д.В., Полунин М.А., Эйсымонт Л.К. Оценочное тестирование кластеров на базе процессоров AMD Barcelona и Shanghai с сетями Infiniband DDR и QDR // Вычислительные методы и программирование. 2009. 10, № 1. 215-223.