A model of stream processing of experimental data in distributed systems

Authors

  • V.A. Shchapov
  • A.G. Masich
  • G.F. Masich

Keywords:

experimental stand
supercomputer
high-speed optic network
protocol
BDP
distributed computing
stream data processing

Abstract

Modern experimental stands generate long-lasting and intense data streams. Limited computing resources of stands and increasing the accuracy requirements of algorithms make it impossible to provide a local processing. However, a high bandwidth optical lambda networks allows one to transfer calculations to remote supercomputers. It is extremely important to organize an efficient parallelism in all components of the distributed system. This paper considers a model of stream processing of experimental data and focuses on the use of high-speed fiber-optic long-distance data networks for communication of experimental stands with high-performance computing systems. This work was supported by the Russian Foundation for Basic Research (project 11–07–96001–p_ural_a) and Ural Branch of Russian Academy of Sciences (project 12–П–1–2012). The paper was recommended for publication by the Program Committee of the International Scientific Conference «Scientific services in the Internet: search for new solutions» (http://agora.guru.ru/abrau2012).

New computational technologies

Downloads

Published

2012-11-09

Issue

Vol. 13 (2012): Issue 4.

Section

Section 2. Programming

Author Biographies

V.A. Shchapov

Institute of Continuous Media Mechanics of UB RAS (ICMM UB RAS)
• Engineer, Graduate Student

A.G. Masich

Institute of Continuous Media Mechanics of UB RAS (ICMM UB RAS)
• Junior Researcher

G.F. Masich

Institute of Continuous Media Mechanics of UB RAS (ICMM UB RAS)
• Head of Laboratory

References

  1. Степанов Р.А., Масич А.Г., Сухановский А.Н., Щапов В.А., Игумнов А.С., Масич Г.Ф. Обработка на супервычислителе потока экспериментальных данных // Тр. Междунар. суперкомпьютерной конференции «Научный сервис в сети Интернет: экзафлопсное будущее». М.: Изд-во Моск. ун-та, 2011. 168-174.
  2. Степанов Р.А., Масич А.Г., Масич Г.Ф. Инициативный проект «Распределенный PIV» // Tр. Всероссийской суперкомпьютерной конференции «Научный сервис в сети Интернет: масштабируемость, параллельность, эффективность». М.: Изд-во Моск. ун-та, 2009. 360-363.
  3. Масич А.Г., Масич Г.Ф. Инициатива GIGA UrB RAS // Совместный вып. журн. «Вычислительные технологии» и журн. «Вестник КазНУ им. Аль-Фараби. Сер.: матем., механ., информатика» № 3 (58). 13, Ч. II. Алматы, 2008. 413-418.
  4. Масич А.Г., Масич Г.Ф., Степанов Р.А., Щапов В.А. Скоростной I/O-канал супервычислителя и протокол обмена интенсивным потоком экспериментальных данных // Тр. X Междунар. конференции «Высокопроизводительные параллельные вычисления на кластерных системах HPC-2010». 2. Пермь: Изд-во ПГТУ, 2010. 119-128.
  5. Gu Y., Grossman R.L. UDT: UDP-based data transfer for high-speed wide area networks // Computer Networks. 2007. 51, N 7. 1777-1799.
  6. Баталов В.Г., Сухановский А.Н., Фрик П.Г. Экспериментальное исследование спиральных валов в адвективном потоке, натекающем на горячую горизонтальную поверхность // Изв. РАН. Механ. жидкости и газа. 2007. № 4. 50-60.
  7. Batalov V., Sukhanovsky A., Frick P. Laboratory study of differential rotation in a convective rotating layer // J. Geophys. Astrophys. Fluid Dynam. 2010. 104, N 4. 349-368.
  8. Масич А.Г., Масич Г.Ф., Матвеенко В.П., Тирон Г.Г. Инициатива GIGA UrB RAS: методология построения и архитектура научно-образовательной оптической магистрали Уральского отделения РАН // Тр. Междунар. конференции «Математические и информационные технологии» MIT-2011. Белград, 2012. 257-265.