Качество обслуживания в программно-определяемых сетях для научных приложений: возможности и проблемы

. Для работы научных приложений требуется выполнять в кратчайшее время обработку, анализ и передачу больших объемов данных из распределенных источников данных. Чтобы улучшить производительность таких приложений, требуется наличие определенных параметров качества обслуживания (QoS). С другой стороны, программно-определяемая сеть (SDN) представляет собой новую парадигму коммуникационной связи, которая упрощает управление коммуникационной инфраструктурой и, следовательно, позволяет динамически внедрять параметры QoS в приложения, работающие в сети такого типа.  Учитывая обе парадигмы, мы выполнили данное исследование с целью найти ответы на следующие вопросы. Повышается ли производительность научных приложений, работающих в распределенных центрах данных, которые построены на основе SDN? Принимаются ли во внимание при планировании заданий сетевые параметры QoS? Методология исследования заключалась в ознакомлении со статьями из специализированных баз данных, содержащими ключевые слова «SDN», а также «высокопроизводительных вычисления и обработка больших объемов данных в научных приложениях». Затем мы проанализировали статьи, где эти ключевые слова пересекаются с некоторыми параметрами, связанными с QoS в сетях передачи данных. Кроме того, мы рассмотрели предложения по обеспечению качества обслуживания в SDN, чтобы выявить достигнутый прогресс в этой области исследований. По итогам исследования были получены следующие результаты: (i) внедрение QoS в научные приложения, работающие в SDN, все еще является открытой проблемой; (ii) мы определили проблемы, связанные с соединением обеих парадигм; (iii) мы представили стратегию обеспечения QoS научным приложениям, которые выполняются в распределенных центрах обработки данных на основе SDN.

1. A. Cravero. Big Data Architectures and the Internet of Things: A Systematic Mapping Study. IEEE Latin America Transactions, мol. 16, тo. 4, 2018, pp. 1219-1226.

2. W. Stallings. Software-Defined Networks and OpenFlow. Internet Protocol Journal, vol. 16, no. 1, 2013, pp. 1-6.

3. I. Monga, E. Pouyoul and C. Gouk. Software-Defined Networking for Big-Data Science - Architectural Models from Campus to the WAN. In Proc. of the SC Companion: High Performance Computing, Networking, Storage and Analysis (SCC), 2012, pp. 1629-1635.

4. Openflow. Open Networking Foundation. Available at: https://www.opennetworking.org/, last accessed: December, 2019.

5. D. Kreutz, F. Ramos, P. Verissimo, E. Rothenberg, S. Azodolmolky and S. Uhlig. Software-Defined Networking: A Comprehensive Survey. Proceedings of the IEEE, vol. 103, no.1, 2015, pp. 14-76.

6. С.П. Копысов, И.В. Красноперов, В.Н. Рычков. Совместное использование систем промежуточного программного обеспечения CORBA и MPI. Программирование, том 32, no. 3, 2006 г., стр. 51-61 / S.P. Kopysov, I.V. Krasnopyorov, and V.N. Rychkov. CORBA and MPI code coupling. Programming and Computer Software, vol. 32, no. 3, 2006, pp. 276–283.

7. R. Thakur and W. Groop, Open Issues in MPI Implementation. In Proc. of the 12th Asia-Pacific Computer Systems Architecture Conference (ACSAC), 2007, pp. 327-338.

8. Р. Массобрио, С. Несмачнов, А. Черных, А. Аветисян, Г. Радченко. Применение облачных вычислений для анализа данных большого объема в умных городах. Труды ИСП РАН, том 28, вып. 6, 2016 г., стр. 121-140. DOI: 10.15514/ISPRAS-2016-28(6)-9 / R. Massobrio, S. Nesmachnow, A. Tchernykh, A. Avetisyan, and G. Radchenko. Towards a Cloud Computing Paradigm for Big Data Analysis in Smart Cities. Programming and Computer Software, vol. 44, no. 3, 2018, pp. 181-189.

9. C. Jayalath, J. Stephen, and P. Eugster. From the Cloud to the Atmosphere: Running MapReduce across Data Centers. IEEE Transactions on Computers, Vol. 63, No. 1, 2014, pp. 74-87.

10. S. Deshmukh, J. Aghav, and R. Chakravarthy. Job Classification for MapReduce Scheduler in Heterogeneous Environment. In Proc. of the IEEE International Conference on Cloud and Ubiquitous Computing and Emerging Technologies (CUBE), 2013, pp. 26-29.

11. Y. Watashiba, K. Kido, S. Date et al. Prototyping and evaluation of a network-aware Job Management System on a cluster system. In Proc. of the 19th IEEE International Conference on Networks (ICON), 2013, pp. 1-6.

12. P. Makpaisit, K. Ichikawa, and P. Uthayopas. MPI Reduce Algorithm for OpenFlow-Enabled Network. In Proc. of the 15th International Symposium on Communications and Information Technologies (ISCIT), 2015, pp. 261-264,

13. P. Uchupala, K. Ichikawa et al. Application-Oriented Bandwidth and Latency Aware Routing with OpenFlow Network. In Proc. of the IEEE 6th International Conference on Cloud Computing Technology and Science, 2014, pp. 775-780.

14. J. Huang, L. Xu, M. Zeng, C. Xing, Q. Duan, and Y. Yan, Hybrid Scheduling for Quality of Service Guarantee in Software Defined Networks to support Multimedia Cloud Services. In Proc. of the IEEE International Conference on Services Computing, 2015, pp. 788-792.

15. Q. Peng, B. Dai, B. Huang, and G. Xu. Bandwidth-Aware Scheduling with SDN in Hadoop: A New Trend for Big Data. IEEE Systems Journal, vol. 11, no. 4, 2017, pp. 2337-2344.

16. M. Veiga, C. Rose, K. Katrinis and H. Franke. Pythia: Faster Big Data in Motion through Predictive Software-Defined Network Optimization at Runtime. In Proc. of the IEEE 28th International Parallel & Distributed Processing Symposium, 2014, pp. 82-90.

17. H. Alkaff, I. Gupta and L. Leslie. Cross-Layer Scheduling in Cloud Systems. In Proc. of the IEEE International Conference on Cloud Engineering (IC2E), 2015, pp. 236-245.

18. S. Jamalian, H. Rajaei. ASETS: A SDN Empowered Task Scheduling System for HPCaaS on the Cloud. In Proc. of the IEEE International Conference on Cloud Engineering (IC2E), 2015, pp. 329-334.

19. K. Govindarajan, K. Meng, H. Ong, and W. Tat. Realizing the Quality of Service (QoS) in Software-Defined Networking (SDN) Based Cloud Infrastructure. In Proc. of the 2nd International Conference on Information and Communication Technology (ICoICT), pp. 505-510, 2014.

20. H. Egilmez, S. Dane, K. Bagci, and A. Tekalp. OpenQoS: An OpenFlow Controller Design for Multimedia Delivery with End-to-End Quality of Service over Software-Defined Networks. In Proc. of the Signal & Information Processing Association Annual Summit and Conference (APSIPA ASC), 2012, pp. 1-8.

21. M. Seddiki, M. Shahbaz, S. Donovan, S. Grover, M. Park, N. Feamster, and Y. Song. FlowQoS: Per-Flow Quality of Service for Broadband Access Networks. SCS Technical Report GT-CS-15-02, Georgia Institute of Technology, 2015.

22. M. Karaman, B. Gorkemli, S. Tatlicioglu, M. Komurcuoglu, and O. Karakaya. Quality of Service Control and Resource Priorization with Software Defined Networking. In Proc. of the 1st IEEE Conference on Network Softwarization (NetSoft), 2015, pp. 1-6.

23. H. Owens and A. Durresi. Explicit Routing in Software-Defined Networking (ERSDN): Addressing Controller Scalability. In Proc. of the 17th International Conference on Network-Based Information Systems, 2014, pp. 128-134.

24. H. Owens and A. Durresi. Video over Software-Defined Networking (VSDN). In Proc. of the 16th International Conference on Network-Based Information Systems, 2013, pp. 44-51.

25. O. Younis and S. Fahmy. Constraint-based Routing in the Internet: Basic Principles and Recent Research. IEEE Communications Surveys, vol. 5, no. 1, 2003, pp. 2-13.

26. S. Tomovic, N. Prasad, and I. Radusinovic. SDN control framework for QoS provisioning. In Proc. of the 22nd Telecommunications Forum, 2014, pp. 111-114.

27. M. Tajiki, B. Akbari, M. Shojafar et al. CECT: computationally efficient congestion-avoidance and traffic engineering in software-defined cloud data centers. Cluster Computing, vol. 21, no. 4, 2018, pp. 1881-1897.

28. A. Shah, W. Wu, Q. Lu et al. AmoebaNet: An SDN-enabled network service for big data science. Journal of Network and Computer Applications, vol. 119, 2018, pp. 70-82.

29. M. Marchese. QoS over heterogeneous networks. John Wiley & Sons, 2007, 328 p.

30. С.Д. Итурриага Фабра, С.Е. Несмачнов Кановас, Н. Гони Бофриско, Б. Дорронзоро Диаз, А.Н. Черных. Конструирование и оптимизация сетей распространения контента. Труды ИСП РАН, том 31, вып. 2, 2019 г., стр. 15-20. DOI: 10.15514/ISPRAS-2019-31(2)-1 / S. Iturriaga, S. Nesmachnow, G. Goñi, B. Dorronsoro, and A. Tchernykh. Evolutionary Algorithms for Optimizing Cost and QoS on Cloud-based Content Distribution Networks. Programming and Computer Software, vol. 45, no. 8, 2019, pp. 544-556.

31. Ф. Армента-Кано, А. Черных, Х.М. Кортес-Мендоза и др. С.Min_с: стратегия неоднородной концентрации задач для энергосберегающих компьютерных расписаний. Труды ИСП РАН, том 27, вып. 6, 2015 г., стр. 355-380. DOI: 10.15514/ISPRAS-2015-27(6)-23 / F.A. Armenta-Cano, A. Tchernykh, J.M. Cortes-Mendoza et al. Min_c: Heterogeneous concentration policy for energy-aware scheduling of jobs with resource contention. Programming and Computer Software, vol. 43, no. 3, 2017, pp. 204-215.

32. M. Marjani, F. Nasaruddin, A. Gani, A. Karim et al. Big IoT Data Analytics: Architecture, Opportunities, and Open Research Challenges. IEEE Access, vol. 5, 2017, pp. 5247-5261.

33. Б.М. Шабанов, О.И. Самоваров. Принципы построения межведомственного центра коллективного пользования общего назначения в модели программно-определяемого ЦОД. Труды ИСП РАН, том 30, вып. 6, 2018 г., стр. 7-24. DOI: 10.15514/ISPRAS-2018-30(6)-1 / B.M. Shabanov and O.I. Samovarov. Building the Software-Defined Data Center. Programming and Computer Software, vol. 45, no. 8, 2019, pp. 458–466.