Пути организации параллельного доступа к структурированным данным


Пути организации параллельного доступа к структурированным данным

Алексей Олегович ИГНАТЬЕВ, Сергей Юрьевич МОКШИН, Дмитрий Владимирович ИВАНКОВ, Евгений Александрович БЕКЕТОВ

Аннотация

В данной работе исследуются пути достижения максимально возможной производительности обменов с файлами, содержащими структурированные данные. Исследования проводились на файловых системах с параллельным доступом вычислительных систем, предназначенных для решения задач физико-математического моделирования различных процессов и объектов. На примере параллельной файловой системы Lustre рассматривается параллельный доступ к «сырым» данным. Предлагается способ организации параллельного доступа к структурированным данным на основе специального разработанного формата хранения PSIO и библиотеки доступа psio. Выполняется сравнительный анализ производительности ввода-вывода разработанного формата хранения данных и формата параллельной версии HDF5.

Ключевые слова

вычислительная система, структурированные данные, высокопроизводительные вычисления, математическое моделирование, форматы данных, параллельный ввод-вывод

Издание

Труды Института системного программирования РАН, том 35, вып. 2, 2023, 111-126

ISSN 2220-6426 (Online), ISSN 2079-8156 (Print).

DOI: 10.15514/ISPRAS-2023-35(2)-8

Для цитирования

Алексей Олегович ИГНАТЬЕВ, Сергей Юрьевич МОКШИН, Дмитрий Владимирович ИВАНКОВ, Евгений Александрович БЕКЕТОВ Пути организации параллельного доступа к структурированным данным. Труды Института системного программирования РАН, том 35, вып. 2, 2023, 111-126 DOI: 10.15514/ISPRAS-2023-35(2)-8.

Полный текст статьи в формате pdf Вернуться к содержанию тома