Высокопроизводительные вычисления (HPC – High-performance computing) являются очень важной составляющей современного процесса физического моделирования в инженерных задачах. Роль HPC будет только расти в будущем. Благодаря HPC ведущие инженерные компании получают возможность глубже и точнее понять поведение разрабатываемых изделий. Такой уровень понимания невозможно достичь без создания детализированных моделей, в которых учитывается большее количество элементов конструкции, а также особенностей геометрии и происходящих физических процессов. Кроме того, моделирование позволяет компаниям исследовать поведение изделия в широком диапазоне эксплуатационных условий, обеспечивая надёжное функционирование и сокращая затраты на гарантийные ремонты и текущее обслуживание.
Такая отдача от программного обеспечения (ПО) может быть достигнута только при сосредоточении усилий разработчика ПО в области высокопроизводительных вычислений. Компании, разрабатывающие аппаратное и программное обеспечение для HPC, постоянно инвестируют в то, чтобы их продукты надёжно и эффективно работали на платформах последнего поколения и действительно обеспечивали высокую производительность вычислений. Сегодня производительность достигается, в частности, за счёт использования аппаратного ускорения на базе специализированных видеокарт (GPU – Graphical Processing Unit) NVIDIA и сопроцессоров Intel Xeon Phi [1], а также эффективного масштабирования параллельных вычислений за счёт использования различных алгоритмов управления памятью: общая память (SMP – shared-memory parallel), распределённая память (DMP – distributed-memory parallel), гибридная технология (hybrid SMP/DMP) и чрезвычайно параллельные вычисления (embarrassingly parallel computing).
Рисунок 1: Вычисления с максимальной производительностью (HPC Capability) и с максимальной пропускной способностью (HPC Capacity) соответствуют двум сценариям: один пользователь выполняет большой расчёт на счётном кластере (рисунок сверху) или много пользователей выполняют меньшие расчёты на рабочих станциях (нижний рисунок)
Вычисления с максимальной производительностью (HPC Capability) и с максимальной пропускной способностью (HPC Capacity)
Проведение расчётов для одной задачи на 2000 процессорных ядрах явно представляется более экономически оправданным, чем использование труда 100 инженеров, каждый из которых работает на компьютере с 20 ядрами. Этот выбор схематично проиллюстрирован на рисунке 1. Первый вариант называют HPC-вычислениями с максимальной производительностью (HPC capability), а второй – HPC-вычислениями с максимальной пропускной способностью (HPC capacity). Эти два подхода к использованию высокопроизводительных вычислений требуют различного уровня инвестиций и приобретения различных HPC-пакетов.
Пакеты HPC (HPC Packs) – масштабируемое ценообразование
При использовании подхода с упором на производительность при решении одной задачи задействуется большое количество ядер. Архитектура программного обеспечения ANSYS построена таким образом, чтобы обеспечивать практически идеальное (т.е., линейное) увеличение скорости расчётов¹ с увеличением количества задействованных ядер. При удвоении числа ядер в идеальном случае время расчёта должно сокращаться в два раза. Однако, при постоянном удвоении числа ядер наступает момент, когда время расчёта начинает измеряться не часах и днях, а в минутах. Критерием эффективности здесь является наличие такого числа ядер, которое достаточно для расчёта модели необходимой точности в рамках временных ограничений, которыми вы располагаете. При достижении некоторого числа ядер дальнейшее увеличение их числа не обеспечивает существенного различия в скорости получения результатов.
¹Хотя при разработке программных продуктов ANSYS мы уделяем особое внимание увеличению области линейного масштабирования, действительный прирост счётной мощности может зависеть от различных факторов, включая конфигурацию аппаратного обеспечения, размер расчётной модели и вид расчёта
Рисунок 2 – Даже при условии линейного масштабирования, время проведения расчёта изменяется при добавлении большего числа ядер (рисунок слева). Этот эффект учтен в ценообразовании пакетов HPC Packs: стоимость использования дополнительных ядер зависит от количества уже используемых ядер (рисунок справа).
Рисунок 3 – Пакеты HPC Packs обеспечивают практически неограниченную производительность параллельных вычислений при фиксированной стоимости увеличения количества ядер в 4 раза
Рисунок 4 – зависимости для вычислений с высокой пропускной способностью. В данном примере параллельные вычисления применяются для проведения нескольких расчётов, и общая ценность вычислений линейно возрастает с ростом числа задействованных ядер (рисунок слева). За счёт использования масштабируемого ценообразования модель лицензирования HPC Workgroup хорошо подходит для оптовых покупателей (рисунок справа).
Рассмотрим такой пример: если некий CFD-расчёт занимает 16 дней при расчёте на одном ядре, то использование 32 ядер снизит время расчёта до 4 часов, сохраняя более чем 2 недели времени. Дальнейшее увеличение числа ядер с 32 до 64 сократит время расчёта еще в два раза – с четырёх часов до двух. Этот пример демонстрирует, что получаемая польза от инвестиций в дополнительные счётные мощности должна рассматриваться с учётом специфики решаемых задач и стоимости этих инвестиций.
Для реализации высокопроизводительных вычислений в линейке продуктов компании ANSYS есть пакеты HPC Pack и ANSYS Electronics HPC Pack.
Пакеты HPC Packs обеспечивают:
- Практически неограниченные HPC-возможности за фиксированную цену: Вы решаете, на каком уровне ограничить возможности вашей компании, приобретая необходимое количество пакетов HPC Packs (см. рисунок 3). Пакеты HPC Packs обеспечивают хорошо масштабируемые параллельные вычисления для большинства требовательных к вычислительным ресурсам задач.
- Модель с масштабируемым ценообразованием: С учётом упомянутого выше закона снижения эффективности вложений с ростом количества используемых ядер, вы платите меньше, когда добавляете поддержку большего количества ядер.
Запуск расчёта на 2000 ядрах обойдётся всего в 1,5 раза (а не в 100 раз) дороже, чем запуск на 20 ядрах.
HPC Workgroups – оптовые цены для вычислений с высокой пропускной способностью (Capacity Computing)
Если эффективность 1000 ядер, примененных для расчёта одной задачи, снижается к горизонтальной асимптоте, как показано на рисунке 2, что будет с эффективностью тех же 1000 ядер, примененных к нескольким задачам или используемых несколькими пользователями? Ответ представлен на рисунке 4, где показана эффективность, измеренная в общем количестве сэкономленного времени, при расчете нескольких задач – так называемые вычисления с высокой пропускной способностью (capacity computing, также их называют чрезвычайно параллельные вычисления – embarrassingly parallel computing). Коэффициент возврата инвестиций (ROI – Return On Investment) растёт линейно с ростом количества ядер из-за того, что распараллеливание вычислений позволяет решать больше задач в более короткие сроки. В данном случае HPC выводит моделирование на новый уровень возможностей благодаря сокращению времени от запуска на расчёт до получения результатов – за счёт этого инженеры получают возможность лучше понять работу изделия, быстрее завершить проект и обеспечить требуемые характеристики продукта.
Когда HPC-технологии используются для обеспечения пропускной способности – возможности запускать на расчёт большое количество задач – коэффициент возврата инвестиций растёт с увеличением числа ядер линейно.
Пакеты ANSYS HPC Workgroup и ANSYS Electronics HPC Workgroup предоставляют доступ к технологиям параллельных вычислений для обеспечения высокой пропускной способности при одновременном решении большого количества задач и/или при многопользовательской работе:
- Лицензии HPC могут распределяться между несколькими пользователями и решаемыми задачами, что обеспечивает постоянный рост коэффициента окупаемости инвестиций при увеличении числа задействованных ядер.
- Модель ценообразования хорошо подходит для оптовых покупателей. К примеру, распределение задач, вычисляемых на 128 ядрах, на кластере размером 32 768 ядер вместо кластера с 2048 ядрами позволяет в четыре раза сократить затраты в расчёте на каждую задачу.
Рисунок 5 – В ценообразовании пакетов HPC Parametric Pack учтено уменьшение ценности расчёта одной конфигурации при увеличении числа исследуемых в одном расчёте конфигураций
Рисунок 6 – Подобно тому, как пакеты ANSYS HPC Packs обеспечивают масштабируемое ценообразование для параллельных вычислений, пакеты HPC Parametric Packs обеспечивают масштабирование функциональности при использовании более чем одного пакета HPC Parametric Pack на одной задаче.
Параметрические HPC-вычисления – высокая пропускная способность на для задач оптимизации (Design Exploration)
В наши дни разработка целостного проекта изделия является неотъемлемым требованием рынка. Инженеры переходят от разработки одного варианта конструкции к исследованию различных вариантов с учётом самого широкого спектра свойств материалов, особенностей производственных процессов и условий эксплуатации. При этом существенным ограничением для проведения такого исследования является время, которое необходимо затратить для расчёта всех возможных конфигураций. Для сокращения этого времени, кроме использования описанных выше параллельных вычислений, можно проводить расчёты различных конфигураций одновременно. Однако для одновременных расчётов потребуется несколько лицензий, что делает такие расчёты для многих пользователей непозволительно затратными. Недавно компания ANSYS предложила новую более доступную модель лицензирования, позволяющую одновременное выполнение нескольких расчётов с использованием только одного набора лицензий. Эффективность этой учитывающей ценность проводимых параметрических расчётов модели лицензирования проиллюстрирована на рисунке 5.
Для проведения параметрических расчётов коэффициент возврата инвестиций не будет линейно возрастать с ростом количества рассчитываемых конфигураций – эти параметры не имеют прямой зависимости. Например, ценность расчёта десятой конфигурации в параметрическом исследовании, скорее всего, будет выше ценности расчёта сотой. Подобно этому, добавляемая ценность параметрических HPC-расчётов будет снижаться с увеличением количества одновременно рассчитываемых конфигураций (см. рисунок 5).
Для проведения параметрических расчётов на многоядерных системах с одновременным расчётом нескольких конфигураций, компания ANSYS предлагает следующие продукты:
- Пакет ANSYS HPC Parametric Pack: лицензия для проведения параметрических расчётов в области расчёта на прочность и гидрогазодинамики:
- Автоматизация параметрических исследований: Возможность автоматически и одновременно рассчитывать различные конфигурации при использовании только одного набора лицензий.
- Масштабируемое ценообразование: Максимальное количество одновременно рассчитываемых конфигураций быстро растёт с приобретением дополнительных пакетов, как показано на рисунке 6. В соответствии с принципом снижения добавляемой ценности с увеличением числа рассчитываемых конфигураций, с ростом максимального количества одновременно рассчитываемых конфигураций заложено снижение стоимости расчёта одной конфигурации.
Например, получение возможности рассчитывать одновременно 64 конфигурации вместо 4 конфигураций повышает затраты не в 16 раз, а всего примерно в 3 раза.
- ANSYS Distributed Solve (DSO) with Optimetrics: лицензия для параметрических расчётов задач электромагнетизма:
- Автоматизированные параметрические исследования: Возможность автоматически и одновременно рассчитывать различные конфигурации при использовании только одного набора лицензий.
- Проведение оптимизационных расчётов и параметрических расчётов: Возможность определения оптимальных параметров изделия, а также построения графиков чувствительности выходных параметров к изменениям различных входных параметров.
- Масштабируемость, близкая к идеальной: при росте числа ядер наблюдается практически линейное ускорение расчётов.
Рисунок 7 – Основные достижения компании ANSYS в области высокопроизводительных вычислений на протяжении трёх последних десятилетий.
Рисунок 8 – Демонстрация достижений в области масштабируемости параллельных вычислений, полученных на модели в ANSYS Fluent с 4 миллионами ячеек. Более высокое значение «рейтинга» (rating) соответствует более высокой производительности. На нижнем рисунке показано максимально возможное ускорение расчёта модели с 1 миллионом ячеек в зависимости от версии ANSYS.
Рисунок 9 – Модель из тестовой задачи [3], разработанной совместно с Национальным центром суперкомпьютерных приложений (NCSA – National Center for Supercomputing Applications). Комбинация суперкомпьютеров Blue Waters, инженерной команды Cray Inc., технических специалистов из NCSA Private Sector Program и улучшений 16-й версии ANSYS Fluent позволяет клиентам производить расчёты очень сложных моделей, максимально приближенных к реальным объектам.
Важность постоянных инвестиций в HPC
Высокопроизводительные вычисления стали приоритетным направлением разработки программного обеспечения в сфере физического моделирования. Вычислительные мощности процессоров ограничены проблемами теплоотвода, и создание мощных расчётных систем идёт по пути увеличения количества используемых ядер. Таким образом, быстрая работа на многоядерных аппаратных платформах является естественным требованием к современному программному обеспечению. Обеспечение эффективности параллельных вычислений в продуктах компаний ANSYS является одним из основных и наиболее актуальных приоритетов развития нашей компании.
История развития предоставляемых нами услуг в сфере HPC-вычислений, проиллюстрированная рисунком 7, свидетельствует о наших постоянных инвестициях и достижениях в этой области. Наши усилия – как внутренние, так и внешние (совместно с партнёрами, разрабатывающими аппаратное обеспечение) – обеспечили нам лидирующие позиции по уровню технологий и достижений. Но что ещё более важно, наша работа позволяет нашим клиентам быстрее возвращать свои инвестиции. Мы стремимся сохранить такое положение вещей и в будущем.
Например, благодаря сотрудничеству с нашими партнёрами, от версии к версии удаётся улучшать масштабируемость и быстродействие продуктов ANSYS CFD для расчёта задач гидрогазодинамики. На рисунке 8 показано, как продукты ANSYS демонстрируют высокую эффективность параллельных вычислений на всё более низких значениях числа ячеек расчётной области, приходящихся на одно ядро, что практически означает следующее:
- Снижение времени расчёта (либо получение возможности проведения более детальных расчётов) при увеличении количества используемых ядер становится доступно всем пользователям.
- Все пользователи станут менее ограничены параметрами используемого аппаратного обеспечения, так как расчёт больших моделей становится быстрее.
- Пользователи, имеющие доступ к HPC-системам высокой производительности, могут в полной мере ощутить колоссальные преимущества расчётов больших моделей на принципиально новом уровне – с использованием очень большого числа ядер.
Отрасль HPC-вычислений развивается очень быстро, постоянно предлагая новые решения. Для инженерной компании важно, чтобы производитель эксплуатируемого программного обеспечения акцентировал своё внимание на HPC-технологиях – при этом компания получает доступ к технологиям завтрашнего дня и существенно расширяет спектр своих возможностей. Продукты компании ANSYS разрабатываются именно в рамках такой идеологии. Ниже представлено несколько примеров:
- Первый пример – постоянная оптимизация нашего программного обеспечения. Мы проводим достаточно объемную работу с производителями процессоров, такими как Intel и NVIDIA, чтобы лучше понимать и оптимизировать использование счётных ресурсов при решении задач физического моделирования (это производится, например, за счёт использования новых настроек при компиляции, распределения потоков по ядрам и динамической настройки распределения нагрузки по нескольким процессорам). Сегодня пользователи ANSYS Mechanical могут использовать для ускорения большинства расчётов как процессорные (CPU) ядра, так и несколько модулей на базе видеокарт (GPU). Ещё одним свидетельством нашей приверженности к использованию новых технологий [1], таких как GPU-вычисления, является их поддержка в связанном решателе с алгоритмом установления (pressure-based solver) 3D AMG в продукте ANSYS Fluent. Наконец, мы рады предоставить нашим клиентам поддержку сопроцессоров Xeon Phi компании Intel в продукте ANSYS Mechanical.
- Второй пример связан с масштабированием расчётов и будущим HPC-вычислений, он демонстрирует заданное направление по выводу методики применения нашего программного обеспечения на новый уровень. В версии ANSYS 15.0 компания ANSYS в сотрудничестве с компанией Cray, Inc обеспечила рекордное масштабирование расчёта [2] на 14 тысяч ядер для решения большой (105 миллионов ячеек) задачи гидрогазодинамики, имеющей реальное практическое применение. Недавно на версии ANSYS 16.0 был достигнут предел масштабирования на 36 тысяч ядер (см. рисунок 9). Целью наших общих усилий является достижение масштабирования параллельных вычислений на 50 и более тысяч ядер, при сохранении высоких характеристик масштабируемости в условиях увеличения числа ядер на один процессор.
- Третий пример – распространение технологий распараллеливания вычислений и высокопроизводительных вычислений на все этапы физического моделирования, начиная от создания сетки и настройки модели и вплоть до работы с файлами, задач визуализации и автоматизации оптимизационных расчётов. Например, мы обеспечили хорошую масштабируемость процесса параллельного построения сетки для сетки из элементов в форме тетраэдра и призмы. Производительность, конечно, зависит от конкретной модели, но нам удалось добиться масштабируемости в 92% на модели в 42 миллиона ячеек при построении сетки на 8 ядрах.
- Четвёртый пример – улучшения в области удобства использования HPC-возможностей. Мы работаем над внедрением единого инструмента – работающего для всех модулей программного обеспечения, – который позволял бы задавать настройки и контролировать производительность параллельных вычислений. Совместно с нашими партнёрами в области разработки аппаратного обеспечения мы работаем над устойчивой работой нашего программного обеспечения при возникновении каких-либо проблем с аппаратной частью, поиском и исправлением этих проблем в процессе расчёта, а также обеспечением успешного завершения расчёта в этих случаях.
- Наконец, последним примером наших усилий, направленных на обеспечение доступности HPC-вычислений, является установление партнёрских отношений с ключевыми игроками на этом рынке (такими, как Fujitsu, HP и IBM) с целью облегчения развертывания счетных кластеров. Результатом этой работы являются заранее настроенные и оптимизированные для ANSYS счётные кластеры, поддерживающие технологии удалённой 3D-визуализации и управления ресурсами кластера.
Выводы
Высокопроизводительные вычисления – это настоящее и будущее инженерного моделирования.
Компания ANSYS понимает, что HPC-технологии важны и ценны для клиентов, и вот уже на протяжении более трёх десятилетий поддерживает развитие и применение этих технологий. Мы предлагаем модели лицензирования с гибким ценообразованием, обеспечивающие клиентам высокую отдачу от HPC-расчётов, и позволяющие нам продолжать разработки программного обеспечения в этом направлении.
В последнее время ценность лицензий на высокопроизводительные вычисления возросла благодаря следующим улучшениям:
- Большее количество пользователей получили доступ к технологиям аппаратного ускорения (в частности, речь идёт об использовании графических ускорителей NVIDIA и процессоров Intel Xeon Phi).
- Использование параллельных вычислений стало более выгодным на небольшом количестве ядер (верхний сегмент рабочих станций и счётные кластеры начального уровня).
- Для выполнения расчёта стало доступно практически неограниченное количество ядер.
Увеличение количества используемых в расчёте ядер обеспечивает повышение ценности расчёта и достижения новых рубежей. При этом модель ценообразования, принятая компанией ANSYS, позволяет пользоваться новейшими достижениями в быстро эволюционирующей области HPC-вычислений, при этом прирост производительности расчётов превышает затраты на приобретение дополнительных лицензий.
Перечень ссылок:
- “Advances in Accelerator-based CFD Simulation”, Wim Slagter, New Trends in CFD 2, September 2014, DANSIS Seminar.
- “Cray and ANSYS Achieve Extreme Scaling Improvements on ANSYS Fluent Using CSCS’s Cray® XC30™ System”, Application Brief, October 2014.
- “Supercomputing Milestones via Partnerships”, Wim Slagter, ANSYS blog, November 2014.
Southpointe
2600 ANSYS Drive
Canonsburg, PA 15317 USA
724.746.3304
ansysinfo@ansys.com
Компания ANSYS, Inc. является одним из мировых лидеров в области разработки программного обеспечения для физического моделирования в инженерных задачах. Технологии ANSYS предоставляют клиентам компании возможность достоверно предсказывать поведение разнообразных изделий в реальных условиях эксплуатации и обеспечивают уверенность в успешном будущем продуктов. Решения компании ANSYS построены на базе единой платформы и представляют собой набор интегрированных инструментов для решения задач моделирования различных физических процессов. Продукты ANSYS позволяют оптимизировать процесс разработки изделий в различных отраслях промышленности: аэрокосмической, кораблестроительной, энергетической, автомобильной, строительной, химической, сфере разработки продуктов широкого потребления, медицинского оборудования, спортивных товаров и др. Программное обеспечение ANSYS находит применение на всех этапах разработки: от концептуального проекта и до тестирования готового изделия, а также валидации и устранения недочётов существующих продуктов. Продукты ANSYS позволяют существенно ускорить процесс разработки изделий, сократить расходы на проектирование, обеспечить глубокое понимание и повысить эффективность работы изделий и происходящих процессов.
Посетите www.ansys.com для получения дополнительной информации.
Любое и все названия, логотипы и слоганы бренда, продуктов и услуг компании ANSYS, Inc. являются зарегистрированными торговыми марками компании ANSYS, Inc. или её дочерних компаний на территории США или в других странах. Все прочие названия брендов, продуктов, услуг и прочие торговые марки являются собственностью соответствующих владельцев.