ЖУРНАЛ СТА 3/2009

РАЗ РА БОТ КИ / НАУ ЧНЫЕ ИССЛ Е ДОВ АНИЯ 73 CTA 3/2009 www.cta.ru Сетевые решения Вычислительные узлы объединены двумя различными типами сетей, пред- назначенными для обмена данными в процессе вычислений (Gigabit Ether- net) и обмена служебной инфор- мацией (Infiniband), каждая из которых коммутируется соответствующим ком- мутатором сети. Раз- работчики приложе- ний могут вы- бирать ту сеть об- мена данными между уз- лами, которая наилучшим образом подходит для кон- кретного приложения. Исполь- зование Gigabit Ethernet в качестве сети обмена данными между узлами – наиболее простой и распространённый способ решения стандартных задач с ис- пользованием наработанных решений для систем специального назначения. Использование сети Infiniband позво- ляет практически в 10 раз повысить ско- рость обмена данными между узлами и в 20-30 раз снизить задержки при пере- даче данных. Результаты реальных те- стов, проведённых на УМС, определили значения скорости обмена по сети Infiniband в диапазоне от 700 до 1000 Мбайт/с с латентностью в диапа- зоне 3-4 мкс. Кроме того, использова- ние сети Infiniband позволяет снизить нагрузку на центральный процессор, связанную с обработкой достаточно большого массива служебных данных в протоколе TCP/IP. Протокол Infiniband является полностью открытым и под- держивается такими лидирующими производителями, как IBM, Cisco, Sun, Intel, Hitachi и многими другими. Сеть Infiniband хорошо масштабируется практически на любое количество уз- лов. На момент написания статьи были доступны коммутаторы Infiniband вплоть до 288 каналов по 10 Гбит/с каж- дый, что позволяет наращивать количе- ство вычислительных узлов в системе, объединяя между собой стойки. Кроме того, использование Infiniband эффек- тивно при конструировании более слож- ных топологий сети обмена данными – так называемой топологии переключае- мой инфраструктуры (Switched Fabric), когда узлы соединены друг с другом че- рез различные коммутаторы. Такая то- пология более надёжна, так как позво- ляет избежать потери данных при об- рыве одной из связей с узлом. В качестве топологии сети УМС было выбрано неблокирующее соединение уз- лов друг с другом через коммутаторы се- тей Gigabit Ethernet и Infiniband, которое обеспечивает подвод двух каналов Giga- bit Ethernet и одного канала Infiniband 10 Гбит/с к каждому узлу (рис. 2). При такой архитектуре использование протокола Infiniband в неблокирующей топологии позволяет решать задачи, тре- бующие высокоскоростного обмена дан- ными между узлами в режиме реального времени. Вычислительная мощность Максимальная теоретическая вычис- лительная мощность текущей конфигу- рации системы составляет 447 GFLOPS при энергопотреблении 4,5 кВт. Таким образом, благодаря оптимизации архи- тектуры УМС по мощности и использо- ванию низковольтных версий процес- соров достигнуто высокое значение плотности вычислений, реально состав- ляющее 75 GFLOPS/кВт. При этом об- щая архитектура построения УМС на- столько гибка, что позволяет провести замену двухъядерных процессоров на четырёхъядерные с ростом теоретиче- ской вычислительной мощности до 890 GFLOPS. Выбор архитектуры Intel был обуслов- лен несколькими причинами. Во-пер- вых, это возможность использования но- вых двухъядерных процессоров Intel Xeon с микроархитектурой Intel Core, имеющих 4 конвейера для одновремен- ного выполнения операций с плавающей запятой. Во-вторых, это возможность использова- ния низковольтных вер- сий таких процессоров с расчётной тепловой мощ- ностью 40 Вт при тактовой частоте 2,33 ГГц. В-третьих, это гибкость, про- стая масштабируемость архитектуры и возможность дальнейшего подъёма про- изводительности системы с сохранением оптимальных тепловых и массогабарит- ных характеристик. Одной из начальных задач при создании данной вычисли- тельной системы было достижение как можно более низких тепловых характе- ристик для дальнейшего исследования возможности его использования на та- ких объектах, где подвод электроэнер- гии и отвод тепловой мощности ограничены. В дополнение к перечисленным тех- нологиям в серверных платформах, по- строенных на основе чипсета Intel 5000X и предназначенных для создания высо- копроизводительных вычислительных систем, реализован фильтр когерентно- сти кэш-памяти, который позволяет су- щественно увеличить производитель- ность двухпроцессорных вычислитель- ных систем при работе со многими типами сложных вычислительных задач, а также повысить эффективность ис- пользования полосы пропускания внеш- ней шины процессора (FSB – Front Side Bus) при работе с ресурсоёмкими при- ложениями. Основные технические характери- стики унифицированной мультипроцес- сорной системы представлены в табл. 1. Управляющий процессор, входящий в состав вычислительной системы, для пе- редачи программ и данных в память, а также для параллельного запуска задачи использует стандартный интерфейс пе- редачи сообщений MPI (Message Passing Interface) [1]. О БЛАСТИ ПРИМЕНЕНИЯ Основной интерес для пользователя представляет реальная производитель- ность вычислителя на «трудоёмких» за- дачах. Хорошо всем известно, что ука- занная в рекламе производительность ча- Вычислительный узел № 5 2 × Intel Xeon 2,33 ГГц Вычислительный узел № 6 2 × Intel Xeon 2,33 ГГц Вычислительный узел № 4 2 × Intel Xeon 2,33 ГГц Вычислительный узел № 7 2 × Intel Xeon 2,33 ГГц Вычислительный узел № 8 2 × Intel Xeon 2,33 ГГц Вычислительный узел № 9 2 × Intel Xeon 2,33 ГГц Вычислительный узел № 3 2 × Intel Xeon 2,33 ГГц Вычислительный узел № 10 2 × Intel Xeon 2,33 ГГц Вычислительный узел № 1 2 × Intel Xeon 2,33 ГГц Вычислительный узел № 11 2 × Intel Xeon 2,33 ГГц Вычислительный узел № 12 2 × Intel Xeon 2,33 ГГц Коммутатор Infiniband 12 портов 10 Гбит/с на порт Коммутатор Gigabit Ethernet Коммутатор Gigabit Ethernet Центральный cервер 2 × Intel Xeon 2,33 ГГц Монитор и переключатель клавиатура/видео/мышь Источник бесперебойного питания Вычислительный узел № 2 2 × Intel Xeon 2,33 ГГц Рис. 2. Топология сети мультипроцессорной системы © СТА-ПРЕСС