Перейти к части 1
Перейти к части 2
Перейти к части 3

МОДУЛЬНЫЕ ИЛИ МОНОБЛОЧНЫЕ?

Если предполагается наращивать мощности ЦОД, важное значение приобретает масштабируемость. По мнению Сергея Шербакова, это одно из основных требований при проектировании и построении инженерных систем ЦОД. Масштабируемые системы электропитания/охлаждения способны поддерживать оптимальную загрузку и, соответственно, высокий КПД в целом даже при высокой динамике изменений. Использование модульных систем, позволяющих поэтапно увеличивать мощность и осуществлять переконфигурирование, а также обладающих малым временем восстановления, — один из основных подходов APC при построении инженерных систем ЦОД.

Применение масштабируемых систем бесперебойного питания помогает снизить риски, связанные с неправильной оценкой будущих потребностей в энергообеспечении. В ЦОД часто применяются модульные ИБП, состоящие из модулей ИБП и модулей батарей. И те и другие подключаются параллельно (с распределением нагрузки), а управляющий модуль дублируется. Преимущество такой конструкции заключается в возможности наращивания (модули можно добавлять, увеличивая мощность ИБП) и избыточности (отказ одного модуля не влияет на питание нагрузки), а эксплуатация системы становится более удобной. Если в моноблочных ИБП (APC Galaхy, Chloride 80-NET, Liebert HiPulsе или Socomec Masterys MP) надежность достигается за счет параллельного включения самих источников, то в модульных системах резервируются отдельные элементы.

Модульные системы можно приобрести с относительно небольшими затратами (на основной шкаф и систему распределения электропитания) и докупать в последующем дополнительные модули (см. Рисунок 6). В противном случае ЦОД приходится создавать таким образом, чтобы он полностью соответствовал будущим требованиям. Тогда объемы капитало-вложений и фиксированные затраты на электроэнергию и аренду окажутся слишком высокими, а нагрузка ИБП — неоптимальной. Однако, как указывает Дмитрий Ткачев, чтобы увеличить нагрузку на единичный ИБП, система должна быть многомодульной (N+1) с малой единичной мощностью одного модуля. Тем самым ее стоимость увеличивается, для электрощитовых приходится выделять более просторные помещения, а надежность снижается из-за повышения вероятности выхода из строя одного из модулей.

Хотя модульные ИБП позволяют инвестировать средства поэтапно, в конечном счете они обходятся дороже моноблочных. Между тем, по словам Владимира Башкирова, менеджера отдела Data Centre Solutions компании Rittal, за счет компактности, снижения эксплуа-тационных затрат и потребности в ЗИП модульные ИБП обеспечивают определенную экономию (см. Рисунок 7): TCO у них ниже на 30% по сравнению с моноблочными ИБП. К тому же модули можно заменять в «горячем» режиме. По данным Rittal, снижение затрат на обслуживание достигается за счет компактности модулей ИБП, упрощенного управления ими (технологии динамической настройки конфигурации) и простой замены модулей без прерывания работы устройства, что значительно упрощает ремонт ИБП. В качестве резервного достаточно хранить только один сменный модуль (с самой высокой производительностью). Поврежденный модуль можно отправить в сервисный центр для ремонта. Такая конструкция самым благоприятным образом сказывается на времени восстановления системы (обычно не более 15 мин) и не требует высокой квалификации от персонала.

Модульный ИБП Rittal PMC 200 (компонент Rittal RimatriX5) на 8-200 кВт предусматривает различные конфигурации, содержащие до трех-пяти модулей 24/32/40 или 8/12/16/20 кВт с внешним шкафом для батарей. Обычно мощность модульных ИБП не превышает 200 кВА, хотя, например, мощность одного модуля APC Symmetra MW составляет 200 кВт, а суммарная мощность системы — 1600 кВт. Значительное число элементов и контактов, а также наличие общей шины снижает надежность модульной архитектуры по сравнению с моноблочными ИБП. Однако, по мнению Андрея Шубравого, с точки зрения готовности (а не MTBF) ИБП модульной конструкции предпочтительнее: неисправный модуль всегда можно заменить, не оставляя оборудование без защиты по электропитанию.

Некоторые разработчики пытаются повысить надежность за счет уменьшения числа общих узлов в модульных ИБП, оснащая модули собственными блоками управления, байпасами и батареями (такой подход реализован в Eaton BladeUPS). Одно из интересных направлений развития архитектуры модульных ИБП представляет новая разработка AEG Power Solutions — ИБП Protect 8. Продукт предусматривает возможность индивидуального подбора функциональных блоков ИБП (модуля выпрямителя, инвертора и байпаса), исходя из потребностей заказчика. Первой моделью данной серии стал ИБП Protect 8 31 с трехфазным входом и выходом, однако это оборудование предназначено для промышленных приложений.

Андрей Вотановский считает, что модульные ИБП пользуются наибольшим спросом, если требуемая мощность не превышает 200 кВА. С точки зрения статистики, самой надежной модульной системой, когда питание общей нагрузки осуществляется от одного ввода, является устройство со схемой резервирования 1+1. Далее с ростом количества модулей увеличивается и количество точек отказа. Моноблочные системы со схемой резервирования 2N (где резервирование реализовано по двум независимым лучам питания, каждый из которых защищен моноблочным ИБП) способны обеспечить высокий уровень надежности, однако нагрузка должна поддерживать двойной ввод электропитания. Для тех случаев, когда соответствующая поддержка отсутствует, Emerson предлагает систему Liebert HiSwitch2, позволяющую зарезервировать такую нагрузку от двух источников.

В целом выбор модульной (например, APC InfraStruXure, Rittal RimatriX5) или моноблочной системы (производства Eaton, GE, NeuHaus, AEG или других вендоров) определяется целым рядом факторов: размером бюджета, динамикой изменений в ЦОД, организацией обслуживания, характером решаемой задачи, а также предпочтениями заказчика или системного интегратора. Обычно при условии правильного расчета мощности модульная система позволяет сэкономить на начальных инвестициях (если она не закупается сразу на полную мощность) и операционных затратах (на электроэнергии и обслуживании). Однако для приложений с потребляемой мощностью более 100 кВА Станислав Коларж рекомендует использовать моноблочные ИБП исходя из соображений надежности и масштабируемости. Он считает применение модульных ИБП оптимальным (преимущественно по ценовому фактору) для ЦОД меньшей мощности. По мнению Олега Кущева, наиболее приемлемый вариант использования модульных ИБП – отсутствие повышенных требований к надежности системы и небольшая мощность серверного оборудования.

Как подчеркивает Анатолий Маслов, для современных ЦОД типичная мощность составляет более 100 кВА, а добавление модулей «по горизонтали» приводит к ее чрезмерному «дроблению» (по силовой части и батареям), что значительно увеличивает расходы на сервисное обслуживание. Специалисты Chloride считают, что для современного большого ЦОД необходим моноблочный ИБП, имеющий некоторые преимущества модульного. Например, все новые линейки ИБП Chloride (серии с диапазоном мощностей 10-120 кВА) имеют модульную структуру для простоты обслуживания (отдельные силовые блоки по фазам, модули выпрямителя, инвертора и зарядного устройства). Таким образом, модульные системы с избыточностью целесообразно применять для малых ЦОД, а бесперебойность крупных должны поддерживать моноблочные ИБП с полным (по всем элементам) вертикальным резервированием.

«Горизонтальные» модульные системы, например, новый ИБП Chloride 80-Net (см. Рисунок 8), имеют малое время восстановления (MTTR). Однако слишком большое количество соединений и дробление по мощности понижает наработку на отказ (MTBF). «У моноблочных систем с «вертикальной» модульностью ситуация противоположная», — резюмирует Анатолий Маслов.

ЦЕНТРАЛИЗОВАННАЯ И РАСПРЕДЕЛЕННАЯ ЗАЩИТА

Общепринятой схемой в вычислительных центрах является централизованная защита электропитания, когда мощные системы ИБП защищают все оборудование ЦОД и систему его охлаждения. Станислав Коларж советует прорабатывать проект «вглубь», до уровня шкафа с серверным оборудованием. В таком случае удастся достичь необходимой унификации, что упростит задачу монтажникам и облегчит эксплуатацию оборудования. Отдельного внимания заслуживает вариант с иерархической архитектурой бесперебойного питания, где используется второй уровень ИБП.

Альтернативная схема — распределенная защита — предполагает, что каждый элемент оборудования обслуживается отдельным ИБП. Такой подход позволяет рационально расходовать средства и подбирать модели ИБП с адекватной мощностью и надежностью, однако при наращивании стоимость единицы мощности будет выше, чем у централизованной системы. Парал-лельно со снижением энергопотребления самих серверов (см. Рисунок 9) продолжается поиск экономичных вариантов децентрализованных систем бесперебойного электропитания.

В прошлом году группа инженеров Google подала заявку на патент высокоэффективной системы электропитания на уровне серверов, где ИБП и батареи перенесены с уровня ЦОД на уровень отдельных стоек. Высокая эффективность достигается за счет однократного преобразования переменного тока в постоянный (AC/DC). ИБП уровня сервера включает в себя систему обнаружения отказа питания и батарею. Кроме того, специальный контроллер следит за состоянием батареи и корректно завершает работу сервера, когда ее энергия исчерпана. Однако выбор серверов с питанием постоянного тока очень ограничен, и такое оборудование обходится дороже. Это одна из известных проблем давно обсуждаемой возможности перевода ЦОД на питание постоянным током. По оценкам большинства экспертов, весь ЦОД переводить на DC неэкономично.

Например, Анатолий Маслов называет следующие недостатки систем DC: невозможность применения байпаса при проведении сервисных работ (в некоторых случаях), риски появления дуг в разъемных соединениях (поэтому нужны системы дугогашения), соблюдение отличных от AC норм безопасности, иные методы подготовки кадров и др. Преимущества DC для ЦОД не столь очевидны, чтобы коренным образом менять схемы построения СБЭ.

Между тем предложенный Google вариант вполне жизнеспособен. В октябре прошлого года показатель эффективности (Power Usage Effectiveness, PUE), подсчитанный для шести ЦОД Google, достиг 1,21. В IV квартале он уменьшился до 1,16, а в текущем году — до 1,15. Ключевым фактором такого успеха Google считает именно применение встроенных в серверные стойки ИБП. Как утверждается, КПД у таких ИБП достигает 99,9% против 92-95%, характерных для большинства современных источников питания.

Олег Кущев полагает, что подобное решение может стать хорошим дополнением к централизованной системе бесперебойного питания, но вряд ли способно ее заменить. Кроме бесперебойного электроснабжения, централизованная система решает задачу обеспечения его качества, однако перенос оборудования на блоки питания увеличит стоимость решения и сделает его неконкурентоспособным. Андрей Шубравый обращает внимание на ненадежность подобной схемы. При появлении проблем в централизованном оборудовании электропитания проще найти причину и устранить ее, тогда как в децентрализованной системе сделать это намного сложнее.

Андрей Вотановский не сомневается в том, что данная концепция интересна только для малых и средних ЦОД. Чересчур рассредоточенная система имеет множество точек отказа и разную наработку на отказ, причем с вводом нового оборудования ситуация может только ухудшиться, а контроль за состоянием системы и ее восстановление станут очень сложными. Кроме того, обслуживающему персоналу придется регулярно вмешиваться в работу серверного и телекоммуникационного оборудования, что усилит влияние «человеческого фактора» на сбои системы. Помимо этого, возникают вопросы резервирования в момент замены батарей и обеспечения нормальных температурных условий для батарей в высоконагруженных стойках. Таким образом, проблем пока больше, чем преимуществ.

По словам Сергея Щербакова, централизованная система выгоднее в эксплуатации. Кроме того, она позволяет варьировать необходимое время автономной работы и уровень резервирования, в то время как возможности системы со встроенными батареями ограничены — едва ли можно встроить в сервер батарею большей емкости. Однако не исключено, что в каких-то ситуациях данная технология окажется более выгодной.

По мнению Люка Божерини, менеджера по продуктам AEG Power Solutions, делать выводы относительно новых идей и технологий преждевременно — необходима проверка временем. Особенно это касается такой области, как ИБП, где очень важна защита инвестиций. Консерватизм заказчиков — одно из основных препятствий в продвижении новых технологий ИБП. В любом случае главным качеством ИБП остается надежность.

ЗАКЛЮЧЕНИЕ

Для проектирования и выбора решений производители предлагают вспомогательные инструменты — специальные программные средства. Например, у APC это набор Web-приложений APC TradeOff Tools (см. Рисунок 10). По словам Сергея Щербакова, клиенты проявляют к ним интерес, и в последнее время при подготовке многих проектов компании приходится отвечать на вопросы относительно эффективности предложенного решения, его окупаемости и т.д. Что касается наиболее значимых инноваций, реализованных в ИБП, то APC указывает, прежде всего, на отказ от тиристорных выпрямителей, использование транзисторов IGBT или технологии MOSFET. Мощность решений APC на этой элементной базе достигла 500 кВт. К важнейшим инновациям можно отнести технологии, применение которых повышает эффективность и сокращает время восстановления системы, увеличивая тем самым ее надежность.

Экономическая привлекательность технического решения предполагает его тщательную проработку на этапе проектирования и учет всех задач, которые должен решать конкретный ЦОД, подчеркивает Олег Соколов. По словам Станислава Коларжа, актуальным является использование правильного подхода к проектированию систем электропитания с привлечением квалифицированных специалистов, знающих тонкости и специфику современного оборудования, а также экспертиза проекта независимыми консультантами. Такой подход хорошо работает в развитых странах и позволяет создавать максимально оптимизированные решения. Однако для этого требуется достаточное число грамотных проектировщиков, работающих в независимых организациях, а заказчики должны осознавать важность и экономическую эффективность системного сбалансированного подхода, реализованного с применением высококачественных технологий.

Сергей Орлов — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.

Рисунок 1. Ежегодная экономия (в Европе) в случае применения ИБП, КПД которого достигает 96%, по сравнению с источниками бесперебойного питания с КПД 93% и 94% (по данным Socomec UPS).

Рисунок 2. В Uptime Institute для увеличения надежности рекомендуют дублировать цепи питания и подключать компьютерное оборудование к резервируемым ИБП.

Рисунок 4. По данным Socomec UPS, система управления АКБ Expert Battery System (EBS) на 50% уменьшает преждевременный износ батарей и считает стоимость владения ими.

Рисунок 7. Модульная концепция энергоснабжения Rittal РМС обеспечивает, по данным компании, сокращение затрат на обслуживание до 30%, а на хранение запчастей — до 50%.

Рисунок 9. По данным Emerson Network Power, 1 Вт, сэкономленный в серверном оборудовании, сокращает общее энергопотребление ЦОД на 2,84 Вт.

Альтернатива аккумуляторам

дно из направлений разработок в области ИБП связано с поиском альтернативы традиционным аккумуляторным батареям. Некоторые производители предлагают ИБП, где вместо аккумуляторных батарей используется маховик-ротор (Flyweel), накапливающий кинетическую энергию. В последние два-три года на такие устройства приходится около 5-6% мирового рынка. В отрасли широко известны разработки компании Pentadyne, с которой сотрудничают многие поставщики ИБП подобного типа. Часто такая система работает наряду с обычной моделью ИБП вместо аккумуляторов. Однако при очень высоком КПД ротора (например, КПД системы Socomec Flywheel VSS+ DC составляет 99,8%) и малом времени «зарядки» (примерно 5 мин) у подобных систем есть, по крайней мере, два очень серьезных недостатка: они стоят втрое дороже традиционных систем и обеспечивают очень малое (10-12 сек) время работы нагрузки при отказе основного питания.

По мнению Константина Соколова, внедрение роторных систем сдерживается желанием заказчика получить максимальную автономию для ИБП за счет АКБ (традиционный подход), низким уровнем сервиса ДГУ, не гарантирующим надежного и быстрого запуска при аварии в электросети, а также значительными первоначальными вложениями. Хотя системы с маховиком почти не требуют обслуживания и отличаются длительным «жизненным циклом», у них очень большой срок окупаемости (до двух десятков лет). Мало кто рассчитывает общую стоимость владения на столь длительный период. Кроме того, сказывается отсутствие опыта установки и эксплуатации таких систем. Однако перспективы у данных систем есть: они могут применяться как дополнение к аккумуляторным батареям, позволяя сохранять их ресурс во время краткосрочных перебоев питания — в этом уверены сотрудники компании Emerson, предлагающей накопители энергии Flywheel Energy Storage System Liebert FS мощностью 190 кВт.

Спрос на подобные решения низок. Например, Socomec пока не удалось осуществить ни одной поставки такого продукта российским заказчикам. Socomec и Liebert (подразделение Emerson Network Power) используют в своих роторных системах разработки Pentadyne. В числе других известных вендоров — компании Power Protection и Active Power, которая с 1992 г. в общей сложности продала 1500 роторных ИБП. Хотя разработки в области альтернативных источников энергии для ИБП (включая маховики и топливные элементы) продолжаются, по цене, надежности и удобству пока ничто не может заменить традиционные батареи. Между тем, как отмечают в компании Socomec, маховики рекомендуется устанавливать в агрессивных и труднодоступных средах, так как в результате существенно снижается ТСО. Именно это обстоятельство, наряду с экологичностью, — основное преимущество подобного оборудования.

ИБП на испытании

ак правильно организовать испытания ИБП (и системы бесперебойного электропитания в целом) при сдаче проекта ЦОД? Специалисты Emerson. При сдаче системы рекомендуют произвести запуск на тестовую нагрузку, близкую по мощности к расчетной нагрузке ЦОД (если это возможно физически), и проверить ИБП во всех режимах работы. Запускать систему должен сертифицированный инженер. Обычно, поясняет Олег Соколов, при тестировании проверяют ток заряда батарей, время автономной работы и реакцию ИБП на перегрузки. Одной из наиболее значимых инноваций последних лет он считает расширение средств внутренней самодиагностики ИБП средней и большой мощности.

Как рассказывает Сергей Щербаков, при сдаче в эксплуатацию системы ИБП обязательно проходят тестирование — «прогоняются» во всех возможных режимах работы (от сети, от батарей, в байпасном режиме, при смене режима и т. д.). В идеале нужно испытывать ИБП под нагрузкой, однако реализовать это очень сложно, поскольку ИБП сдается, когда полной нагрузки еще нет, и тестируется в холостом режиме, что, конечно, не совсем правильно. Однако найти необходимое испытательное оборудование (испытательный стенд) — непростая задача.

По словам Андрея Шубравого, все источники питания проходят тестирование на рассчитанную нагрузку еще на заводе. Если при составлении спецификации были учтены все потребители электропитания, то сложностей при подключении и дальнейшем использовании систем, скорее всего, не будет. Chloride предлагает свою методику проверки: выходное тестирование одиночных ИБП в различных режимах на заводе изготовителя, испытание всей системы на тестовой площадке представительства Chloride («Клорайд Рус»), причем схема соединения соответствует той, какой она будет на объекте, а также специальное тестирование на месте эксплуатации.

Если индивидуальные испытания ИБП при пуско-наладке — задача сервисного инженера, то системы бесперебойного питания в целом испытываются в каждом конкретном случае по своим схемам в зависимости от структуры их построения, рассказывает Андрей Ткачев. Такие комплексные испытания возлагаются на заказчика, а их программа разрабатывается инженерными службами владельца ЦОД или заказывается у разработчика системы бесперебойного питания.

Перейти к части 1
Перейти к части 2
Перейти к части 3