Тема энергоэффективности является одной из наиболее актуальных для современных ЦОДов, ведь снижение эксплуатационных расходов напрямую влияет на сокращение сроков окупаемости. Но подходы, применяемые в России и странах Запада, несколько отличаются. О том, какие технологии обеспечивают наилучшую энергоэффективность, о нестандартных подходах и многом другом рассказали эксперты рынка в рамках нашей традиционной рубрики «Круглый стол».
— Если проанализировать опыт известных вам российских проектов ЦОД, то какие энергосберегающие технологии оказываются наиболее эффективными с экономической точки зрения?
Виталий НИКОЛАЕВ: В первую очередь я бы назвал системы, использующие непрямой фрикулинг: они дают наилучший эффект в наших условиях. Например, моноблочные чиллеры с опцией свободного охлаждения. Но использование таких систем ведет к значительному увеличению капитальных вложений в создание дата-центра. Сергей МИЩУК: Свободное охлаждение (фрикулинг) и источники бесперебойного питания с высоким КПД. Что касается ДРИБП, то достоверной информации об их энергоэффективности у нас до сих пор нет.
Павел САВРАНСКИЙ: На мой взгляд, основной источник энергосберегающих технологий — в системах охлаждения. Это наиболее сложный физический процесс в ЦОДе, и вариативность здесь очень большая.
Юрий ДРАБКИН: Самое основное, на мой взгляд, — изоляция воздушных коридоров. Этот подход является самым простым и экономически эффективным методом экономии. Применение системы изоляции поможет сократить расходы электроэнергии на 10–15%.
Михаил ЗОЛОТАРЕВ: Прежде всего, надо отметить использование роторных теплообменников для охлаждения ЦОДов. Установки на основе этой технологии сочетают высокое качество поддержания климатических параметров, экономию энергии и простоту обслуживания. Хорошо зарекомендовали себя дизель-роторные динамические ИБП, однако для того, чтобы они могли проявить свою энергоэффективность, нагрузка должна составлять не менее половины номинальной мощности.
Михаил САЛИКОВ: Российские ЦОДы сейчас не настолько сфокусированы на применении энергосберегающих технологий, как европейские. Поэтому в отечественных дата-центрах стараются использовать проверенные подходы, в большинстве случаев избегая экспериментов с разнообразными новинками. В связи с этим список будет достаточно традиционным: системы охлаждения с фрикулингом, дизель-роторные ИБП (ДРИБП), ИБП с литий-ионными аккумуляторами. Все больше ЦОДов используют модульные источники бесперебойного питания, которые позволяют плавно наращивать мощность по мере увеличения загрузки машинных залов.
— Отличается ли подход к использованию энергоэффективных технологий для ЦОДов в России и, скажем, в ЕС или США?
Виталий НИКОЛАЕВ: Я бы отметил, что общий подход к использованию энергоэффективных технологий везде одинаковый: он оценивается с позиции денег. Возможно, чуть дальше продвинулись в этом вопросе коллеги из США. У них рынок энергосберегающих решений уже устоялся, есть конкретные методики, позволяющие оценивать соотношение объема инвестиций и ожидаемого экономического эффекта. Эта оценка проводится еще на этапе бюджетирования без привязки к конкретным техническим решениям. Довольно весомый фактор, оказывающий влияние на инвестиции в энергосбережение, — стоимость энергоресурсов, а также развитость энергетического рынка. В России энергоресурсы дешевые, а деньги «дорогие» и «короткие». К тому же полностью отсутствует энергетический рынок. Все это в сумме является огромным сдерживающим фактором на пути развития и применения энергоэффективных технологий в российских ЦОДах.
Юрий ДРАБКИН: На мой взгляд, подход отличается значительно. В США и ЕС заказчики готовы использовать энергоэффективные решения, даже если срок окупаемости будет составлять 7–8 лет. В российских реалиях я слышу о готовности применять энергоэффективные технологии (скажем, «теплую» воду, оборудование с фрикулингом и т. д.) при сроке окупаемости не более трех лет. Зачастую на Западе в TCO энергоэффективных решений, согласно законодательству, включают налоговые льготы для компаний. То есть применение энергоэффективных решений стимулируется на государственном уровне и позволяет сократить налоговую нагрузку для тех компаний, которые применяют «зеленые» технологии. Аналогий на рынке РФ я пока не наблюдаю.
Михаил ЗОЛОТАРЕВ: Подходы отличаются, и это связано с экономическими условиями. В самых экономически развитых странах мира электроэнергия в среднем дороже, чем у нас, а банковский процент по кредитам гораздо ниже. Срок окупаемости проекта может быть гораздо длительнее. Ниже общие риски нестабильности. Поэтому в данном случае зачастую наиболее эффективным подходом является тот, при котором используется решение с более высокими стартовыми затратами. Другими словами, энергоэффективность играет значительную роль в экономике проекта, поэтому имеет смысл больше в нее вкладывать. В наших условиях можно сделать, к примеру, такую приблизительную оценку: 1 кВт ресурсов для ИТ-нагрузки (бесперебойное питание и охлаждение) обходится примерно в 200 тысяч рублей при постройке дата-центра уровня Tier III. Предположим, что за счет энергоэффективных решений удалось снизить PUE с 1,5 до 1,25. За год экономия стоимости энергии на киловатт ИТ-нагрузки составит около 10 тысяч рублей. Таким образом, прямая экономия электроэнергии может оправдать увеличение цены оборудования и строительства не более чем на 20%. Но, кроме прямой экономии электроэнергии, надо брать в расчет снижение требуемой мощности присоединения к сетям и установок гарантированного питания. Например, при снижении пикового потребления оборудования охлаждения можно уменьшить количество ДГУ и трансформаторов гарантированного питания, сократить сечение электрических линий. И как раз это сокращение объема капитальных затрат на старте проекта оказывается в наших условиях важнее, чем растянутая во времени экономия энергии при работе.
Михаил САЛИКОВ: Основные отличия больше связаны с действующим законодательством. Европейские ЦОДы часто используют альтернативные источники энергии, системы накопления электроэнергии, а также решения, позволяющие ЦОДу использовать преимущества программ по поддержанию частоты тока в распределительных электросетях. Это дает возможность не только экономить на ресурсах, но и получать дополнительный доход путем продажи электроэнергии, накопленной в системах бесперебойного питания, сетевым компаниям или другим конечным потребителям. В России соответствующее законодательство 30 ноябрь 2019 пока что отсутствует и вряд ли появится в ближайшие пять лет. Если говорить не только о технологиях, но и в принципе о подходе к бизнесу с фокусом на энергоэффективность, то в Европе уже давно получили распространение контракты на строительство ЦОДов, при заключении которых подрядчик обязуется обеспечить достижение среднегодового PUE эксплуатируемого объекта на уровне 1,14–1,20. Такие контракты предусматривают выплаты владельцу ЦОДа со стороны генподрядчика разницы, возникающей при реально достигнутом среднегодовом коэффициенте, который будет превышать оговоренные показатели. Таким образом, все участники проекта заинтересованы не только в качестве строительства, но и в применении наиболее эффективных и надежных технологий.
Сергей МИЩУК: Я вижу отличие в том, что поскольку в России электричество дешевле, то и стимул к внедрению энергоэффективных технологий слабее.
— Каков фактический средний срок окупаемости систем охлаждения с фрикулингом в российских реалиях? Какой тип фрикулинга — прямой или непрямой — более предпочтителен с экономической точки зрения?
Михаил ЗОЛОТАРЕВ: С точки зрения начальных вложений и экономичности в работе прямой фрикулинг, конечно, вне конкуренции. Его применение ограничивается техническими моментами и требованиями потребителя. Например, не стоит использовать прямой фрикулинг (т. е. прямую вентиляцию машинных залов), если атмосферный воздух в районе расположения объекта недостаточно чист или часто сочетаются высокая температура и влажность. Даже в благоприятных внешних условиях такой подход к охлаждению эффективен лишь в специализированных дата-центрах, где разрешен широкий диапазон температур и влажности. В качестве примера можно привести новые проекты Facebook и «Яндекс», расположенные вдали от больших городов. В них установлены специализированные серверы, а плановые сроки обновления оборудования не подразумевают его большой долговечности. Если потребителю необходимы стандартные условия для типового оборудования, то прямая вентиляция может использоваться в течение очень ограниченного количества часов в году. Для таких проектов непрямой фрикулиг оказывается зачастую более эффективным решением по совокупности факторов. Окупаемость надо оценивать исходя из комплексного влияния на бюджет проекта. При дорогом присоединении к электросетям энергоэффективное оборудование может окупиться уже на старте.
Виталий НИКОЛАЕВ: По моей оценке, если говорить о непрямом фрикулинге, средний срок окупаемости таких систем близок к 8–10 годам. Что касается прямого свободного охлаждения, то здесь экономическая часть более интересна для российского рынка в целом. Срок окупаемости может быть меньше, но применение таких технологий несколько ограничено из-за особенностей географического размещения отечественных площадок. Например, в черте города очень сложно реализовать качественную систему охлаждения на основе прямого фрикулинга. Сергей МИЩУК: На этот вопрос трудно ответить корректно. Зависит как от выбора схемы фрикулинга, так и от проекта в целом. К тому же использование фрикулинга влияет на всю систему холодоснабжения: не всегда можно просто выкинуть опции фрикулинга из проекта и сравнить, как будет без него. Прямой фрикулинг выглядит предпочтительнее с точки зрения затрат, но область его применения весьма ограничена, ведь нужно проектировать вычислительную инфраструктуру с учетом климатических условий. Для обычных коммерческих ЦОДов это нереально.
Юрий ДРАБКИН: Могу сказать, что в моей практике срок окупаемости составляет до 2,5–3 лет. При этом в подавляющем большинстве заказчики применяют системы непрямого фрикулинга. Прямое охлаждение наружным воздухом экономически более выгодно. Но лишь с точки зрения затрат на инженерную инфраструктуру. В наших реалиях могут существенно возрасти расходы на поддержание работоспособности и гарантии ИТ-оборудования. У одного заказчика, который использовал систему прямого фрикулинга, вместе с воздухом в помещение ЦОДа попали следы дыма от дизелей, запущенных для проверки. Результатом стало срабатывание аспирационных датчиков системы раннего обнаружения возгораний. Система АГПТ не сработала, и газ не вышел, но служба эксплуатации пережила немало неприятных моментов.
— Окупают ли себя в российских условиях комбинированные системы отвода тепла, сочетающие в себе сразу несколько технологий — фрикулинг, адиабатику, классическое охлаждение? В чем их реальные недостатки и достоинства?
Виталий НИКОЛАЕВ: Очень неоднозначный вопрос. Мое личное мнение — нет, не окупают. Стоимость таких инсталляций весьма значительная, и цена обслуживания рабочей системы также будет немалой. При этом срок службы оборудования редко преодолевает десятилетний рубеж, а это как раз близко к сроку окупаемости в наших условиях. Таким образом, когда система, казалось бы, начала себя окупать, приходит время капитального ремонта или замены оборудования. Это обстоятельство в принципе перечеркивает даже теоретическую возможность окупить подобную систему. Юрий ДРАБКИН: На мой субъективный взгляд, применение комбинированных систем охлаждения окупается. Главным недостатком здесь я бы назвал необходимость учета установки таких решений на стадии При дорогом присоединении к электросетям энергоэффективное оборудование может окупиться уже на старте проектирования и невозможность вписать их в действующую инфраструктуру.
Михаил ЗОЛОТАРЕВ: В коммерческих дата-центрах, где потребитель не готов согласиться с температурой холодного коридора до +30 °С в летние дни, системы должны быть комбинированными. То есть естественную теплопередачу, фрикулинг, необходимо сочетать с холодильными машинами. Бескомпрессорные решения, даже с адиабатическим испарением, не могут обеспечить стандартный температурный диапазон в зале ни в Москве, ни в Санкт-Петербурге, как бы неожиданно это ни звучало. Наверное, можно построить бескомпрессорный дата-центр с чрезвычайно переразмеренными радиаторами и теоретической возможностью удерживать +27 °С при 20-летнем максимуме по влажному термометру. Но едва ли серьезный заказчик будет счастлив принять участие в таком смелом эксперименте. Скорее, он проявит здоровый консерватизм и выберет классический подход. Для эффективного энергосбережения большое значение имеет не только само оборудование, но и компоновка дата-центра: достаточность сечения путей для воздушных потоков на всем их протяжении, длина силовых линий питания и тому подобное.
— Сталкивались ли вы с российскими дата-центрами, которые бы использовали систему охлаждения типа Kyoto-cooling? Если да, то насколько эффективна такая концепция, по вашему мнению?
Виталий НИКОЛАЕВ: Мне известны две большие инсталляции: ЦОД «Яндекс» в Москве и Xelent в Санкт-Петербурге. Эти площадки используют именно роторные теплообменники в конструкции системы охлаждения. Отдельно стоит упомянуть «Сбербанк» в Сколково, где система охлаждения построена на вентиляционных машинах с примененными рекуператорами, которые вполне могут быть роторными. В целом применение роторного теплообменника в системах охлаждения — идея не новая. Более того, в системах промышленной вентиляции эта практика распространена довольно широко. В то же время при использовании теплообменника такого типа имеется ряд особенностей, в числе которых — сложность поддержания влажности и стабильности теплового потока. Сама же технология, перекочевавшая из химической промышленности в сферу гражданских объектов, уже давно себя зарекомендовала как жизнеспособная и весьма эффективная.
Михаил ЗОЛОТАРЕВ: Да, как раз наш дата-центр Xelent изначально проектировался под установки производства Kyoto Cooling B.V. Так что могу поделиться впечатлениями от их использования. В архитектуру здания изначально была заложена возможность эффективного распределения воздушных потоков установок мощностью по 600 кВт. Практика эксплуатации подтвердила правильность выбранной компоновки без фальшпола. Воздух от установок до стоек распределяется по коридорам сечением более 12 квадратных метров, не появляется проблем из-за завихрений и больших перепадов давления. Каждая стойка использует ровно столько холодного воздуха, сколько необходимо для оборудования, без встречного давления или излишней прокачки. Сами установки за пять лет работы показали высокую надежность и минимальные потребности в обслуживании. Благодаря отсутствию жидкого теплоносителя сервис на практике сводится к замене воздушных фильтров, которая проводится с периодичностью раз в полгода-год — в зависимости от скорости загрязнения. Кроме того, сухая схема охлаждения, без жидкого теплоносителя, в принципе исключает риск затопления оборудования. В серверном модуле присутствует единственный водопровод диаметром полдюйма для увлажнителей, проложенный вне серверных залов. Также исключается замена теплоносителя, нет необходимости контролировать его свойства, проверять отсутствие утечек. Всего два инженера обеспечивают всю текущую эксплуатацию и обслуживание восьми установок суммарной производительностью более 4 МВт. В холодное время года средние затраты энергии на работу установок охлаждения составляют около 8% от ИТ-нагрузки дата-центра. Летом для охлаждения в среднем в месяц тратится не более 20% от ИТ-нагрузки. Для достижения этого результата критически важны алгоритмы управления, обеспечивающие устойчивость совместной работы роторного теплообменника и холодильных машин. И здесь надо оценить ноу-хау разработчиков, обеспечивших минимальное возможное потребление во всем диапазоне условий. В целом решение оценивается очень позитивно. Для всего ЦОДа удалось добиться среднегодового уровня PUE 1,3. При этом для получения наилучшего результата нельзя упускать из виду некоторые тонкости, которые имеются при строительстве и эксплуатации.
— Известны ли вам проекты в России, где бы использовалась система охлаждения с водяным фрикулингом (например, размещение теплообменника во внешнем водоеме)? Если да, то насколько такая схема эффективна?
Виталий НИКОЛАЕВ: Такие проекты мне известны, правда, охлаждают они не серверные помещения дата-центров, а технологические нагрузки гидроэлектростанций. Во всяком случае те, что мне доводилось видеть. Система очень проста, весьма эффективна и неэнергозатратна. Но, разумеется, для ее реализации требуется соответствующий водоем. Если его сооружение исключить из стоимости системы — все прекрасно. Подход, когда в качестве теплоприемника используются естественные водоемы, вызывает много вопросов с точки зрения действующих экологических норм и соответствующего законодательства.
Павел САВРАНСКИЙ: Такой подход активно применяется в специальном строительстве начиная с 60-х годов прошлого века. Его эффективность доказана. Данная технология успешно применяется на многих объектах в нашей стране. Но в коммерческой среде подобного мне лично видеть не доводилось.
Михаил ЗОЛОТАРЕВ: Мне такие решения не встречались. Скорее всего, экологические согласования сброса тепла в естественный водоем в нашей стране могут превратиться в крайне сложную процедуру. Жаль, что не приживаются у нас проекты, позволяющие продавать избыточное тепло потребителям в сфере ЖКХ.
— Актуальны ли для российских ЦОДов системы альтернативной энергетики (солнечные панели, ветровые электростанции) хотя бы на уровне вспомогательных источников питания?
Виталий НИКОЛАЕВ: С нынешним законодательством в области энергетики такие решения не актуальны и актуальными не будут.
Павел САВРАНСКИЙ: Я считаю, что подобные решения могут быть I Энергоэффективные технологии в ЦОД — снижение эксплуатационных расходов и сроки окупаемости в российских условиях актуальны при определенных условиях. Все зависит от региона строительства. Но главный вопрос в том, что для дата-центра требуется довольно большая электрическая мощность. В то же время зоны, пригодные для развития альтернативной энергетики в России, не совпадают с регионами, где строятся крупные ЦОДы. Михаил ЗОЛОТАРЕВ: На мой взгляд, возможности этих систем у нас очень ограничены. Крупный ЦОД покупает электроэнергию на оптовом рынке примерно вдвое дешевле, чем мелкие потребители. При этом недобор заявленных квот приводит к штрафным санкциям. То есть снижение потребления из сети, скажем, за счет собственного ветряка может привести к увеличению расходов. Мы пока что думали лишь о солнечной батарее, которая бы питала вентиляцию чердачного помещения, что нужно как раз при жарком солнце.
Михаил САЛИКОВ: Сейчас в России стоимость электроэнергии — одна из самых низких в мире. Строительство же мощностей альтернативной генерации (солнечные панели или ветровые установки) требует существенных затрат и больших площадей. Поэтому, насколько я знаю, на текущий момент в России не реализовано ни одного крупного проекта с применением альтернативной генерации. Прорабатывавшиеся нами проекты не показали какого-либо снижения общей стоимости владения при использовании альтернативных источников энергии по сравнению с традиционными. Наоборот, классические системы пока что наиболее предпочтительны с точки зрения экономической эффективности. В отличие от альтернативных источников они обеспечивают приемлемые сроки окупаемости проектов.
Сергей МИЩУК: Полагаю, что такие технологии в данном случае не актуальны, хотя бы потому, что ЦОД — такой же коммерческий потребитель электричества, как и другие производства, и нет оснований думать, что дата-центры должны быть впереди остальной промышленности в деле установки ветряков и солнечных батарей.
Юрий ДРАБКИН: Как было замечено мною ранее, в США и ЕС системы альтернативной энергетики используют не только для снижения затрат на электроснабжение объекта ЦОД как такового, но и для сокращения налоговых отчислений для компаний, которые применяют «зеленые» технологии. Прямое сокращение потребления ЦОД от сети составляет 5–15%. При этом чаще всего на Западе внедрение систем альтернативной энергетики не требует «видимого разрыва» цепи и осуществляется параллельно с действующей сетью. От коллег из UK знаю, что некоторые операторы ЦОДов иногда еще и зарабатывают на поставках электричества в сеть для сглаживания местных пиковых нагрузок. Но опять-таки работа в таких режимах предусмотрена законодательством западных стран.
— Насколько активно идет внедрение энергоэффективных технологий в российских ЦОДах (в т. ч. в дата-центрах госструктур)? Какие факторы способствуют или препятствуют этому процессу?
Виталий НИКОЛАЕВ: Наибольшим спросом пользуется внедрение «деньгоэффективных» решений. К сожалению, энергоэффективные технологии сюда не вписываются. Если рассматривать коммерческие площадки — самостоятельное и добровольное внедрение подобных решений носит весьма ограниченный характер. Интуитивно владельцы дата-центров нащупали ту самую методику (которую коллеги из США активно применяют) баланса капиталовложения на экономическую отдачу, используя ее только в фазе активной отдачи по причине отсутствия «длинных» и «дешевых» денег. В госсекторе применение таких систем ограничено или сводится на нет из-за особенностей финансовой эксплуатации объектов. Видимо, поэтому все больше популяризируется сервисная модель использования информационных систем госструктур.
Павел САВРАНСКИЙ: Этот процесс идет очень активно. Я уже давно не встречал технического задания или проекта, где не нашлось бы места для технологий энергосбережения. Здесь работает простая связь: энергия — это деньги, сбереженная энергия — сэкономленные деньги. На сегодняшний день все научились считать свои расходы и прибыли. Ну и ФЗ № 261 никто не отменял.
Юрий ДРАБКИН: Базовые технологии — применение систем изоляции коридоров, использование чиллерных систем с фрикулингом или решений, работающих на теплой воде, становятся стандартной практикой при проектировании и строительстве новых площадок большой мощности. Но случаи применения действительно инновационных решений можно увидеть, как правило, лишь в коммерческих компаниях.
Сергей МИЩУК: Судя по всему, оно идет с естественной скоростью. Технологии дешевеют, электричество дорожает, опыт эксплуатации накапливается, и в результате экономическая целесообразность повышения энергоэффективности становится все более явной. Если раньше для технико-экономического обоснования инвестиций в энергоэффективные решения надо было принять массу допущений, которые потом на практике не всегда реализовывались, то теперь у проектировщиков и операторов ЦОДов достаточно надежной информации для планирования.
Михаил САЛИКОВ: Внедрение энергоэффективных технологий в России идет быстрыми темпами, хотя существующая законодательная база никак не стимулирует повышение энергоэффективности. Многие ЦОДы начинают обновление парков устаревшего оборудования задолго до окончания нормативных сроков эксплуатации. В новых же проектах часто можно увидеть технологии, которые будут актуальны в течение ближайших 10–15 лет. Основная причина — высокая конкуренция на рынке, подталкивающая операторов ЦОД к снижению стоимости услуг с сохранением собственной доходности. Как это ни удивительно, часто государственные структуры не отстают от коммерческих ЦОДов в части применения в новых проектах энергоэффективных технологий. Хотя в данном случае основной импульс исходит от консультантов и интеграторов, профессиональный опыт которых не позволяет предлагать заказчикам устаревшие решения, теряющие актуальность на рынке.
