«В сфере проектирования, строительства и эксплуатации ЦОДов нужны российские стандарты» Павел Савранский для журнала ЦОДы.РФ

Гость нашей рубрики — генеральный директор ООО «Энергетические Технологии» и один из учредителей Ассоциации участников отрасли ЦОД, человек, на глазах которого фактически сформировался российский рынок дата-центров. Уникальный опыт, приобретенный им за последние десять лет, позволяет сделать определенные выводы о состоянии отрасли ЦОД, ее ближайших перспективах и методах оценки эффективности работы дата-центров.

Ваша профессиональная карьера началась в сфере строительства. Как получилось, что Вы перешли в сферу дата-центров? С чего все началось?

— Действительно, значительную часть своей профессиональной жизни я посвятил именно строительству. Образование у меня тоже строительное. Принимал участие в таких проектах, как воссоздание храма Христа Спасителя, строительство и реконструкция объектов для Федеральной таможенной службы, Департамента образования города Москвы, Счетной палаты, Московского зоопарка, жилых домов.

В какой-то момент стройка мне просто надоела, и я сменил сферу деятельности, причем кардинально. Начал заниматься маркетингом, прямыми продажами. Потом меня как продавца пригласили в небольшую компанию, которая занималась предоставлением услуг связи. Там я занял должность коммерческого директора и параллельно занимался созданием дата-центра. Это был 2007 год. Вообще идея создания ЦОДа появилась как-то спонтанно. В этом плане мне, надо сказать, повезло с коллегами. Идея родилась у нас на уровне диалога: «Давайте сделаем вот это и попутно еще и денег заработаем вот на этом…» — «Ну, давайте попробуем…»

Люди, с которыми я начинал тогда работать, обладали действительно нестандартным мышлением. Представьте себе, 2007 год, бум строительства как раз перед кризисом 2008-го, рынок растет как на дрожжах. И тут вдруг идея: «А давайте построим ЦОД». И ответы в таком стиле: «Ну, давайте. А что это такое?» Лично я загорелся этим делом, и проект закрутился. Напомню, что в тот период в стране было колоссальное количество серверов, но ЦОДы на территории России практически отсутствовали. Точнее сказать, дата-центры существовали, но было их очень мало. У нас же появилась идея создать распределенную точку обмена трафиком. С этого все и началось.

То есть началось все с создания альтернативы дата-центру «М9»?

— В общем-то, да. Строить объект начали недалеко от Кутузовского проспекта в Москве. Тут надо понимать, что идея родилась не совсем на ровном месте. Компания-оператор, в которой я работал, арендовала стойку в московском дата-центре «М9», и все проблемы, с которыми может столкнуться оператор, мы узнали на собственном опыте. Появилась идея: почему бы не построить вторую «Девятку»? Деньги на это были, притом что рынок, как я уже отметил, практически пустовал.

Идея казалась чрезвычайно привлекательной с точки зрения ожидаемого экономического эффекта. Мне была отведена роль руководителя проекта со стороны инвестора. ЦОД получился качественный и большой — на 200 с лишним стоек. Теперь это дата-центр «Славянский».

Какие особенности при создании этого ЦОДа Вы можете отметить?

— На тот момент это был уникальный объект. Во-первых, это первый коммерческий ЦОД в России с водяным ПЕРСОНА НОМЕРА Павел Савранский: «В сфере проектирования, строительства и эксплуатации ЦОДов нужны российские стандарты» Гость нашей рубрики — генеральный директор ООО «Энергетические Технологии» и один из учредителей Ассоциации участников отрасли ЦОД, человек, на глазах которого фактически сформировался российский рынок дата-центров. Уникальный опыт, приобретенный им за последние десять лет, позволяет сделать определенные выводы о состоянии отрасли ЦОД, ее ближайших перспективах и методах оценки эффективности работы дата-центров. 7 охлаждением. Также там впервые в отечественной практике появились коммерческие ИТ-стойки, способные выдерживать нагрузку в 12 кВт. Использовались межрядные кондиционеры, причем в закрытой архитектуре — когда холодный воздух подается внутрь шкафа, а не в холодный коридор.

Строили по наитию, потому что людей, которые понимали хоть чтото в подобных технологиях, в стране просто не было. Нет, заявлений от разных «специалистов» было много, но по факту никто из них не понимал процессы по созданию дата-центра на должном уровне. А те единицы, которые понимали, были заняты. И, по сути, ими являлись владельцы датацентров, которые сами себе построили ЦОДы. Они на своем опыте поняли, что и как делается.

Мы тоже прошли этот путь. Но основная наша идея заключалась в том, чтобы построить распределенный комплекс, создать две-три площадки, объединить их по ВОЛС, обеспечить точки присоединения к MSK-IX. Это мы тоже сделали в 2007 году.

Сложности были?

— Главная сложность, которая была на тот момент, — отсутствие опыта. Сказать, что его не было, — это вообще ничего не сказать. У нас отсутствовало понимание того, как эта система живет, как работает, из каких этапов состоит ее создание и так далее. Мы знали одно: есть оборудование, которое потребляет определенное количество электричества, и некоторое количество электроэнергии надо потратить на то, чтобы охладить это оборудование. То есть выходит какой-то экономический абсурд. Тогда мы не могли оценить, что нужно рынку, какие услуги востребованы. Были отдельные специалисты по бесперебойному питанию, охлаждению, но понимание процессов находилось в зачаточном состоянии. Отдельные специалисты на уровне интуиции сами что-то предлагали, продавали. Тогда ведь не было профессиональных конференций, изданий. Даже рынка в том виде, в котором он есть сейчас, по сути, тоже не было.

А как же Linxdatacenter, Stack?

— Да, было несколько крупных дата-центров, но это нельзя в полной мере назвать рынком. Вот в этот период мы как раз и решили выйти со своим ЦОДом. Пока строили, я познакомился ПЕРСОНА НОМЕРА Дата-центры были, но было их очень мало. У нас же появилась идея создать распределенную точку обмена трафиком. С этого все и началось с огромным количеством людей в сфере связи, очень глубоко погрузился в вопросы межоператорского взаимодействия. Я вспоминаю этот период как чрезвычайно интересный и насыщенный. Было тяжело, потому что отсутствовало понимание нюансов проектирования и строительства. Работали исходя из здравого инженерного смысла, потребностей потенциальных клиентов и желания устранить все проблемы и сложности эксплуатации с оглядкой на существующие на тот момент площадки. Сейчас это звучит смешно, но тогда возникали кажущиеся сейчас нелепыми вопросы, например: «Что это за прецизионный кондиционер такой? Почему вместо него нельзя поставить обычный?»

Если судить с высоты нынешнего опыта, ЦОД «Славянский» удался?strong>

— Положа руку на сердце, могу сказать, что да, потому что он работает практически без проблем уже около десяти лет. В «Славянском» стоит много клиентского оборудования, насколько мне известно, он практически весь заполнен. В частности, наш основной клиент — крупный оператор видеохостинга, который до сих пор работает в нашем ЦОДе, и у него не возникает проблем, по крайней мере по вине дата-центра.

Хотя с инженерной точки зрения новые ЦОДы выполнены на более высоком техническом уровне. За последние десять лет подходы изменились и технологии существенно развились. В нашем первом дата-центре не было фальшпола, система бесперебойного питания не являлась централизованной — на каждую стойку электропитание подавалось отдельно. Применялись и другие нестандартные решения. Например, чиллеры мы вообще установили ниже уровня земли. На улицу вынесли только наружные блоки. Разводка труб с хладагентом осуществлялась по полу. На стальных рамах установили шкафы и т.д. Все это в закрытой архитектуре, то есть в серверном зале тепло, не дует, не шумит.

В общем, это тот самый случай, когда понимаешь: чем меньше звеньев в цепи, тем она крепче. В том смысле, что чем меньше в системе элементов, тем она надежнее. В «Славянском» все сделано достаточно просто, но эффективно. Это в своем роде уникальный для России ЦОД. Работает без перебоев уже целое десятилетие, и это прекрасно!

Вы участвовали во многих проектах по созданию ЦОДов. Расскажите и о них тоже.

— Я участвовал в разных проектах, но не обо всех могу говорить. Тема цодостроения меня увлекла. В результате я ушел работать к интегратору, возглавлял департамент, который занимался созданием ЦОДов. Крупных проектов там внедрять не доводилось, но на тот момент их вообще не было в стране. Однако опыт проектирования и строительства небольших (до 500 кВт) ЦОДов также неоценим.

Следующей вехой в моей трудовой биографии стал ЦОД для «Электронной Москвы». Это уже был совсем другой уровень. Тогда как раз начинали проектировать действительно высокотехнологичные ЦОДы. Там все настолько технологично, что никаких проблем до сих пор не возникает, и, я надеюсь, они никогда не появятся. Сейчас в этом дата-центре размещаются электронные системы города и других федеральных заказчиков.

Как Вы пришли в «Электронную Москву»?

— Меня пригласили работать из системного интегратора. Проект мне показался очень интересным, к тому же появился шанс побывать в роли заказчика.

Сложностей, конечно, возникало много, но проект был реализован в крайне сжатые сроки. В общей сложности на него ушло два года с учетом времени на проектирование. Но в реальности уже через год с небольшим после начала строительства ЦОД заработал, притом что требовалось провести реконструкцию здания, а мощность объекта составила около 7 МВт. В процессе проектирования принимало участие около 60 человек (включая всех смежников и подрядчиков).

Конечно, мы сталкивались с множеством неприятных сюрпризов, ведь ЦОД создавался в старом промышленном здании, которое, естественно, не было приспособлено под такой объект. Приходилось заниматься усилением несущих конструкций, возводить внутренние металлоконструкции, укреплять фундаменты несущего каркаса здания, заново проектировать и отливать фундаментную плиту. Это был колоссальный труд.

Насколько известно, ЦОД «Электронной Москвы» стал вторым в России, где использовались дизель-роторные ИБП (ДРИБП). Какие еще особенности были у этого объекта?

— Второй из объектов по мощности, а в общем-то, третий: ДРИБП до этого устанавливались в ЦОДах «Яндекса» и «КРОК». Поначалу мы тоже не имели понятия, какие тонкости и нюансы есть в проектировании таких систем, но потом разобрались — все сделали, все реализовали.

Вообще для «Электронной Москвы» были реализованы очень интересные, нестандартные для того времени решения в области электроснабжения и охлаждения. Хотя сейчас подобные системы применяются в проектах довольно широко. Понимая планы развития систем на несколько лет вперед, мы приняли решение, что СКС ЦОДа должна базироваться на оптических кабелях ОМ4 (позволяющая строить сеть 40 Гб/с). На момент строительства потребности в таких сетях не было (достаточно было стандартных 10 Гб/с), но в течение пятишести лет системы должны были развиться до скоростей 40 Гб/с, и наш ЦОД был к этому готов — требовалось лишь поменять один элемент в патч-панелях.

Были и другие совершенно нестандартные решения. Например, большое количество стоек мощностью по 15 кВт, предназначенных для установки исключительно блейд-серверов. Отдельные залы были отведены под СХД корпоративного уровня — «тяжелые» серверы, вроде IBM pSeries. Но экономический кризис внес свои коррективы в наши планы: бюджеты сократились, ЦОД оказался незаполненным полностью, и его начали предлагать на открытом рынке collocation-услуг.

Темой текущего выпуска нашего журнала являются контейнерные и модульные дата-центры. Как Вы оцениваете перспективы подобных решений в России? Смогут ли они составить конкуренцию капитальным ЦОДам?

— По моему мнению, КЦОД — это специализированное, нишевое решение. Во-первых, это всегда дорого, во-вторых, зачастую неэффективно. Конечно, все относительно. Если считать эффективностью плотность размещения стоек в заданном объеме или потенциальную мобильность решения — тогда другое дело. В моей практике, например, был случай, когда внутри выделенного капитального помещения по ряду причин наиболее подходящим решением стала установка КЦОДа.

Рынок для таких решений есть, но, как мне видится, контейнеры будут востребованы главным образом для нефтегазового сектора и военных, а также магистральных и мобильных операторов связи. Если говорить условно, вам нужны в тайге три-четыре стойки с ИТоборудованием, скажем, для контроля параметров газотранспортной системы — в этом случае лучшего решения, чем КЦОД, не найти.

А модульные ЦОДы?

— Вот это направление я считаю перспективным, потому что они удобны и относительно дешевы. Не надо заниматься капстроительством — достаточно по мере необходимости приобретать модули. Отличное решение для широкого круга заказчиков. Чем, по-вашему, отличается МЦОД от традиционного дата-центра, реализованного, так сказать, в бетоне? В конструктивном плане отличия минимальны. Капитальный ЦОД тоже можно строить по модульному принципу. Но, как правило, это невыгодно. Любое техническое решение должно быть экономически оправданным. По своей сути МЦОД — это быстровозводимые здания. Такой подход минимизирует общестроительные работы, что является достаточно большим преимуществом: экономически целесообразно и экономит много времени. Однако, с точки зрения рынка, сейчас, конечно, доминируют капитальные дата-центры. У МЦОДа также имеется еще один недостаток: с помощью такого подхода нельзя построить действительно большой дата-центр — мега-ЦОД. Да, можно сделать огромный «ящик» со стойками, но возможности применения самых передовых решений здесь ограничены. Я считаю, что ниша МЦОД — решения до 5 МВт. Мы, кстати, рассматривали возможность создания МЦОДа для «Электронной Москвы», но, обдумав всё и просчитав, отказались от этой идеи по ряду причин. И вообще, если говорить о Москве и Петербурге, здесь сейчас нет смысла создавать не то что КЦОД/МЦОД, а вообще новые коммерческие датацентры. Потому что через год-два мы получим большое количество свободных площадей и высокую конкуренцию, из-за чего цены на услуги аренды стоек могут снизиться. Даже сейчас, когда развитие ИТ-инфраструктуры в стране крайне замедленно, имеется огромное количество свободного места в существующих ЦОДах. А к концу следующего года только в одной Москве будет введен в эксплуатацию целый ряд крупных коммерческих площадок. Рынок будет просто перенасыщен — стоек окажется гораздо больше, чем требуется. Если говорить о модульных решениях, то, полагаю, в первую очередь они будут востребованы в корпоративных проектах.

Чем работа в государственной структуре отличается от работы в коммерческой компании?

— Главная особенность — тендерный процесс, конкурентные процедуры, Любое техническое решение должно быть экономически оправданным подготовка документации. Все это отнимает колоссальное количество времени и ресурсов. С точки зрения заказчика — очень большая нервотрепка. В принципе, это и есть основное отличие. Есть еще некоторые регламентные моменты, которые отличают работу в госструктуре от работы в коммерческой компании.

Но из «Электронной Москвы» Вы все-таки ушли. Чем сейчас занимаетесь? Над чем работаете?

— В области цодостроения я всегда (еще с 2008–2009 гг.) занимался частным консалтингом. Нередко выступаю как независимый эксперт. Вопрос в том, что после того, как я ушел из «Электронной Москвы», какое-то время я занимался этим по инерции, а потом уже созрел для того, чтобы создать собственный бизнес.

И чем сейчас занимается компания, каковы основные направления вашего бизнеса?

— Мы решили сконцентрироваться на электроэнергетике. Одно из наших направлений — решения для ЦОДов. Занимаемся системами бесперебойного и гарантированного питания больших мощностей, и у нас на сегодняшний момент самая большая компетенция в области динамических машин. Как раз со статическими ИБП работаем очень мало, потому что полностью задействованы на крупных проектах, где просто нецелесообразно ставить обычные ИБП.

То есть ЦОД — это лишь одно из направлений?

— ЦОДы — основное направление бизнеса, но мы также пробуем свои силы в сфере промышленных объектов. Хотя серьезные системы гарантийного электропитания здесь пока что не особо востребованны, но мы к этому придем. Сейчас в России развиваются предприятия, где качество и бесперебойность электропитания очень важны. Например, заводы по производству микроэлектроники, где точность производства просто необходима. Еще один потенциальный рынок — конвейерное производство: там, где имеются большие и сложные конвейеры, производственные линии и любая остановка в работе будет весьма чувствительна для бизнеса.

А еще я мечтаю выполнить проект для аэропорта, потому что те системы бесперебойного гарантированного питания, которые применяются сейчас в наших воздушных гаванях, — это прошлый век. Резервируются отдельные секции: скажем, диспетчерская башня зарезервирована, а стойки регистрации — нет. В России, к сожалению, никто не делает серьезную систему гарантированного энергоснабжения целиком на объект, хотя это и дешевле, и надежнее.

Сейчас есть особая категория инженеров, которая разделяет нагрузки на критичные и некритичные, обосновывая это экономией денег. Ничего они не экономят! Только усложняют проект в разы, а при этом пытаются определить, что является критичным, а что нет. Я считаю, что критичным является все.

Вы упомянули динамические системы электропитания. Это достаточно специфическое направление. Чем оно Вас привлекает?

— Мне нравится сама технология динамических машин. В ней нет ничего сверхъестественного, но все гениально и в то же время просто. Система является очень эффективной и показывает себя с лучших сторон в совершенно разных отраслях, не только в ЦОДах. Все возможности данной технологии даже не до конца еще раскрыты. Я знаю, например, две области применения динамических машин, которые после их внедрения позволят сэкономить городам миллиарды рублей в год. Но им это пока неинтересно.

Вы являетесь участником и учредителем Ассоциации участников отрасли ЦОД, были одним из ее создателей. Чем на данный момент живет организация, каковы ее цели?

Мое мнение не поменялось с момента основания нашей ассоциации. Я до сих пор считаю, что основной целью должно быть создание национальных стандартов проектирования, строительства и эксплуатации ЦОДа — с поправкой на отечественную нормативную базу и реалии нашей страны. Все требования Uptime Institute или того же BICSI написаны на Западе, но индустрия ЦОДов там кардинально отличается от российской. Скажу больше, модели бизнеса коммерческого дата-центра в США и РФ существенно отличаются. В Америке ЦОД — это недвижимость, не более того. По сути, их операторы не сдают стойко-места — они строят здания с инженерным обеспечением и сдают в нем квадратные метры.

Это «озарение» на меня снизошло, когда я разобрался с моделью работы Google. Был то ли 2008 год, то ли 2009-й. Я познакомился с очень интересным человеком — представителем Google, который отвечал за дата-центры компании за пределами США. У нас состоялся очень интересный разговор, который и определил мое дальнейшее восприятие бизнес-модели ЦОДа.

Он сказал просто: «Мне нужно 100 м² площади машзала, автомат с таким-то напряжением и мощностью, кондиционер с такими-то характеристиками и т.д. Как вы это все сделаете — мне все равно. Я арендую по договору квадратные метры». Все!

Тогда же я придумал некий эмпирический измеритель емкости рынка ЦОДов. Он, кстати, на мой взгляд, актуален и по сей день. Я говорю о количестве зарегистрированных доменных имен. Когда я пришел к этому выводу, это стало вторым «озарением». И тогда же я понял, что у нас интернета нет. На тот момент в России было зарегистрировано 2 млн доменных имен, а в США — более 200 млн.

И все же за что стоит Ассоциация — за то, чтобы в России появились национальные стандарты?

— Стандарт должен быть на строительство и проектирование, на топологию, по сути. Это должен быть инженерный стандарт. Проектирование, строительство и эксплуатация — всё. Можно, конечно, развивать тему до бесконечности, но ощутимый эффект от создания ассоциации появится лишь тогда, когда у нас будут сформированы все стандарты. В этом направлении идет основная работа. Тяжело, сложно, но идет. Движение и положительная динамика есть.

Без сомнения, Вы — человек, увлеченный своей работой. Есть ли у Вас хобби?

— Увлекаюсь фотографией. Я не профессиональный фотограф — просто люблю это дело и, когда есть возможность, фотографирую. К сожалению, катастрофически не хватает времени. Кстати, я никогда не редактирую фотографии — это принципиально: снимок должен получиться таким, каким ты его увидел, никак иначе. Если кадр получился, а фотография нет, то могу залезть в редактор, и, вспоминая, как картинка выглядела на самом деле, чуть-чуть подогнать какие-то моменты. Люблю снимать пейзажи. Очень интересно фотографировать людей на улицах. Правда, в нашей стране этого не любят.

Вообще, я «в фотографию» пришел случайно. Много лет назад мой товарищ приобрел фотоаппарат, и я захотел такой же. Купил, но особо не фотографировал, потому что, как уже потом понял, просто не умел пользоваться камерой. Со временем разобрался, приобрел уже более подходящий фотоаппарат — очень сложное техническое устройство, но с очень дружелюбным интерфейсом. И тогда уже по-настоящему увлекся фотографией.

Из каждого отпуска привожу минимум терабайт снимков, из которых остается в итоге пара сотен болееменее нормальных и пять-шесть — отличных. Интересно фотографировать животных, архитектуру. Хочется запечатлеть то, что ты увидел сам. Не для кого-то — для себя. О персональной выставке не думаете? — Нет, по-моему, это слишком. Сейчас понемногу отбираю фотографии с наших строек. Хочу их распечатать и повесить в офисе. Хотя, это, наверное, тоже выставка.

При таком интенсивном графике работы остается ли время для семьи?

— Стараюсь выходные всегда проводить с семьей. Не могу сказать, что мы любим ходить куда-то конкретно. С семьей просто надо быть рядом.