Дата-центры в России: преодоление вызовов и новые стратегии развития
Российский рынок дата-центров (центры обработки данных, ЦОД) за последние два с половиной года претерпел колоссальные изменения, вызванные геополитическими и экономическими факторами. В статье Дмитрий Юсупов, коммерческий директор DатаРу Облако, расскажет о преодолении вызовов и новых стратегиях развития
Санкции кардинально изменили структуру поставок, вынудили искать альтернативные решения и пересматривать приоритеты при сохранении должного уровня сервиса. При этом рынок продолжает динамично развиваться, с увеличением спроса и, парадоксально, растущим дефицитом площадок.
Российский рынок ЦОД продолжает адаптироваться к новым условиям. В ближайшие годы ключевыми вызовами для российских ЦОД останутся постепенный переход на отечественное инженерное оборудование, адаптация к обслуживанию новых для команд решений, а также налаживание цепочек их поставок.
В условиях санкций, дефицита оборудования и растущего спроса со стороны компаний ЦОДы вынуждены развивать локальную экспертизу, чтобы обеспечить долгосрочную устойчивость и конкурентоспособность своих объектов. Тем не менее в сегменте дата-центров в России мы пока имеем дело с «рынком поставщика», а не «рынком заказчика» — ЦОД диктуют свои правила, формируя порядок цен и создавая конкуренцию за стойко-места привычным облачным сервисам.
Все это требует от бизнеса более внимательно подходить к выбору дата-центров. Поговорим о том, как в новых условиях бизнес должен выбрать и организовать эффективное сотрудничество с ЦОД.
Российский рынок ЦОД продолжает адаптироваться к новым условиям. В ближайшие годы ключевыми вызовами для российских ЦОД останутся постепенный переход на отечественное инженерное оборудование, адаптация к обслуживанию новых для команд решений, а также налаживание цепочек их поставок.
В условиях санкций, дефицита оборудования и растущего спроса со стороны компаний ЦОДы вынуждены развивать локальную экспертизу, чтобы обеспечить долгосрочную устойчивость и конкурентоспособность своих объектов. Тем не менее в сегменте дата-центров в России мы пока имеем дело с «рынком поставщика», а не «рынком заказчика» — ЦОД диктуют свои правила, формируя порядок цен и создавая конкуренцию за стойко-места привычным облачным сервисам.
Все это требует от бизнеса более внимательно подходить к выбору дата-центров. Поговорим о том, как в новых условиях бизнес должен выбрать и организовать эффективное сотрудничество с ЦОД.
Пять «китов» ЦОД
Для того, чтобы выбрать надежный ЦОД для дальнейшего сотрудничества, нужно в общих чертах понимать, как он работает.
Функциональность современного дата-центра охватывает несколько ключевых направлений, без которых инфраструктура их заказчиков просто не может работать в полной мере. Эти основные компоненты включают в себя:
1. Энергоснабжение
Надежная подача электричества — основа работы ЦОД. В условиях санкций российские ЦОД больше не могут рассчитывать на новые западные генераторы высокой производительности. Китайские и отечественные аналоги, несмотря на более низкий класс надежности, показали себя достаточно стабильными, но требуют дополнительных решений для достижения нужного уровня резервирования и более внимательного обслуживания.
Для обеспечения высокого уровня надежности и бесперебойности работы современная система энергоснабжения должна состоять из трех элементов: двух независимых лучей питания от города, источников бесперебойного питания (ИБП) и дизельных генераторов (ДГУ) или иных источников генерирования электроэнергии. В случае, если по одному из лучей пропало энергоснабжение, всю нагрузку кратковременно подхватывают ИБП. В параллель с этим стартуют ДГУ и плавно берут нагрузку на себя до возобладания основного энергоснабжения от города. Так обеспечивается полное резервирование системы энергоснабжения.
2. Климат-контроль
Охлаждение серверов и прочего вычислительного оборудования — сложнейшая задача, особенно в условиях возросшей энерговооруженности стойко-мест из-за более производительных процессоров, а также повсеместного использования ресурсов GPU. Привычные системы охлаждения стали малодоступными из-за ограничений, и российские компании вынуждены переходить на решения, которые можно достать без перебоев в поставках и срыва сроков: азиатские аналоги меньшей производительности или российские разработки в области климатических систем.
В некоторых случаях это требует кардинальной перестройки инженерных систем и обслуживания, закупок новых запасных частей и адаптации команд под обслуживание новых систем. Кроме того, в таких условиях важно обращать пристальное внимание на резервирование системы охлаждения. Важно, чтобы выход из строя любого из элементов системы не повлек за собой приостановку или нарушение целевых показателей работы всей климатики.
Часть операторов ЦОД, накопивших колоссальный опыт и экспертизу в этой индустрии, уходят в RnD для того, чтобы разработать строго под свои запросы «кастомные» решения, обеспечивающие должный уровень надежности и производительности. Впоследствии некоторые из них реализуют свои наработки на открытом рынке.
3. Сетевая связность и доступность каналов связи
Для большинства компаний ЦОД выступают узловыми точками для подключения к сети и передачи данных. Высокая надежность подключения критична для стабильной работы оборудования, так как даже кратковременные перебои могут привести к серьезным сбоям, а также финансовым и репутационным потерям для клиентов ЦОД.
Поэтому в ЦОДах должно быть множество операторов связи с различными сетевыми ресурсами. При этом оптоволоконные трассы должны приходить в ЦОД непересекающимися маршрутами, чтобы исключить единые точки отказа. Операторские комнаты (Meet-me-Rooms), где непосредственно размещается активное оборудование операторов связи, важно задублировать и разнести по территории ЦОД также в целях отказоустойчивости. Доступ к кабельной линии должен быть только у сотрудников ЦОД, чтобы исключить преднамеренный и непреднамеренный человеческий фактор.
4. Безопасность
Дата-центр защищает оборудование клиентов не только от физических угроз, но и от киберугроз. В условиях современных вызовов безопасность приобрела новый уровень значимости. Помимо традиционных мер, в российских ЦОДах усиливается контроль доступа, в том числе с использованием биометрических данных, досмотр въезжающего и выезжающего транспорта, устанавливается повсеместное видеонаблюдение и появляется больше шлюзовых зон (man traps). С особым вниманием относятся к готовности команды реагировать на любые риски и к противодействию физическими виртуальным угрозам.
5. Мониторинг и обслуживание
Постоянный мониторинг всех систем ЦОД — обязательное условие для поддержания их работоспособности. Это требует значительных усилий со стороны технических команд, которые должны быть готовы оперативно реагировать на любые отклонения в работе систем. Эффективная организация и оркестрация всех этих компонентов — конкурентное преимущество на любом рынке, включая российский.
Санкции ограничили доступ к западному оборудованию, и теперь значительная доля используемых в ЦОД компонентов поступает из Китая. Однако китайская продукция, несмотря на свою доступность, имеет специфические особенности.
Например, часто наблюдается изменение компонентной базы от партии к партии в рамках производства. Соответственно, для одного и того же оборудования из разных партий может требоваться разный набор запасных частей. А это приводит к увеличению капитальных и складских запасов, а также усложняет процесс поддержки. Кроме того, китайские решения нередко уступают западным по эффективности и надежности.
Например, китайские генераторы менее производительны и требуют дополнительного резервирования, а климатические системы нуждаются в усиленной адаптации под российские условия.
Несмотря на это, крупные игроки научились обходить данные ограничения и продолжают предоставлять сервисы, удовлетворяющие растущим требованиям к безопасности и производительности.
Функциональность современного дата-центра охватывает несколько ключевых направлений, без которых инфраструктура их заказчиков просто не может работать в полной мере. Эти основные компоненты включают в себя:
1. Энергоснабжение
Надежная подача электричества — основа работы ЦОД. В условиях санкций российские ЦОД больше не могут рассчитывать на новые западные генераторы высокой производительности. Китайские и отечественные аналоги, несмотря на более низкий класс надежности, показали себя достаточно стабильными, но требуют дополнительных решений для достижения нужного уровня резервирования и более внимательного обслуживания.
Для обеспечения высокого уровня надежности и бесперебойности работы современная система энергоснабжения должна состоять из трех элементов: двух независимых лучей питания от города, источников бесперебойного питания (ИБП) и дизельных генераторов (ДГУ) или иных источников генерирования электроэнергии. В случае, если по одному из лучей пропало энергоснабжение, всю нагрузку кратковременно подхватывают ИБП. В параллель с этим стартуют ДГУ и плавно берут нагрузку на себя до возобладания основного энергоснабжения от города. Так обеспечивается полное резервирование системы энергоснабжения.
2. Климат-контроль
Охлаждение серверов и прочего вычислительного оборудования — сложнейшая задача, особенно в условиях возросшей энерговооруженности стойко-мест из-за более производительных процессоров, а также повсеместного использования ресурсов GPU. Привычные системы охлаждения стали малодоступными из-за ограничений, и российские компании вынуждены переходить на решения, которые можно достать без перебоев в поставках и срыва сроков: азиатские аналоги меньшей производительности или российские разработки в области климатических систем.
В некоторых случаях это требует кардинальной перестройки инженерных систем и обслуживания, закупок новых запасных частей и адаптации команд под обслуживание новых систем. Кроме того, в таких условиях важно обращать пристальное внимание на резервирование системы охлаждения. Важно, чтобы выход из строя любого из элементов системы не повлек за собой приостановку или нарушение целевых показателей работы всей климатики.
Часть операторов ЦОД, накопивших колоссальный опыт и экспертизу в этой индустрии, уходят в RnD для того, чтобы разработать строго под свои запросы «кастомные» решения, обеспечивающие должный уровень надежности и производительности. Впоследствии некоторые из них реализуют свои наработки на открытом рынке.
3. Сетевая связность и доступность каналов связи
Для большинства компаний ЦОД выступают узловыми точками для подключения к сети и передачи данных. Высокая надежность подключения критична для стабильной работы оборудования, так как даже кратковременные перебои могут привести к серьезным сбоям, а также финансовым и репутационным потерям для клиентов ЦОД.
Поэтому в ЦОДах должно быть множество операторов связи с различными сетевыми ресурсами. При этом оптоволоконные трассы должны приходить в ЦОД непересекающимися маршрутами, чтобы исключить единые точки отказа. Операторские комнаты (Meet-me-Rooms), где непосредственно размещается активное оборудование операторов связи, важно задублировать и разнести по территории ЦОД также в целях отказоустойчивости. Доступ к кабельной линии должен быть только у сотрудников ЦОД, чтобы исключить преднамеренный и непреднамеренный человеческий фактор.
4. Безопасность
Дата-центр защищает оборудование клиентов не только от физических угроз, но и от киберугроз. В условиях современных вызовов безопасность приобрела новый уровень значимости. Помимо традиционных мер, в российских ЦОДах усиливается контроль доступа, в том числе с использованием биометрических данных, досмотр въезжающего и выезжающего транспорта, устанавливается повсеместное видеонаблюдение и появляется больше шлюзовых зон (man traps). С особым вниманием относятся к готовности команды реагировать на любые риски и к противодействию физическими виртуальным угрозам.
5. Мониторинг и обслуживание
Постоянный мониторинг всех систем ЦОД — обязательное условие для поддержания их работоспособности. Это требует значительных усилий со стороны технических команд, которые должны быть готовы оперативно реагировать на любые отклонения в работе систем. Эффективная организация и оркестрация всех этих компонентов — конкурентное преимущество на любом рынке, включая российский.
Санкции ограничили доступ к западному оборудованию, и теперь значительная доля используемых в ЦОД компонентов поступает из Китая. Однако китайская продукция, несмотря на свою доступность, имеет специфические особенности.
Например, часто наблюдается изменение компонентной базы от партии к партии в рамках производства. Соответственно, для одного и того же оборудования из разных партий может требоваться разный набор запасных частей. А это приводит к увеличению капитальных и складских запасов, а также усложняет процесс поддержки. Кроме того, китайские решения нередко уступают западным по эффективности и надежности.
Например, китайские генераторы менее производительны и требуют дополнительного резервирования, а климатические системы нуждаются в усиленной адаптации под российские условия.
Несмотря на это, крупные игроки научились обходить данные ограничения и продолжают предоставлять сервисы, удовлетворяющие растущим требованиям к безопасности и производительности.
Новые вызовы выбора
Современный рынок ЦОД в России — «рынок продавца». Одна из главных иллюстраций тому — тренд на «продажу фьючерсов на мощности» в дата-центрах, когда компания контрактуется на мощности ЦОД, еще находящегося на стадии строительства. Этот подход позволяет дата-центрам заранее «продать» большую часть будущих ИТ-мощностей, а клиентам – обеспечить себя заделом для развития бизнеса. Однако данный подход несет за собой определенные риски: нет гарантии, что ЦОД будет соответствовать обещанным характеристикам, а сроки окончания строительства не сдвинутся существенно.
Например, готовность ЦОД может составлять всего 50%, но уже 70% его емкости продано. В условиях дефицита и растущего спроса такой подход становится вынужденной мерой и требует от клиентов долгосрочного планирования и более глубоких аналитических расчетов.
ЦОД начинают манипулировать и создавать ажиотаж вокруг своих объектов, спекулируя на доступных мощностях.
Еще несколько лет назад глубина планирования потребностей в дата-центре для облачного провайдера была 2-3 месяца, пока идет заказанное оборудование. На сегодняшний момент нужно сначала оценить необходимые потребности в ИТ-мощностях, заключить контракт с ЦОД на этот объем, и только потом заказывать оборудование. В противном случае, стойко-место, на которое рассчитывает бизнес, очень быстро уйдет. В этих условиях не лишним будет зафиксировать цены в соглашении, потому что через 3-4 месяца они наверняка станут выше. В современных условиях стоимость стройки ЦОД резко растет вслед за ростом стоимости строительных и инженерных материалов и общеэкономических показателей. Если проанализировать цены на протяжении 2024 года, то в среднем они выросли на 20-30%.
Еще один фактор, который стоит учесть при выборе партнера ЦОД, это возможная конкуренция. Многие крупные игроки ЦОД предлагают собственные облачные решения. Это может стать определенной проблемой для облачных провайдеров (клиентов дата-центров), размещающихся в таких ЦОД. Клиенты должны учитывать этот и многие другие аспекты, особенно если их бизнес напрямую зависит от партнерских отношений с ЦОДом.
Например, готовность ЦОД может составлять всего 50%, но уже 70% его емкости продано. В условиях дефицита и растущего спроса такой подход становится вынужденной мерой и требует от клиентов долгосрочного планирования и более глубоких аналитических расчетов.
ЦОД начинают манипулировать и создавать ажиотаж вокруг своих объектов, спекулируя на доступных мощностях.
Еще несколько лет назад глубина планирования потребностей в дата-центре для облачного провайдера была 2-3 месяца, пока идет заказанное оборудование. На сегодняшний момент нужно сначала оценить необходимые потребности в ИТ-мощностях, заключить контракт с ЦОД на этот объем, и только потом заказывать оборудование. В противном случае, стойко-место, на которое рассчитывает бизнес, очень быстро уйдет. В этих условиях не лишним будет зафиксировать цены в соглашении, потому что через 3-4 месяца они наверняка станут выше. В современных условиях стоимость стройки ЦОД резко растет вслед за ростом стоимости строительных и инженерных материалов и общеэкономических показателей. Если проанализировать цены на протяжении 2024 года, то в среднем они выросли на 20-30%.
Еще один фактор, который стоит учесть при выборе партнера ЦОД, это возможная конкуренция. Многие крупные игроки ЦОД предлагают собственные облачные решения. Это может стать определенной проблемой для облачных провайдеров (клиентов дата-центров), размещающихся в таких ЦОД. Клиенты должны учитывать этот и многие другие аспекты, особенно если их бизнес напрямую зависит от партнерских отношений с ЦОДом.
Перспективы развития и технологические тренды
В ближайшие годы российские ЦОДы будут вынуждены адаптироваться к возросшим требованиям клиентов, особенно в сегменте высоких вычислений для задач ИИ и машинного обучения. С ростом тепловыделения современных процессоров, а также использования GPU-мощностей в повседневной деятельности, нагрузка на стойко-место возрастет до 15-20 кВт и даже выше. При этом относительно недавно (8-10 лет назад) требования были на уровне 2-3 кВт на стойку, затем они выросли до 5 кВт (5-7 лет назад), сегодняшний стандарт — это 8-10 кВт, и он продолжает расти.
Сейчас ЦОДы начинают строить свои машинные залы из расчета 15 кВт на стойку — для сравнения: абсолютный физический предел по охлаждению стоек воздухом составляет 45-50 кВт тепла. Компании-клиенты ожидают, что ЦОДы смогут обеспечивать такие показатели и адаптироваться к дальнейшему росту.
Среди перспективных решений обсуждаются методы жидкостного охлаждения (сервера погружаются в особые жидкие среды, обладающие повышенной теплоемкостью), строительство ЦОДов за Полярным кругом и даже подводные ЦОДы. Однако данные подходы пока находятся на стадии тестирования и ещё не являются коммерчески устойчивыми. Альтернативный вариант – это разработка ИТ-оборудования, способного работать при более высоких температурах. Тогда требования к климатическим системам могут быть несколько снижены.
Кроме того, увеличение плотности требует повышения уровня энергоэффективности, и компании ищут способы оптимизации энергопотребления. Некоторые эксперты рассматривают проекты ЦОД рядом с атомными или гидроэлектростанциями, что позволяет снижать стоимость электричества, но такой подход имеет свои ограничения, среди которых сложные процедуры допуска и требования безопасности.
Еще одним трендом для российского рынка становится устаревание классификации Uptime Institute. Этот стандарт сегодня перестает быть универсальным мерилом для оценки ЦОД. С развитием рынка и увеличением объемов ЦОД его пригодность для оценки крупных объектов начинает снижаться.
В новых условиях важнейшим конкурентным преимуществом ЦОД становится опыт и квалификация сотрудников, способных поддерживать работоспособность объектов, адаптированных под изменяющиеся требования и технологии. Российские ЦОД начинают формировать собственные подходы к стандартам качества, которые учитывают локальные особенности эксплуатации и потребности клиентов.
Сейчас ЦОДы начинают строить свои машинные залы из расчета 15 кВт на стойку — для сравнения: абсолютный физический предел по охлаждению стоек воздухом составляет 45-50 кВт тепла. Компании-клиенты ожидают, что ЦОДы смогут обеспечивать такие показатели и адаптироваться к дальнейшему росту.
Среди перспективных решений обсуждаются методы жидкостного охлаждения (сервера погружаются в особые жидкие среды, обладающие повышенной теплоемкостью), строительство ЦОДов за Полярным кругом и даже подводные ЦОДы. Однако данные подходы пока находятся на стадии тестирования и ещё не являются коммерчески устойчивыми. Альтернативный вариант – это разработка ИТ-оборудования, способного работать при более высоких температурах. Тогда требования к климатическим системам могут быть несколько снижены.
Кроме того, увеличение плотности требует повышения уровня энергоэффективности, и компании ищут способы оптимизации энергопотребления. Некоторые эксперты рассматривают проекты ЦОД рядом с атомными или гидроэлектростанциями, что позволяет снижать стоимость электричества, но такой подход имеет свои ограничения, среди которых сложные процедуры допуска и требования безопасности.
Еще одним трендом для российского рынка становится устаревание классификации Uptime Institute. Этот стандарт сегодня перестает быть универсальным мерилом для оценки ЦОД. С развитием рынка и увеличением объемов ЦОД его пригодность для оценки крупных объектов начинает снижаться.
В новых условиях важнейшим конкурентным преимуществом ЦОД становится опыт и квалификация сотрудников, способных поддерживать работоспособность объектов, адаптированных под изменяющиеся требования и технологии. Российские ЦОД начинают формировать собственные подходы к стандартам качества, которые учитывают локальные особенности эксплуатации и потребности клиентов.
Географическое распределение: Москва, Питер и Урал
Наконец, традиционно российские ЦОД сосредоточены в крупнейших городах России — Москве и Санкт-Петербурге. Большая часть коммерческих объектов сконцентрирована в этих регионах, так как они наиболее близки к основным деловым и правительственным центрам.
Высокие арендные ставки, перенасыщение рынка, а также интерес бизнеса к азиатскому направлению заставили рынок обратить свое внимание за Урал, как на еще одно место для размещения ЦОДов. Тем не менее строительство дата-центров требует значительного времени и вложений, особенно для Greenfield-проектов, которые возводятся «с нуля» и могут потребовать от 2 до 5 лет. Есть и исключения — в виде контейнерных ЦОДов. Но это совершенно иная концепция ЦОДостроения.
Наличие ЦОД за пределами столичных регионов имеет стратегическое значение, особенно в условиях, когда бизнес требует высокой устойчивости к любым внешним воздействиям. Распределенные по географии объекты помогают компании диверсифицировать риски и обеспечивать клиентам большее покрытие и надежность доступа к данным, что стало особенно важно с учетом недоступности западных облачных ресурсов и площадок дата-центров.
Высокие арендные ставки, перенасыщение рынка, а также интерес бизнеса к азиатскому направлению заставили рынок обратить свое внимание за Урал, как на еще одно место для размещения ЦОДов. Тем не менее строительство дата-центров требует значительного времени и вложений, особенно для Greenfield-проектов, которые возводятся «с нуля» и могут потребовать от 2 до 5 лет. Есть и исключения — в виде контейнерных ЦОДов. Но это совершенно иная концепция ЦОДостроения.
Наличие ЦОД за пределами столичных регионов имеет стратегическое значение, особенно в условиях, когда бизнес требует высокой устойчивости к любым внешним воздействиям. Распределенные по географии объекты помогают компании диверсифицировать риски и обеспечивать клиентам большее покрытие и надежность доступа к данным, что стало особенно важно с учетом недоступности западных облачных ресурсов и площадок дата-центров.
