Центр обработки данных. Экскурсия в картинках

Web-странички, чаты, службы знакомств и файловые архивы, новостные сайты, не говоря уж о банковских сервисах и видеохостингах - все они находятся в каких-либо центрах обработки данных (ЦОД), подключенных к опорным магистралям провайдеров фиксированной и беспроводной связи по скоростным каналам связи. Именно в этих залах, которые закрывает 2-3 рубежа охраны и множество камер видеонаблюдения, при небольшой влажности и постоянной температуре в 11-12 градусов тепла хранятся дисковые массивы с миллиардами байт полезной информации. Заглянем в "телекоммуникационную крепость" "Акадо Телеком" - оператор как раз завершил строительство своего третьего ЦОД.

Центральное хранилище данных

Основа любого ЦОД - это главный зал, закрытый до полной герметичности: там постоянно работают кондиционеры и вентиляторы, поэтому внутри стоит равномерный гул работающей техники. Здесь в стойках можно встретить самые различные конфигурации: кто-то заполняет своей техникой все пространство, кто-то покупает только отдельные слоты. В одном таком помещении может "жить" несколько тысяч различных сайтов и информационных систем в самых разных доменных зонах. Причем, небольшие и средние хостинг-провайдеры вполне спокойно размещают так своих клиентов, если собственных мощностей им не хватает или они просто отсутствуют как класс. Интересно, что все ЦОД разделяют по классам в соответствии со специальнвм стандартом TIA-942, который опубликован в 2005 году - это больше 150 страниц текста мелким шрифтом, где досконально, четко и лаконично описываются все требования к подобным сооружениям. Естественно, чем выше класс - тем больше надежность ЦОДа. Аналогия здесь прямая со "звездочками", которые присваиваются отелям - правда, пока только от 1 до 4 (у отелей есть 5 и даже 5 deluxe). Более подробно эту информацию можно увидеть в Таблице №1: при случае уточните у своего провайдера, где же именно "висит" ваш сервер или сайт. Как показывает практика, большинство российских ЦОД можно отнести ко второму классу систем. И только крупные компании могут позволить себе создать ЦОД уровня 3 или 3+. Решения 4-го класса еще называют катастрофоустойчивыми, поскольку в них предусмотрено практически все, за исключением, быть может, прямого попадания авиабомбы.

ЦОД компании "Комкор".

Полноценный ЦОД - за этой стенкой.

Двери металлические, с камерами наблюдения - но перед входом надо обуть пластиковые бахилы: руководство "Комкора" делает все то же самое, что и журналисты: правила едины для всех.

В ЦОД "Комкора" 140 серверных шкафов для установки оборудования мощностью 15 кВт каждый, глубиной 1,2 м. Подключение к сети Интернет организовано на скорости 10 Гб/с.

Главный зал не разделен на отдельные гермозоны, все стойки выстроены прямоугольником в несколько рядов.

В ожидании подключения.

В каждом ряду стоек есть свой "распределительный щит" для передачи информации.

Тыльная сторона стойки - оборудование уже под нагрузкой.

Пустая стойка для юнитов - подведена СКС и электропитание.

Порты для подключения сетевого кабеля и розетки для электропитания - все это внутри каждый стойки.

К потолку прикреплены специальные держатели для сетевого кабеля и отдельный защищенный короб желтого цвета для кабелей электропитания.

Структурированная кабельная сеть в ЦОД разделена на три основных области: кабельную, горизонтальную и зонную разводки. СКС построена с использованием оборудования и комплектующих фирмы Panduit. Для медной разводки использованы кабели 6 категории. Для организации оптической СКС использованы одномодовый и многомодовый оптические кабели. Кажется - небольшое помещение, несколько сотен квадратных метров, но только оптического кабеля здесь проложено 40 км. Еще 175 км - медного кабеля. Смонтировано 4 тыс. оптических портов и 2,2 тыс. медных портов. Кроме того, центр обработки данных подключен к собственной волоконно-оптической сети "Комкор" - крупнейшей мультисервисной сети московского региона.

Кстати, потолка для проводки кабеля обычно не хватает - добавляют еще под фальшполом. Вот пример из ЦОД оператора "Элнет".

Практически полностью заполненная оборудованием стойка.

Обычно владельцы оборудования подписывают свои юниты - чтобы было понятно, где что "висит".

Коммуникационное оборудование NetGear.

Для сравнения, можно посмотреть на ЦОД рядом с Женевой - именно там размещена GRID-система Европейского центра ядерных исследований, где серверы, дисковые массивы и ПК объединены в единое телекоммуникационное пространство. Коммутаторы, поставляемые компанией HP, позволяют всем используемым в CERN процессорам обмениваться данными со скоростью 1 Гбит/с, а с основной магистралью сети GRID они связаны 10-Гбит/с каналами. На основной магистрали установлено 16 10-гигабитных маршрутизаторов производства Force10 Networks, которые связывают сеть CERN с другими участниками проекта.

ЦОД в CERN состоит из двух этажей - это несколько тысяч квадратных метров. На первом плане - двухпроцессорные рабочие станции на интеловском Xeon, чуть дальше - более продвинутые серверы Sun.

СКС в полевых условиях - ни о какой четкой проводке речи не идет.

Все порты под нагрузкой - перед входом нас неоднократно попросили - "только ничего, пожалуйста, не трогайте - все в рабочем состоянии".

Местный суперкомпьютер - для непосредственного управления в оперативном режиме предусмотрена сенсорная панель. Логин, который горел на экране, - ясное дело, admin. А вот какой пароль - мы гадали. То ли "Бог", то ли admin.

Второй этаж ЦОД - в новые 19-дюйм стойки инсталлируют современное оборудование, но делают это секторами - убирают старое, прокладывают новые кабельные СКС, потом монтируют стойки и дальше уже - установка техники.

Экскурсии в ЦОД многочисленные, поэтому везде развешены таблички "руками не трогать, идет настройка нового оборудования". Во время экскурсии с нами ходил главный программист CERN, и, в отличие от руководителя ИТ-департамента, он был крайне недоволен - никому не нравится, когда трогают или пытаются трогать его игрушки.

На каждый проводок - свой номерок. А то вдруг забудешь?

Это не просто столбики, а датчики температуры с модулями беспроводного доступа - при достижении пороговых значений они выдают сигнал тревоги.

Индикация включения автоматической газовой системы пожаротушения.

В ЦОД обеспечено полное резервирование всех инженерных и телекоммуникационных систем: электропитания, кондиционирования, СКС, активного сетевого оборудования. ЦОД - по схеме N+1, лаборатории и телекоммуникационного центра - по схеме 1+1. Управление и контроль за работой систем осуществляются автоматически. Комплекс оборудован системой аварийной остановки и противопожарной безопасности, включающей автоматическую газовую систему пожаротушения: использование именно такой системы исключает повреждение оборудования при ликвидации пожара.

Концентрация каналов доступа

Еще одной частью "цифровой крепости" компании "Комкор" является телекоммуникационный центр, где смонтировано 18 тыс. портов и организовано подключение ко всем крупнейшим российским операторам связи и международным интернет-провайдерам. Основа системы ЦОД - активное оборудование Cisco Systems: два коммутатора ядра, работающих с использованием технологии VSS, 14 коммутаторов доступа. Кроме того, здесь же находится центр приема, кодирования и ввода спутниковых ТВ-сигналов в сеть цифрового кабельного телевидения (28 аналоговых, 160 цифровых и 24 радиоканалов).

Телекоммуникационный центр "Комкор".

Головная станция КТВ "Акадо".

Tелекоммуникационный комплекс "Комкор" выполнен в светлых тонах.

Основа телекоммуникационного комплекса - оборудование компании Cisco Systems.

Специальная стойка с криптокартами - именно через нее идет кодирование сигнала видеоканалов.

Видеоканалов у "Комкора" много, поэтому с картами - целая стойка.

На каждый телеканал своя "железка" - вот как выглядят каналы "Спорт" и "Россия".

"Железо" для трансляции радиоканалов.

Модуль для обслуживания оборудования и монтажа юнитов.

Мобильный модуль настройки и контроля.

Монтаж оборудования телекоммуникационного комплекса.

Тотальный контроль

Крупную сеть, ЦОД или телекоммуникационный центр нельзя оставить без присмотра - именно поэтому в "Комкоре" был организован Центр управления сетью. Основная задача Центра - оперативное управление и координация действий технических служб по эксплуатации сети, моментальное реагирование в случае возникновения чрезвычайных ситуаций. Сейчас центр только развивается, в итоге здесь, в двух залах, будет оборудовано до 80 рабочих мест, где будут принимать заявки от клиентов и всех компаний группы "Акадо". Первый зал - контроль работы ЦОД и сети передачи данных. Второй - контроль качества IPTV, именно для этого здесь создана видеостена: операторы видят ровно то же изображение, что и клиенты.

Первый зал Центра управления сетью - здесь есть полная информация о состоянии проводной сети "Комкора", а также функционировании его ЦОД и телекоммуникационного центра. В проеме - рабочие места руководителей смены.

Первый зал Центра управления сетью.

Второй зал Центра управления сетью - здесь контролируют качество видеосигнала по IPTV.

Второй зал Центра управления сетью.

Техническое обеспечение

Мало ЦОД построить, необходимо обеспечить бесперебойную и стабильную работу оборудования, комфортное и безопасное хранение данных. Реализовать это возможно только за счет специальных инженерных систем.

Купольные панорамные камеры - это пример из ЦОД компании "Комкор".

"Обычные" IP-камеры для помещений - это пример из ЦОД оператора "Элнет".

Основная из них - это система безопасности. Камеры открываются только магнитными картами для авторизованных сотрудников, клиенты могут монтировать и тестировать свое оборудование только в специальном "предбаннике", в ЦОД им доступа нет. А за всеми помещениями следят камеры безопасности - это полноценное IP-решение с записями всех передвижений персонала, которые хранятся несколько недель на случай нештатных ситуаций.

Центр системы охлаждения, который размещен в подвале.

Вентиляторы, расположенные снаружи здания - они выводят избыточное тепло и забирают воздух для охлаждения.

Для создания необходимых климатических условий реализована трехконтурная система холодоснабжения фреон-вода-фреон. Гидроаккумуляторы емкостью 30 тонн обеспечивают бесперебойное охлаждение в случае прекращения подачи электроэнергии до начала работы дизельных генераторов. Общая производительность системы - 2,7 МВт. Энергообеспечение всего комплекса осуществляется от двух независимых линий высокого напряжения, 10 кВ каждая, через устройство включения резерва и четыре трансформаторных подстанции суммарной мощностью 5 МВт.

Каждый шкаф с электропитанием имеет индивидуальный датчик, показывающий его состояние.

При аварийном отключении электроэнергии через 30 секунд после прекращения основного электроснабжения начинают работу дизельные генераторы, способные обеспечить неограниченное по времени непрерывное автономное функционирование ЦОД. Общая мощность двух ДГУ - 3,5 МВт.

Машинный зал с генераторами электроэнергии.

Эти дизельные генераторы запускаются дистанционно, поэтому могут включиться в любой момент - об этом предупреждают многочисленные таблички.

Рядом с генераторами, в отдельном помещении, расположен специальный бак с дизельным топливом - как только оно будет заканчиваться, можно подогнать бензовоз и пополнить запасы через специальную систему заправки.

Когда генераторы включены, спасти могут только вот эти наушники - иначе шум просто невообразимый.

Основой климатической системы Центра обработки данных стало оборудование компании Emerson Network Power (бренд Liebert). По специальному заказу "Акадо Телеком" на заводах Liebert Hiross в Италии изготовлены три водоохлаждающие машины (чиллеры).

Не все машины включены, поскольку ЦОД еще не заполнен даже наполовину.

Для снятия теплопритоков от серверного оборудования в ЦОД установлены прецизионные напольные кондиционеры, создающие "холодный" и "горячий" коридоры в рядах между стойками. Помимо этого, ими обеспечивается поддержка необходимой влажности воздуха и его очистка от пыли.

Через каждые два-три шкафа установлены доводчики холода для более равномерного распределения холодного воздуха. Подобное решение впервые применено в российских центрах обработки данных.

Для обеспечения безопасности создана подсистема аварийной остановки телекоммуникационных комплексов, систем холодо- и энергоснабжения. Система обеспечивает подачу управляющих сигналов на отключение вводно-распределительных устройств и распределительных щитов, а также на отключение источников бесперебойного питания и электропитающих установок постоянного тока. Степень обеспечения надежности электроснабжения относится к потребителям особой группы первой категории надежности. На этом позвольте закончить. О любом центре обработки данных можно рассказать так много интересного, что потребовался бы цикл статей! Так что мы, без сомнения, еще вернемся к этой теме. А наша первая экскурсия в мир серверных шкафов, структурированных кабельных систем, систем охлаждения и питания закончена, надеемся вам было интересно.