Базовые технологии создания ЦОД

1. Технологии консолидации информационных ресурсов ЦОД

Масштабируемость элементов ЦОД позволяет наращивать его вычислительные мощности по мере необходимости. Это актуально, например, в случае увеличения объемов данных и сложности вычислений при развитии бизнеса или при переходе предприятия от распределенной модели вычислений к централизованной, то есть при постепенной концентрации вычислительных мощностей на центральных устройствах.

В общем случае под горизонтальным масштабированием ЦОД понимается увеличение единиц оборудования: в Серверном комплексе количества серверов, в Хранилище данных отдельных систем хранения. Под вертикальным масштабированием ЦОД понимается увеличение мощности одного центрального устройства, например SMP-сервера.

1.1. Общие технологии масштабируемости

А) Вертикальная масштабируемость с использованием технологий SMP, внутрисистемной коммутации и UMA. технологий SMP, внутрисистемной коммутации и UMA.
Для серверных систем, используемых при построении масштабируемых ЦОД, в настоящий момент характерно использование симметричного мультипроцессирования с объединением всех базовых ресурсов серверов (процессоров, оперативной памяти и подсистемы ввода/вывода) при помощи высокоскоростных коммутаторов (см. рис. 1). При этом у ряда производителей вычислительной техники при организации доступа к оперативной памяти со стороны всех процессоров обеспечивается равное время доступа (латентность), что безусловно повышает эффективность работы симметричных мультипроцессорных систем. Современные SMP-системы базируются на двух основных технологиях доступа к оперативной памяти UMA и NUMA. Эти технологии (UMA — однородный доступ к памяти, NUMA — неоднородный доступ к памяти) обеспечивают высокий уровень линейности характеристик вычислительных систем по доступу к оперативной памяти.

Рис. 1. Масштабирование серверного комплекса ЦОД

Таким образом, симметричная мультипроцессорная архитектура UMA/NUMA обеспечивает линейный рост производительности приложений с ростом количества ресурсов в системе. Наиболее приемлемым типом приложения для работы в таких средах являются коммерческие бизнес-приложения с нефиксированным уровнем мощности (например, ERP-системы, биллинговые системы и др.).

Б) Горизонтальная масштабируемость.
Другим способом масштабирования являются технологии объединения серверов, в том числе кластеризация и распараллеливание приложений в пределах группы серверов. При этом основным преимуществом такого способа является его относительная дешевизна за счет использования немасштабируемых серверов (как правило, одно-, двухпроцессорные серверы). В то же время, в данном случае эффективность напрямую зависит от используемых методов распараллеливания и технических средств обеспечения синхронизации процессов вычисления. Такой способ наиболее пригоден для приложений с фиксированной вычислительной мощностью и функциональностью.

В перспективе с развитием технологии межуровневых соединений возможна конвергенция этих двух основных систем масштабирования.

1.2. Утилизация/виртуализация вычислительных ресурсов ЦОД

Вычислительные системы, используемые в ЦОД, должны поддерживать высокую степень утилизации собственных ресурсов при работе с максимально возможным числом потребителей. Наибольшая эффективность использования ресурсов до последнего времени достигалась в системах типа "мейнфрейм" благодаря использованию канальной организации ввода/вывода и эффективной балансировки внутренних ресурсов. В настоящий момент такие технологии не менее эффективно используются и в UNIX-системах, что наглядно подтверждается тестами корпоративных систем управления предприятием (см.сайт http://www.ideasinternational.com)

Высокая степень утилизации ресурсов в UNIX-системах обеспечивается широким использованием современных технологий коммутации в сочетании с быстрым доступом к оперативной памяти и каналам ввода/вывода на основе архитектур UMA/NUMA. Благодаря такой организации вычислительных систем обеспечивается высокая однородность систем с точки зрения латентности доступа к основным ресурсам и, как следствие — высокая эффективность и масштабируемость (см. рис. 2).

Рис. 2. Виртуализация информационных ресурсов

Важной особенностью организации корпоративного ЦОД является возможность изоляции работы приложений друг от друга и динамического перераспределения ресурсов между ними, а также повышение отказоустойчивости ЦОД. Для решения данной задачи используется технология виртуализации. Данная технология подразумевает существование программно и аппаратно независимых разделов в серверах, которые могут включать одну или несколько базовых системных компонент серверов. Каждый системный компонент имеет в своем составе все необходимые элементы вычислительной системы: процессоры, оперативную память, подсистему ввода/вывода. При этом ресурсы могут динамично перераспределяться между разделами в зависимости от поставленных задач. В каждом разделе исполняется собственная копия операционной системы и собственные прикладные программы. Как следствие, программные и аппаратные сбои в одном разделе не оказывают влияния на работу других разделов, что резко повышает надежность системы и безопасность данных. Одни логические разделы можно реконфигурировать, не затрагивая работу других. Этим обеспечивается высокий уровень изоляции прикладного ПО, выполняемого в различных логических разделах. Существуют технологии программных виртуальных разделов и программно-аппаратные реализации разделов, причем второй вариант предпочтителен с точки зрения надежности.

Концентрация на одном сервере различных независимых задач и ресурсов позволяет не только обеспечить безопасность, но также снизить накладные расходы на системное администрирование и техническое обслуживание вычислительных систем ЦОД.

1.3. Технология построения хранилищ данных на базе SAN/NAS

В настоящий момент наиболее перспективной технологией построения корпоративных хранилищ данных в рамках ЦОД является использование сетей хранения данных (SAN), интеллектуальных дисковых массивов (в отдельных случаях возможно использование систем NAS). SANрешение представляет собой дополнительную выделенную сеть, связывающую один или несколько серверов с одной или несколькими системами хранения данных и использующее все преимущества коммутационных технологий для хранения данных. Технология SAN обеспечивает ряд ключевых моментов при организации хранилищ данных, а именно:

• высокую степень виртуализации дисковых ресурсов и их высокий уровень абстракции (глобальные файловые системы);
• реализацию большого количества важных для централизованного хранения данных технологий (мгновенного копирования, удаленного бессерверного копирования и т.д.);
• использование высокоскоростного протокола Fiber Channel для обмена данными между компонентами SAN;
• технологию коммутации и арбитражной петли при организации SAN;
• низкую латентность соединений;
• прозрачность организации и управления;
• большие расстояния между узлами сети SAN;
• прозрачность доступа к узлам сети.

К технологиям построения хранилищ относятся также средства организации долговременных и оперативных архивов и резервных копий данных. Для относительно небольших и однородных ЦОД возможно использование сетевых систем хранения NAS.

2. Технологии, обеспечивающие безопасность ЦОД

Одной из важнейших задач, решаемых ЦОД, является обеспечение информационной безопасности и защиты функциональных приложений, сервисов и данных Заказчика. Цель технологических и организационных решений ЦОД — сведение к минимуму ущерба при возможных внешних и внутренних воздействиях, а также предсказание и предотвращение таких воздействий.
Основные этапы обеспечения безопасности ЦОД:

• определение объектов, на которые могут быть направлены угрозы;
• выявление существующих и потенциальных угроз;
• определение возможных источников угрозы;
• оценка рисков;
• разработка и внедрение в системы ЦОД методов и средств: обнаружения враждебного воздействия, защиты от известных угроз, реагирования при инцидентах.

Основными объектами угроз в составе ЦОД являются:

• данные, хранимые в ЦОД;
• оборудование и элементы инфраструктуры ЦОД;
• программное обеспечение.

В части обеспечения технической безопасности необходима разработка и внедрение в инфраструктуру ЦОД:

• системы обеспечения физического доступа в помещения ЦОД;
• системы охранно-пожарной сигнализации;
• системы кондиционирования и вентиляции;
• системы бесперебойного электропитания.

Информационная безопасность обеспечивается:

• применением специальных технологий построения ЦОД (кластерные решения, SAN, резервное копирование и архивирование и др.);
• использованием специального ПО, обеспечивающего безопасную работу с данными ЦОД, в том числе защиту от вирусов, атак и др.

Перечисленные выше технологии и направления обеспечения безопасности ЦОД являются общими и требуют детализации при выработке технических требований на этапе технического проектирования конкретного ЦОД.

3. Технологии, обеспечивающие отказоустойчивость и катастрофоустойчивость ЦОД

Важнейшим качеством ЦОД является способность обеспечивать требуемый уровень отказоустойчивости. Отказоустойчивость ЦОД (и в частном случае — катастрофоустойчивость) обеспечивается в основном технологиями кластеризации и резервирования. Соответствующая конфигурация кластера (кластеров) позволит гарантировать практически любой требуемый уровень готовности ЦОД. При этом появляется возможность полного дублирования физических и виртуальных серверов, хранилищ данных, сетей SAN, сетей доступа и вспомогательного (инфраструктурного) оборудования для обеспечения отказоустойчивости/катастрофоустойчивости системы. При этом кластеры могут быть реализованы как между отдельными серверами ЦОД, так и между виртуальными доменами в пределах одного сервера.

С точки зрения доступа к ресурсам кластер высокой доступности можно охарактеризовать следующим образом: это несколько вычислительных систем, работающих вместе как единая структура и предоставляющих пользователю приложения, системные ресурсы и данные. Каждый сервер в кластере является многопроцессорной SMP-системой (UMA или NUMA). При этом в случае выхода любого сервера из строя остальные серверы распределяют между собой его задачи, обеспечивая, таким образом, необходимый уровень доступности.

Типичное время доступности для кластерных систем характеризуется параметром 99.995-99.999%, что означает фактически безостановочное функционирование основных прикладных задач и постоянную доступность основных ресурсов (таких, как вычислительные, дисковые, ленточные и сетевые).

К элементам организации катастрофоустойчивости относятся также технологии распределенных хранилищ данных и связанные с ним программно-аппаратные средства бессерверного копирования данных, поддержка длинных (>15 км) соединений SAN и т.д.

В рамках концептуальной модели ЦОД предусматривается возможность организации кластеров высокой доступности, состоящих из двух и более серверов или узлов кластера.

Кластеры высокой доступности строятся на основе кластерного программного обеспечения и специализированных кластерных соединений. Классический кластер высокой доступности является следящей системой, осуществляющей непрерывное отслеживание работоспособности всех узлов и компонент кластера. При выходе из строя узла кластера задачи, функционирующие на нем, перераспределяются между оставшимися узлами. В рамках одного узла возможно отслеживание всех его элементов и действий, задаваемых пользователем.

В состав кластерного программного обеспечения входят средства разработки, позволяющие создавать специальные сценарии мониторинга. Кроме того, кластерное программное обеспечение включает специальные методы настройки для инсталляции, администрации кластеров и пользовательских действий, а также переключение дисковых подсистем.

В состав кластера входят программные и аппаратные объекты (которые должны быть отслежены), линии слежения, программы слежения и переключатели.

После старта кластерного программного обеспечения между узлами кластера активизируется система отслеживания жизнеспособности. Если от одного из узлов кластера не поступает специальных сообщений по двум следящим линиям, другие серверы переключают на себя его периферию (внешние диски, терминалы, принтеры), после чего выполняются заранее определенные наборы скриптов. В случае восстановления поврежденного узла кластера автоматически или вручную администратором может быть выполнена процедура обратного переключения.

Кроме контроля над узлами кластера отслеживаются локальные объекты (процессы, аппаратные модули и др.). Объекты слежения задаются в конфигурационном файле, мониторинг осуществляется специальными программами слежения, которые взаимодействуют с основной программой кластерного программного обеспечения и сообщают о неисправности отслеживаемого объекта. Если следящая программа обнаруживает изменение в статусе объекта, то выполняется необходимый скрипт, также задаваемый в конфигурационном файле. Для администраторов, пишущих свои собственные мониторы слежения, предусмотрен интерфейс. Такие же мониторы могут быть созданы с использованием стандартных средств программирования оболочек.

4. Технологии, обеспечивающие доступность к данным, сервисам и приложениям

Качественное предоставление ресурсов ЦОД пользователям информационной системы является важной задачей при организации централизованной вычислительной среды. При этом надо выделить следующие организационные и технические аспекты организации доступа к ресурсам ЦОД. К организационным аспектам обеспечения доступности ресурсов ЦОД относятся:

• сосредоточение ресурсов, приложений и данных в ЦОД, что позволяет локально проводить весь комплекс необходимых мер по обеспечению применение максимально однородных технических обеспечение управляемости ЦОД с точки зрения высокой доступности и эффективности;
• применение максимально однородных технических средств, их качество;
• обеспечение управляемости ЦОД с точки зрения развития нестандартных ситуаций;
• ограничение численности высокооплачиваемого квалифицированного персонала.

Технические аспекты обеспечения доступности ресурсов ЦОД включают: максимально надежные технические вычислительные средства и коммуникации, использование технологий виртуальных машин, кластеров высокой доступности, специальных средств управления и поддержания работоспособности, в том числе:

• реализацию высокой доступности для одиночной системы и кластеров;
• единую точку управления системой и слежения за событиями;
• поддержку продолжения вычислений в случае выхода из строя компонент вычислительных систем;
• применение технологии виртуальных машин и изоляцию ошибок в их пределах;
• совершенный сервис;
• прозрачное управление ошибками ввода/вывода;
• обеспечение гарантированного уровня готовности.