Створення відмов кластеру високої доступності на Windows. | Статті про рішення для віртуалізації від компанії «Карма Груп»
- Створення відмов кластеру високої доступності на Windows. Кластери від компанії Microsoft.
- Кластери в Windows.
- Кластери в Windows Server 2012.
- SMB 3.0
- Storage Spaces.
- Scale-Out File Server (SOFS).
- Інші нововведення технологій кластеризації Windows.
- Нововведення в Windows Server 2012 R2.
- Високодоступних віртуальні машини.
- Кворум.
- CSV 2.1
- Створення відмов кластеру високої доступності на Windows.
- Кластери в Windows.
- Кластери в Windows Server 2012.
- SMB 3.0
- Storage Spaces.
- Scale-Out File Server (SOFS).
- Інші нововведення технологій кластеризації Windows.
- Нововведення в Windows Server 2012 R2.
- Високодоступних віртуальні машини.
- Кворум.
- CSV 2.1
- Створення відмов кластеру високої доступності на Windows.
- Кластери в Windows.
- Кластери в Windows Server 2012.
- SMB 3.0
- Storage Spaces.
- Scale-Out File Server (SOFS).
- Інші нововведення технологій кластеризації Windows.
- Нововведення в Windows Server 2012 R2.
- Високодоступних віртуальні машини.
- Кворум.
- CSV 2.1
- Створення відмов кластеру високої доступності на Windows.
- Кластери в Windows.
- Кластери в Windows Server 2012.
- SMB 3.0
- Storage Spaces.
- Scale-Out File Server (SOFS).
- Інші нововведення технологій кластеризації Windows.
- Нововведення в Windows Server 2012 R2.
- Високодоступних віртуальні машини.
- Кворум.
- CSV 2.1
- Створення відмов кластеру високої доступності на Windows.
- Кластери в Windows.
- Кластери в Windows Server 2012.
- SMB 3.0
- Storage Spaces.
- Scale-Out File Server (SOFS).
- Інші нововведення технологій кластеризації Windows.
- Нововведення в Windows Server 2012 R2.
- Високодоступних віртуальні машини.
- Кворум.
- CSV 2.1
- Створення відмов кластеру високої доступності на Windows.
- Кластери в Windows.
- Кластери в Windows Server 2012.
- SMB 3.0
- Storage Spaces.
- Scale-Out File Server (SOFS).
- Інші нововведення технологій кластеризації Windows.
- Нововведення в Windows Server 2012 R2.
- Високодоступних віртуальні машини.
- Кворум.
- CSV 2.1
- Створення відмов кластеру високої доступності на Windows.
- Кластери в Windows.
- Кластери в Windows Server 2012.
- SMB 3.0
- Storage Spaces.
- Scale-Out File Server (SOFS).
- Інші нововведення технологій кластеризації Windows.
- Нововведення в Windows Server 2012 R2.
- Високодоступних віртуальні машини.
- Кворум.
- CSV 2.1
Створення відмов кластеру високої доступності на Windows. Кластери від компанії Microsoft.
Незважаючи на неоднозначне ставлення до Microsoft необхідно відзначити, що компанія зробила високі технології доступними для простих користувачів. Так чи інакше, але сучасне становище сфери інформаційних технологій не в останню чергу визначено саме компанією Microsoft.
Далеко не завжди рішення і продукти від компанії Microsoft одразу займали позиції на рівні спеціалізованих рішень, однак найбільш важливі все одно поступово вибивалися в лідери в співвідношенні ціна / функціональність, а також по простоті впровадження. Одним з таких прикладів є кластери.
Розробка обчислювальних кластерів не є сильною стороною Microsoft. Про це свідчить, зокрема, той факт, що розробки компанії не потрапили в список Top-500 суперкомп'ютерів. Тому абсолютно логічно, що в лінійці Windows Server 2012 відсутній редакція HPC (High-performance computing -високопроізводітельние обчислення).
Крім того, з огляду на особливості високопродуктивних обчислень, платформа Windows Azure здається перспективнішою. Тому компанія Microsoft зосередила свою увагу на кластерах високої доступності.
Кластери в Windows.
Вперше підтримка кластерів була реалізована компанією Microsoft ще в операційній системі в Windows NT 4 Server Enterprise Edition у вигляді технології Microsoft Cluster Service (MSCS). В операційній системі Windows Server 2008 вона перетворилася в компонент Failover Clustering. По суті це кластери з обробкою відмови або високодоступних кластери, хоча іноді їх не цілком коректно називають відмовостійкими.
У загальному випадку при виході з ладу вузла, до якого йде запит, якраз і буде проявлятися відмову в обслуговуванні, однак при цьому буде автоматично перевантажено кластерізуемих сервісів на іншому вузлі, і система буде приведена в стан готовності в найкоротший термін.
Кластер високої доступності на Windows включає в себе як мінімум два вузла з встановленими операційними системами і відповідними ролями. Вузли повинні бути підключені до зовнішньої мережі та внутрішньої мережі, необхідної для обміну службовими повідомленнями, до загального сховища службових ресурсів (наприклад, диск-свідок для кворуму). Крім того, в систему входять і дані кластерізуемих додатків. У ситуації, коли сервіси виконуються тільки на одному з вузлів, реалізується схема Active-Passive, тобто сервіси виконуються на одному вузлі, а другий працює в черговому режимі. Коли обидва вузла несуть корисне навантаження, реалізується схема Active-Active.
З моменту першої реалізації, підтримка кластерів в Windows істотно змінилася. Була реалізована підтримка файлових і мережевих служб, пізніше SQL Server (в операційній системі Windows Server 2000), Exchange Server (в Windows Server 2003), та інші стандартні служби і ролі, включаючи Hyper-V (в операційній системі Windows Server 2008). Була покращена масштабованість (до 64 вузлів в Windows Server 2012), список кластерізуемих сервісів був розширений.
Підтримка віртуалізації, а також позиціонування Windows Server як хмарної операційної системи, стали приводом для подальшого розвитку підтримки кластерів, оскільки висока щільність обчислень пред'являє високі вимоги до надійності і доступності інфраструктури. Тому, починаючи з операційної системи Windows Server 2008, саме в цій області зосереджена основна маса удосконалень.
В операційній системі Windows Server 2008 R2 реалізовані загальні томи кластера Hyper-V (CSV), що дозволяють вузлів одночасно звертатися до однієї файлової системи NTFS. В результаті кілька кластерних віртуальних машин можуть використовувати одну адресу LUN і мігрувати з вузла на вузол незалежно.
У Windows Server 2012 кластерна підтримка Hyper-V була вдосконалена. Була додана можливість керування на рівні цілого кластера пріоритетами віртуальних машин, що визначають порядок перерозподілу пам'яті, відновлення вірутальних машин в разі виходу з ладу вузлів або запланованої масової міграції. Були розширені можливості моніторингу - в разі збою контрольованої служби з'явилася можливість перезапуску не тільки самої служби, а й всієї віртуальної машини. Є можливість здійснення міграції на інший, менш завантажений вузол. Реалізовано і інші, не менш цікаві нововведення, що стосуються кластеризації.
Кластери в Windows Server 2012.
Спочатку зупинимося на нововведеннях в базових технологіях, які використовуються кластерами або допомагаю розширити їх можливості.
SMB 3.0
Нова версія протоколу SMB 3.0 використовується для мережевого обміну даними. Цей протокол затребуваний при виконанні читання, записи і інших файлових операцій на віддалених ресурсах. У новій версії реалізована велика кількість удосконалень, які дозволяють оптимізувати роботу SQL Server, Hyper-V і файлових кластерів. Звернемо увагу на наступні оновлення:
- прозора відмовостійкість. Це нововведення забезпечує безперервність виконання операцій. При збої одного з вузлів файлового кластера поточні операції автоматично передаються іншому вузлу. Завдяки цьому нововведенню стала можливою реалізація схеми Active-Active з підтримкою до 8 вузлів.
- масштабування. Завдяки новій реалізації спільних томів кластера (версія 2.0) існує можливість одночасного доступу до файлів через всі вузли кластера, за рахунок чого досягається агрегація пропускної здатності і здійснюється балансування навантаження.
- SMB Direct. Реалізована підтримка мережевих адаптерів з технологією RDMA. Технологія RDMA (віддалений прямий доступ до пам'яті) дозволяє передавати дані безпосередньо в пам'ять програми, істотно звільняючи центральний процесор.
- SMB Multichannel. Дозволяє агрегувати пропускну здатність і підвищує відмовостійкість при наявності декількох мережевих шляхів між сервером з підтримкою SMB 3.0 і клієнтом.
Необхідно сказати, що для використання цих можливостей підтримка SMB 3.0 має бути присутня на обох кінцях з'єднання. Компанія Microsoft рекомендує використання серверів і клієнтів одного покоління (у випадку з Windows Server 2012 такої клієнтської платформою є Windows 8). На жаль, на сьогодні Windows 7 підтримує тільки SMB версії 2.1.
Storage Spaces.
Технологія Storage Spaces реалізована вперше в операційних системах Windows Server 2012 і Windows 8. Реалізована підтримка нової файлової системи ReFS, яка забезпечує функції підвищення відмовостійкості. Є можливість призначення дисків в пулі для гарячої заміни (в разі відмови інших носіїв або для швидкої заміни вичерпав свій ресурс SSD). Крім того, розширено можливості тонкої настройки з використанням PowerShell.
По суті, технологія Storage Spaces є програмною реалізацією RAID, розширеної за рахунок великого числа додаткових функцій. По-перше, накопичувачі з прямим доступом повинні бути об'єднані в пули. В принципі накопичувачі можуть бути будь-яких типів і потужностей, однак для організації стабільної роботи необхідно чітке розуміння принципів функціонування технології.
Далі на пулах можна створювати віртуальні диски наступних типів (не плутати з VHD / VHDX):
- простий (є аналогом RAID 0);
- дзеркало (двостороннє дзеркало є аналогом RAID1, тристороння дзеркало являє собою більш складну схему на зразок RAID 1E)
- з контролем парності (є аналогом RAID 5. Даний варіант забезпечує мінімальний перевитрата простору при мінімальній відмовостійкості).
Технологія Storage Spaces не є абсолютним нововведенням. Схожі можливості були давно реалізовані в Windows Server, наприклад у формі динамічних дисків. Технологія Storage Spaces дозволяє зробити використання всіх цих можливостей більш зручними і забезпечити новий рівень використання. Серед інших переваг Storage Spaces необхідно відзначити тонку ініціалізацію (thin provisioning), яка дає можливість призначати віртуальним дискам розміри понад доступних в реальності з розрахунку на додавання до відповідного пул нових накопичувачів згодом.
Один з найбільш непростих питань, пов'язаних з технологією Storage Spaces - це продуктивність. Як правило, програмні реалізації RAID поступаються по продуктивності апаратних варіантів. Однак, якщо мова йде про файловому сервері, то Storage Spaces отримує в своє розпорядження великий обсяг оперативної пам'яті і потужний процесор, тому необхідно тестування з урахуванням різних видів навантаження. З цієї точки зору особливу цінність набувають можливості тонкої настройки з використанням PowerShell.
Технологія Storage Spaces пропонує відмову від RAID-контролерів і дорогих систем зберігання, перенісши з логіку на рівень операційної системи. Ця ідея розкриває всі свої достоїнства і виявляється досить привабливою разом з ще одним нововведенням.
Scale-Out File Server (SOFS).
Ще одним нововведенням є режим кластерізуемой ролі File Server в Windows Server 2012, який отримав назву Scale-Out File Server. Тепер реалізована підтримка двох типів кластеризації, назви яких повністю звучать як File Sever for General Use і Scale-Out File Server (SOFS) for application data. Кожна з технологій має свої сфери застосування, а також свої переваги і недоліки.
Всецелевой файловий сервер являє собою добре відомий тип кластера Active-Passive. У свою чергу SOFS є кластер Active-Active, будучи дійсно відмовостійкої конфігурацією. Для спільного доступу до відповідних папок використовується опція Continuously Available.
Крім відмінних характеристик відмовостійкості це забезпечує підвищення пропускної здатності за умови раціонального проектування мережевої архітектури. Проксірующая файлова система CSV 2.0 (CSVFS) дозволяє зменшити вплив CHKDSK, дозволяючи утиліті виконувати необхідні операції, зберігаючи при цьому можливість роботи з томом активних додатків. Реалізовано кешування читання з CSV. Використання CSV забезпечує простоту і зручність розгортання і управління. Користувачеві потрібно створити звичайний кластер, налаштувати те CSV і активувати роль файлового сервера в режимі Scale-Out File Server for application data.
Завдяки простоті і функціональності запропонованого рішення сформувався новий клас устаткування «кластер-в-коробці» (Сluster-in-a-Box, CiB). Як правило, це шасі з двома блейд-серверами і дисковим масивом SAS JBOD з підтримкою Storage Spaces. Тут важливо, щоб SAS JBOD були Двопортовий, і був SAS HBA для реалізації перехресного підключення.
Така організація системи орієнтована саме на підтримку SOFS. З огляду на, що iSCSI target стандартно інтегрований в Windows Server 2012 і також може бути кластерізованний, таким чином може реалізувати «саморобну» систему зберігання даних на базі всецелевой операційної системи.
Однак слід мати на увазі, що власником CSV як і раніше є один з вузлів, який відповідає за всі операції з метаданими. При великій кількості метаданих може спостерігатися зниження продуктивності, тому для SOFS не рекомендується використовувати сценарій Information Worker, тоді як Hyper-V і SQL Server ідеально підходять для цього, в тому числі завдяки функціям агрегації пропускної здатності.
Інші нововведення технологій кластеризації Windows.
Вище ми перерахували лише найважливіші і великі нововведення в області кластеризації в Windows Server 2012. Інші менші нововведення, однак, теж з'явилися не випадково.
Була розширена підтримка віртуалізації за рахунок істотного спрощення створення гостьових кластерів (з віртуальних машин). На відміну від Windows Server 2008 R2, де для цього потрібно було надати iSCSI Target в загальне користування віртуальних машин, в операційній системі Windows Server 2012 з'явилася функція, що дозволяє віртуалізувати FC-контролер (по аналогії з мережевими адаптерами), за рахунок чого віртуальні машини отримують можливість безпосереднього доступу до LUN. Реалізовано і простіший варіант з використанням загальної мережевої папки SMB 3.0 для гостьових Windows Server 2012.
Однією з важливих, але нетривіальних завдань є установка програмних оновлень в кластері. При цьому може знадобитися перезавантаження вузлів, тому процедура повинна контролюватися. В операційній системі Windows Server 2012 пропонується інструмент Cluster-Aware Updating, який працює в такий спосіб: один з вузлів призначається координатором і стежить за наявністю оновлень, завантажує їх на інші вузли і виконує почергове оновлення вузлів, починаючи з тих, які завантажені найменше. Завдяки цьому доступність кластера зберігається на максимально можливому рівні протягом всього процесу оновлення.
Є нововведення і в управлінні кворумом. Наприклад, реалізована можливість давати право голосу тільки деяким вузлам. Це може бути корисно при розміщенні окремих вузлів на віддаленій майданчику, але має найбільшу цінність при реалізації нової моделі динамічного кворуму. Основна ідея динамічного кворуму полягає в тому, що вузол, що припинив свою роботу і недоступний протягом певного проміжку часу з будь-якої причини, втрачає право голосу аж до повторного підключення. Таким чином, загальне число голосів скорочується і кластер зберігає доступність максимально довго.
Нововведення в Windows Server 2012 R2.
Операційна система Windows Server 2012 R2 не є простим оновленням Windows Server 2012, а являє собою повноцінну нову операційну систему. Нововведення, реалізовані в Windows Server 2012 R2 переводять деякі можливості серверної платформи на якісно новий рівень. В першу чергу це стосується SOFC і Hyper-V.
Високодоступних віртуальні машини.
Спрощено процедуру створення гостьових кластерів, оскільки тепер з'явилася можливість використовувати в якості загального сховища звичайні VHDX, які всередині віртуальної машини будуть представлені як Shared SAS-диски. При цьому самі VHDX повинні бути розміщені на CSV або в загальних папках SMB 3.0. При цьому в віртуальних машинах можуть використовуватися як Windows Server 2012 R2, так і Windows Server 2012 (з оновленими інтеграційними компонентами).
Опція DrainOnShutdown покликана позбавити системних адміністраторів від помилок і зайвої роботи. Функція активована за замовчуванням і при планових перезагрузках або вимкненнях заздалегідь переводить вузол в такий режим обслуговування при якому евакуюються все Групові ролі. При цьому відбувається міграція активних віртуальних машин на інші вузли кластера Hyper-V.
Також в новій операційній системі Windows Server 2012 R2 Hyper-V проводить моніторинг мережевих інтерфейсів в віртуальних машинах і в разі виникнення проблеми запускає процес їх міграції на вузол, де доступна зовнішня мережа.
Кворум.
Крім динамічного кворуму в Windows Server 2012 R2 реалізований ще і динамічний диск-свідок (witness). При зміні числа вузлів його голос може бути автоматично врахований, так, щоб загальне число голосів залишалося непарних. У разі, якщо сам диск виявиться недоступним, його голос буде просто обнулений. Така схема дозволяє повністю покластися на автоматичні механізми, відмовившись від моделей кворуму.
Збільшена надійність роботи кластерів, розміщених на двох майданчиках. Часто при такій реалізації на кожному майданчику знаходиться рівно половина вузлів, тому порушення комунікації між майданчиками може виникнути проблема з формуванням кворуму. Хоча з більшістю подібних ситуацій успішно справляється механізм динамічного кворуму, в Windows Server 2012 R2 існує можливість призначити одному з майданчиків низький пріоритет, для того, щоб в разі збою кластер завжди функціонував на основному майданчику. У разі, якщо кластер був запущений з примусовим кворумом, то при відновленні зв'язку з віддаленої майданчиком служби кластера будуть перезапущени в автоматичному режимі і весь кластер буде знову об'єднаний.
CSV 2.1
Істотні зміни торкнулися і реалізації CSV. Тепер ролі власників томів рівномірно розподіляються по вузлах в автоматичному режимі, відповідно до зміни їх числа. Збільшена відмовостійкість CSV завдяки тому, що на кожному вузлі кластера запускається по два примірники серверної служби. Один використовується для обслуговування клієнтського SMB-трафіку, інший забезпечує комунікацію між вузлами. При цьому обов'язково проводиться моніторинг служби і в разі збою роль власника CSV мігрує на інший вузол.
Цілий ряд нововведень в CSV забезпечує більш ефективне використання SOFC і Storage Spaces. Додана підтримка файлової системи ReFS, яка володіє більш досконалою, ніж NTFS внутрішньою організацією. Швидше за все поступово ця файлова система займе провідне становище в продуктах компанії Microsoft. Також в Windows Server 2012 R2 реалізований механізм дедуплікаціі, який раніше був прерогативою всецелевого файлового сервера. Активація дедуплікаціі призводить до відключення CSV Block Cache, проте в деяких випадках вона може бути досить ефективною. Тома CSV можуть створюватися на дискових просторах з контролем парності.
У Windows Server 2012 R2 можлівість комбінуваті накопичувачі різніх тіпів Набуль особливого змісту з багаторівневімі просторами. З'явилася можливість формувати два рівня швидкий (на основі SSD) і ємний (на основі жорстких дисках) і при створенні віртуального диска виділяти певний обсяг з кожного з них. Далі відповідно до деякого розкладом вміст віртуального диска буде аналізуватися і розміщуватися блоками по 1 МБ на більш швидких або повільних носіях в залежності від затребуваності. Іншим застосуванням багаторівневих просторів є реалізація кешу зі зворотним записом на SSD. У моменти пікових навантажень запис здійснюється на швидкі твердотільні накопичувачі, а пізніше холодні даніпереміщуються на повільніші жорсткі диски.
Нововведення, що стосуються CSV і Storage Spaces, є найбільш суттєвими в Windows Server 2012 R2. На їх основі можна розгортати не просто надійні файлові сервери, а потужні й гнучкі системи зберігання даних з прекрасними можливостями масштабування і відмінною стійкістю до відмов, які надають в розпорядження користувача широкий спектр сучасних інструментів.
Читайте також:
Сучасні конвергентні системи для віртуалізації від компанії HP.
Рішення віртуалізації VMware.
Створення відмов кластеру високої доступності на Windows.
Кластери від компанії Microsoft.
Незважаючи на неоднозначне ставлення до Microsoft необхідно відзначити, що компанія зробила високі технології доступними для простих користувачів. Так чи інакше, але сучасне становище сфери інформаційних технологій не в останню чергу визначено саме компанією Microsoft.
Далеко не завжди рішення і продукти від компанії Microsoft одразу займали позиції на рівні спеціалізованих рішень, однак найбільш важливі все одно поступово вибивалися в лідери в співвідношенні ціна / функціональність, а також по простоті впровадження. Одним з таких прикладів є кластери.
Розробка обчислювальних кластерів не є сильною стороною Microsoft. Про це свідчить, зокрема, той факт, що розробки компанії не потрапили в список Top-500 суперкомп'ютерів. Тому абсолютно логічно, що в лінійці Windows Server 2012 відсутній редакція HPC (High-performance computing -високопроізводітельние обчислення).
Крім того, з огляду на особливості високопродуктивних обчислень, платформа Windows Azure здається перспективнішою. Тому компанія Microsoft зосередила свою увагу на кластерах високої доступності.
Кластери в Windows.
Вперше підтримка кластерів була реалізована компанією Microsoft ще в операційній системі в Windows NT 4 Server Enterprise Edition у вигляді технології Microsoft Cluster Service (MSCS). В операційній системі Windows Server 2008 вона перетворилася в компонент Failover Clustering. По суті це кластери з обробкою відмови або високодоступних кластери, хоча іноді їх не цілком коректно називають відмовостійкими.
У загальному випадку при виході з ладу вузла, до якого йде запит, якраз і буде проявлятися відмову в обслуговуванні, однак при цьому буде автоматично перевантажено кластерізуемих сервісів на іншому вузлі, і система буде приведена в стан готовності в найкоротший термін.
Кластер високої доступності на Windows включає в себе як мінімум два вузла з встановленими операційними системами і відповідними ролями. Вузли повинні бути підключені до зовнішньої мережі та внутрішньої мережі, необхідної для обміну службовими повідомленнями, до загального сховища службових ресурсів (наприклад, диск-свідок для кворуму). Крім того, в систему входять і дані кластерізуемих додатків. У ситуації, коли сервіси виконуються тільки на одному з вузлів, реалізується схема Active-Passive, тобто сервіси виконуються на одному вузлі, а другий працює в черговому режимі. Коли обидва вузла несуть корисне навантаження, реалізується схема Active-Active.
З моменту першої реалізації, підтримка кластерів в Windows істотно змінилася. Була реалізована підтримка файлових і мережевих служб, пізніше SQL Server (в операційній системі Windows Server 2000), Exchange Server (в Windows Server 2003), та інші стандартні служби і ролі, включаючи Hyper-V (в операційній системі Windows Server 2008). Була покращена масштабованість (до 64 вузлів в Windows Server 2012), список кластерізуемих сервісів був розширений.
Підтримка віртуалізації, а також позиціонування Windows Server як хмарної операційної системи, стали приводом для подальшого розвитку підтримки кластерів, оскільки висока щільність обчислень пред'являє високі вимоги до надійності і доступності інфраструктури. Тому, починаючи з операційної системи Windows Server 2008, саме в цій області зосереджена основна маса удосконалень.
В операційній системі Windows Server 2008 R2 реалізовані загальні томи кластера Hyper-V (CSV), що дозволяють вузлів одночасно звертатися до однієї файлової системи NTFS. В результаті кілька кластерних віртуальних машин можуть використовувати одну адресу LUN і мігрувати з вузла на вузол незалежно.
У Windows Server 2012 кластерна підтримка Hyper-V була вдосконалена. Була додана можливість керування на рівні цілого кластера пріоритетами віртуальних машин, що визначають порядок перерозподілу пам'яті, відновлення вірутальних машин в разі виходу з ладу вузлів або запланованої масової міграції. Були розширені можливості моніторингу - в разі збою контрольованої служби з'явилася можливість перезапуску не тільки самої служби, а й всієї віртуальної машини. Є можливість здійснення міграції на інший, менш завантажений вузол. Реалізовано і інші, не менш цікаві нововведення, що стосуються кластеризації.
Кластери в Windows Server 2012.
Спочатку зупинимося на нововведеннях в базових технологіях, які використовуються кластерами або допомагаю розширити їх можливості.
SMB 3.0
Нова версія протоколу SMB 3.0 використовується для мережевого обміну даними. Цей протокол затребуваний при виконанні читання, записи і інших файлових операцій на віддалених ресурсах. У новій версії реалізована велика кількість удосконалень, які дозволяють оптимізувати роботу SQL Server, Hyper-V і файлових кластерів. Звернемо увагу на наступні оновлення:
- прозора відмовостійкість. Це нововведення забезпечує безперервність виконання операцій. При збої одного з вузлів файлового кластера поточні операції автоматично передаються іншому вузлу. Завдяки цьому нововведенню стала можливою реалізація схеми Active-Active з підтримкою до 8 вузлів.
- масштабування. Завдяки новій реалізації спільних томів кластера (версія 2.0) існує можливість одночасного доступу до файлів через всі вузли кластера, за рахунок чого досягається агрегація пропускної здатності і здійснюється балансування навантаження.
- SMB Direct. Реалізована підтримка мережевих адаптерів з технологією RDMA. Технологія RDMA (віддалений прямий доступ до пам'яті) дозволяє передавати дані безпосередньо в пам'ять програми, істотно звільняючи центральний процесор.
- SMB Multichannel. Дозволяє агрегувати пропускну здатність і підвищує відмовостійкість при наявності декількох мережевих шляхів між сервером з підтримкою SMB 3.0 і клієнтом.
Необхідно сказати, що для використання цих можливостей підтримка SMB 3.0 має бути присутня на обох кінцях з'єднання. Компанія Microsoft рекомендує використання серверів і клієнтів одного покоління (у випадку з Windows Server 2012 такої клієнтської платформою є Windows 8). На жаль, на сьогодні Windows 7 підтримує тільки SMB версії 2.1.
Storage Spaces.
Технологія Storage Spaces реалізована вперше в операційних системах Windows Server 2012 і Windows 8. Реалізована підтримка нової файлової системи ReFS, яка забезпечує функції підвищення відмовостійкості. Є можливість призначення дисків в пулі для гарячої заміни (в разі відмови інших носіїв або для швидкої заміни вичерпав свій ресурс SSD). Крім того, розширено можливості тонкої настройки з використанням PowerShell.
По суті, технологія Storage Spaces є програмною реалізацією RAID, розширеної за рахунок великого числа додаткових функцій. По-перше, накопичувачі з прямим доступом повинні бути об'єднані в пули. В принципі накопичувачі можуть бути будь-яких типів і потужностей, однак для організації стабільної роботи необхідно чітке розуміння принципів функціонування технології.
Далі на пулах можна створювати віртуальні диски наступних типів (не плутати з VHD / VHDX):
- простий (є аналогом RAID 0);
- дзеркало (двостороннє дзеркало є аналогом RAID1, тристороння дзеркало являє собою більш складну схему на зразок RAID 1E)
- з контролем парності (є аналогом RAID 5. Даний варіант забезпечує мінімальний перевитрата простору при мінімальній відмовостійкості).
Технологія Storage Spaces не є абсолютним нововведенням. Схожі можливості були давно реалізовані в Windows Server, наприклад у формі динамічних дисків. Технологія Storage Spaces дозволяє зробити використання всіх цих можливостей більш зручними і забезпечити новий рівень використання. Серед інших переваг Storage Spaces необхідно відзначити тонку ініціалізацію (thin provisioning), яка дає можливість призначати віртуальним дискам розміри понад доступних в реальності з розрахунку на додавання до відповідного пул нових накопичувачів згодом.
Один з найбільш непростих питань, пов'язаних з технологією Storage Spaces - це продуктивність. Як правило, програмні реалізації RAID поступаються по продуктивності апаратних варіантів. Однак, якщо мова йде про файловому сервері, то Storage Spaces отримує в своє розпорядження великий обсяг оперативної пам'яті і потужний процесор, тому необхідно тестування з урахуванням різних видів навантаження. З цієї точки зору особливу цінність набувають можливості тонкої настройки з використанням PowerShell.
Технологія Storage Spaces пропонує відмову від RAID-контролерів і дорогих систем зберігання, перенісши з логіку на рівень операційної системи. Ця ідея розкриває всі свої достоїнства і виявляється досить привабливою разом з ще одним нововведенням.
Scale-Out File Server (SOFS).
Ще одним нововведенням є режим кластерізуемой ролі File Server в Windows Server 2012, який отримав назву Scale-Out File Server. Тепер реалізована підтримка двох типів кластеризації, назви яких повністю звучать як File Sever for General Use і Scale-Out File Server (SOFS) for application data. Кожна з технологій має свої сфери застосування, а також свої переваги і недоліки.
Всецелевой файловий сервер являє собою добре відомий тип кластера Active-Passive. У свою чергу SOFS є кластер Active-Active, будучи дійсно відмовостійкої конфігурацією. Для спільного доступу до відповідних папок використовується опція Continuously Available.
Крім відмінних характеристик відмовостійкості це забезпечує підвищення пропускної здатності за умови раціонального проектування мережевої архітектури. Проксірующая файлова система CSV 2.0 (CSVFS) дозволяє зменшити вплив CHKDSK, дозволяючи утиліті виконувати необхідні операції, зберігаючи при цьому можливість роботи з томом активних додатків. Реалізовано кешування читання з CSV. Використання CSV забезпечує простоту і зручність розгортання і управління. Користувачеві потрібно створити звичайний кластер, налаштувати те CSV і активувати роль файлового сервера в режимі Scale-Out File Server for application data.
Завдяки простоті і функціональності запропонованого рішення сформувався новий клас устаткування «кластер-в-коробці» (Сluster-in-a-Box, CiB). Як правило, це шасі з двома блейд-серверами і дисковим масивом SAS JBOD з підтримкою Storage Spaces. Тут важливо, щоб SAS JBOD були Двопортовий, і був SAS HBA для реалізації перехресного підключення.
Така організація системи орієнтована саме на підтримку SOFS. З огляду на, що iSCSI target стандартно інтегрований в Windows Server 2012 і також може бути кластерізованний, таким чином може реалізувати «саморобну» систему зберігання даних на базі всецелевой операційної системи.
Однак слід мати на увазі, що власником CSV як і раніше є один з вузлів, який відповідає за всі операції з метаданими. При великій кількості метаданих може спостерігатися зниження продуктивності, тому для SOFS не рекомендується використовувати сценарій Information Worker, тоді як Hyper-V і SQL Server ідеально підходять для цього, в тому числі завдяки функціям агрегації пропускної здатності.
Інші нововведення технологій кластеризації Windows.
Вище ми перерахували лише найважливіші і великі нововведення в області кластеризації в Windows Server 2012. Інші менші нововведення, однак, теж з'явилися не випадково.
Була розширена підтримка віртуалізації за рахунок істотного спрощення створення гостьових кластерів (з віртуальних машин). На відміну від Windows Server 2008 R2, де для цього потрібно було надати iSCSI Target в загальне користування віртуальних машин, в операційній системі Windows Server 2012 з'явилася функція, що дозволяє віртуалізувати FC-контролер (по аналогії з мережевими адаптерами), за рахунок чого віртуальні машини отримують можливість безпосереднього доступу до LUN. Реалізовано і простіший варіант з використанням загальної мережевої папки SMB 3.0 для гостьових Windows Server 2012.
Однією з важливих, але нетривіальних завдань є установка програмних оновлень в кластері. При цьому може знадобитися перезавантаження вузлів, тому процедура повинна контролюватися. В операційній системі Windows Server 2012 пропонується інструмент Cluster-Aware Updating, який працює в такий спосіб: один з вузлів призначається координатором і стежить за наявністю оновлень, завантажує їх на інші вузли і виконує почергове оновлення вузлів, починаючи з тих, які завантажені найменше. Завдяки цьому доступність кластера зберігається на максимально можливому рівні протягом всього процесу оновлення.
Є нововведення і в управлінні кворумом. Наприклад, реалізована можливість давати право голосу тільки деяким вузлам. Це може бути корисно при розміщенні окремих вузлів на віддаленій майданчику, але має найбільшу цінність при реалізації нової моделі динамічного кворуму. Основна ідея динамічного кворуму полягає в тому, що вузол, що припинив свою роботу і недоступний протягом певного проміжку часу з будь-якої причини, втрачає право голосу аж до повторного підключення. Таким чином, загальне число голосів скорочується і кластер зберігає доступність максимально довго.
Нововведення в Windows Server 2012 R2.
Операційна система Windows Server 2012 R2 не є простим оновленням Windows Server 2012, а являє собою повноцінну нову операційну систему. Нововведення, реалізовані в Windows Server 2012 R2 переводять деякі можливості серверної платформи на якісно новий рівень. В першу чергу це стосується SOFC і Hyper-V.
Високодоступних віртуальні машини.
Спрощено процедуру створення гостьових кластерів, оскільки тепер з'явилася можливість використовувати в якості загального сховища звичайні VHDX, які всередині віртуальної машини будуть представлені як Shared SAS-диски. При цьому самі VHDX повинні бути розміщені на CSV або в загальних папках SMB 3.0. При цьому в віртуальних машинах можуть використовуватися як Windows Server 2012 R2, так і Windows Server 2012 (з оновленими інтеграційними компонентами).
Опція DrainOnShutdown покликана позбавити системних адміністраторів від помилок і зайвої роботи. Функція активована за замовчуванням і при планових перезагрузках або вимкненнях заздалегідь переводить вузол в такий режим обслуговування при якому евакуюються все Групові ролі. При цьому відбувається міграція активних віртуальних машин на інші вузли кластера Hyper-V.
Також в новій операційній системі Windows Server 2012 R2 Hyper-V проводить моніторинг мережевих інтерфейсів в віртуальних машинах і в разі виникнення проблеми запускає процес їх міграції на вузол, де доступна зовнішня мережа.
Кворум.
Крім динамічного кворуму в Windows Server 2012 R2 реалізований ще і динамічний диск-свідок (witness). При зміні числа вузлів його голос може бути автоматично врахований, так, щоб загальне число голосів залишалося непарних. У разі, якщо сам диск виявиться недоступним, його голос буде просто обнулений. Така схема дозволяє повністю покластися на автоматичні механізми, відмовившись від моделей кворуму.
Збільшена надійність роботи кластерів, розміщених на двох майданчиках. Часто при такій реалізації на кожному майданчику знаходиться рівно половина вузлів, тому порушення комунікації між майданчиками може виникнути проблема з формуванням кворуму. Хоча з більшістю подібних ситуацій успішно справляється механізм динамічного кворуму, в Windows Server 2012 R2 існує можливість призначити одному з майданчиків низький пріоритет, для того, щоб в разі збою кластер завжди функціонував на основному майданчику. У разі, якщо кластер був запущений з примусовим кворумом, то при відновленні зв'язку з віддаленої майданчиком служби кластера будуть перезапущени в автоматичному режимі і весь кластер буде знову об'єднаний.
CSV 2.1
Істотні зміни торкнулися і реалізації CSV. Тепер ролі власників томів рівномірно розподіляються по вузлах в автоматичному режимі, відповідно до зміни їх числа. Збільшена відмовостійкість CSV завдяки тому, що на кожному вузлі кластера запускається по два примірники серверної служби. Один використовується для обслуговування клієнтського SMB-трафіку, інший забезпечує комунікацію між вузлами. При цьому обов'язково проводиться моніторинг служби і в разі збою роль власника CSV мігрує на інший вузол.
Цілий ряд нововведень в CSV забезпечує більш ефективне використання SOFC і Storage Spaces. Додана підтримка файлової системи ReFS, яка володіє більш досконалою, ніж NTFS внутрішньою організацією. Швидше за все поступово ця файлова система займе провідне становище в продуктах компанії Microsoft. Також в Windows Server 2012 R2 реалізований механізм дедуплікаціі, який раніше був прерогативою всецелевого файлового сервера. Активація дедуплікаціі призводить до відключення CSV Block Cache, проте в деяких випадках вона може бути досить ефективною. Тома CSV можуть створюватися на дискових просторах з контролем парності.
Створення відмов кластеру високої доступності на Windows.
Кластери від компанії Microsoft.
Незважаючи на неоднозначне ставлення до Microsoft необхідно відзначити, що компанія зробила високі технології доступними для простих користувачів. Так чи інакше, але сучасне становище сфери інформаційних технологій не в останню чергу визначено саме компанією Microsoft.
Далеко не завжди рішення і продукти від компанії Microsoft одразу займали позиції на рівні спеціалізованих рішень, однак найбільш важливі все одно поступово вибивалися в лідери в співвідношенні ціна / функціональність, а також по простоті впровадження. Одним з таких прикладів є кластери.
Розробка обчислювальних кластерів не є сильною стороною Microsoft. Про це свідчить, зокрема, той факт, що розробки компанії не потрапили в список Top-500 суперкомп'ютерів. Тому абсолютно логічно, що в лінійці Windows Server 2012 відсутній редакція HPC (High-performance computing -високопроізводітельние обчислення).
Крім того, з огляду на особливості високопродуктивних обчислень, платформа Windows Azure здається перспективнішою. Тому компанія Microsoft зосередила свою увагу на кластерах високої доступності.
Кластери в Windows.
Вперше підтримка кластерів була реалізована компанією Microsoft ще в операційній системі в Windows NT 4 Server Enterprise Edition у вигляді технології Microsoft Cluster Service (MSCS). В операційній системі Windows Server 2008 вона перетворилася в компонент Failover Clustering. По суті це кластери з обробкою відмови або високодоступних кластери, хоча іноді їх не цілком коректно називають відмовостійкими.
У загальному випадку при виході з ладу вузла, до якого йде запит, якраз і буде проявлятися відмову в обслуговуванні, однак при цьому буде автоматично перевантажено кластерізуемих сервісів на іншому вузлі, і система буде приведена в стан готовності в найкоротший термін.
Кластер високої доступності на Windows включає в себе як мінімум два вузла з встановленими операційними системами і відповідними ролями. Вузли повинні бути підключені до зовнішньої мережі та внутрішньої мережі, необхідної для обміну службовими повідомленнями, до загального сховища службових ресурсів (наприклад, диск-свідок для кворуму). Крім того, в систему входять і дані кластерізуемих додатків. У ситуації, коли сервіси виконуються тільки на одному з вузлів, реалізується схема Active-Passive, тобто сервіси виконуються на одному вузлі, а другий працює в черговому режимі. Коли обидва вузла несуть корисне навантаження, реалізується схема Active-Active.
З моменту першої реалізації, підтримка кластерів в Windows істотно змінилася. Була реалізована підтримка файлових і мережевих служб, пізніше SQL Server (в операційній системі Windows Server 2000), Exchange Server (в Windows Server 2003), та інші стандартні служби і ролі, включаючи Hyper-V (в операційній системі Windows Server 2008). Була покращена масштабованість (до 64 вузлів в Windows Server 2012), список кластерізуемих сервісів був розширений.
Підтримка віртуалізації, а також позиціонування Windows Server як хмарної операційної системи, стали приводом для подальшого розвитку підтримки кластерів, оскільки висока щільність обчислень пред'являє високі вимоги до надійності і доступності інфраструктури. Тому, починаючи з операційної системи Windows Server 2008, саме в цій області зосереджена основна маса удосконалень.
В операційній системі Windows Server 2008 R2 реалізовані загальні томи кластера Hyper-V (CSV), що дозволяють вузлів одночасно звертатися до однієї файлової системи NTFS. В результаті кілька кластерних віртуальних машин можуть використовувати одну адресу LUN і мігрувати з вузла на вузол незалежно.
У Windows Server 2012 кластерна підтримка Hyper-V була вдосконалена. Була додана можливість керування на рівні цілого кластера пріоритетами віртуальних машин, що визначають порядок перерозподілу пам'яті, відновлення вірутальних машин в разі виходу з ладу вузлів або запланованої масової міграції. Були розширені можливості моніторингу - в разі збою контрольованої служби з'явилася можливість перезапуску не тільки самої служби, а й всієї віртуальної машини. Є можливість здійснення міграції на інший, менш завантажений вузол. Реалізовано і інші, не менш цікаві нововведення, що стосуються кластеризації.
Кластери в Windows Server 2012.
Спочатку зупинимося на нововведеннях в базових технологіях, які використовуються кластерами або допомагаю розширити їх можливості.
SMB 3.0
Нова версія протоколу SMB 3.0 використовується для мережевого обміну даними. Цей протокол затребуваний при виконанні читання, записи і інших файлових операцій на віддалених ресурсах. У новій версії реалізована велика кількість удосконалень, які дозволяють оптимізувати роботу SQL Server, Hyper-V і файлових кластерів. Звернемо увагу на наступні оновлення:
- прозора відмовостійкість. Це нововведення забезпечує безперервність виконання операцій. При збої одного з вузлів файлового кластера поточні операції автоматично передаються іншому вузлу. Завдяки цьому нововведенню стала можливою реалізація схеми Active-Active з підтримкою до 8 вузлів.
- масштабування. Завдяки новій реалізації спільних томів кластера (версія 2.0) існує можливість одночасного доступу до файлів через всі вузли кластера, за рахунок чого досягається агрегація пропускної здатності і здійснюється балансування навантаження.
- SMB Direct. Реалізована підтримка мережевих адаптерів з технологією RDMA. Технологія RDMA (віддалений прямий доступ до пам'яті) дозволяє передавати дані безпосередньо в пам'ять програми, істотно звільняючи центральний процесор.
- SMB Multichannel. Дозволяє агрегувати пропускну здатність і підвищує відмовостійкість при наявності декількох мережевих шляхів між сервером з підтримкою SMB 3.0 і клієнтом.
Необхідно сказати, що для використання цих можливостей підтримка SMB 3.0 має бути присутня на обох кінцях з'єднання. Компанія Microsoft рекомендує використання серверів і клієнтів одного покоління (у випадку з Windows Server 2012 такої клієнтської платформою є Windows 8). На жаль, на сьогодні Windows 7 підтримує тільки SMB версії 2.1.
Storage Spaces.
Технологія Storage Spaces реалізована вперше в операційних системах Windows Server 2012 і Windows 8. Реалізована підтримка нової файлової системи ReFS, яка забезпечує функції підвищення відмовостійкості. Є можливість призначення дисків в пулі для гарячої заміни (в разі відмови інших носіїв або для швидкої заміни вичерпав свій ресурс SSD). Крім того, розширено можливості тонкої настройки з використанням PowerShell.
По суті, технологія Storage Spaces є програмною реалізацією RAID, розширеної за рахунок великого числа додаткових функцій. По-перше, накопичувачі з прямим доступом повинні бути об'єднані в пули. В принципі накопичувачі можуть бути будь-яких типів і потужностей, однак для організації стабільної роботи необхідно чітке розуміння принципів функціонування технології.
Далі на пулах можна створювати віртуальні диски наступних типів (не плутати з VHD / VHDX):
- простий (є аналогом RAID 0);
- дзеркало (двостороннє дзеркало є аналогом RAID1, тристороння дзеркало являє собою більш складну схему на зразок RAID 1E)
- з контролем парності (є аналогом RAID 5. Даний варіант забезпечує мінімальний перевитрата простору при мінімальній відмовостійкості).
Технологія Storage Spaces не є абсолютним нововведенням. Схожі можливості були давно реалізовані в Windows Server, наприклад у формі динамічних дисків. Технологія Storage Spaces дозволяє зробити використання всіх цих можливостей більш зручними і забезпечити новий рівень використання. Серед інших переваг Storage Spaces необхідно відзначити тонку ініціалізацію (thin provisioning), яка дає можливість призначати віртуальним дискам розміри понад доступних в реальності з розрахунку на додавання до відповідного пул нових накопичувачів згодом.
Один з найбільш непростих питань, пов'язаних з технологією Storage Spaces - це продуктивність. Як правило, програмні реалізації RAID поступаються по продуктивності апаратних варіантів. Однак, якщо мова йде про файловому сервері, то Storage Spaces отримує в своє розпорядження великий обсяг оперативної пам'яті і потужний процесор, тому необхідно тестування з урахуванням різних видів навантаження. З цієї точки зору особливу цінність набувають можливості тонкої настройки з використанням PowerShell.
Технологія Storage Spaces пропонує відмову від RAID-контролерів і дорогих систем зберігання, перенісши з логіку на рівень операційної системи. Ця ідея розкриває всі свої достоїнства і виявляється досить привабливою разом з ще одним нововведенням.
Scale-Out File Server (SOFS).
Ще одним нововведенням є режим кластерізуемой ролі File Server в Windows Server 2012, який отримав назву Scale-Out File Server. Тепер реалізована підтримка двох типів кластеризації, назви яких повністю звучать як File Sever for General Use і Scale-Out File Server (SOFS) for application data. Кожна з технологій має свої сфери застосування, а також свої переваги і недоліки.
Всецелевой файловий сервер являє собою добре відомий тип кластера Active-Passive. У свою чергу SOFS є кластер Active-Active, будучи дійсно відмовостійкої конфігурацією. Для спільного доступу до відповідних папок використовується опція Continuously Available.
Крім відмінних характеристик відмовостійкості це забезпечує підвищення пропускної здатності за умови раціонального проектування мережевої архітектури. Проксірующая файлова система CSV 2.0 (CSVFS) дозволяє зменшити вплив CHKDSK, дозволяючи утиліті виконувати необхідні операції, зберігаючи при цьому можливість роботи з томом активних додатків. Реалізовано кешування читання з CSV. Використання CSV забезпечує простоту і зручність розгортання і управління. Користувачеві потрібно створити звичайний кластер, налаштувати те CSV і активувати роль файлового сервера в режимі Scale-Out File Server for application data.
Завдяки простоті і функціональності запропонованого рішення сформувався новий клас устаткування «кластер-в-коробці» (Сluster-in-a-Box, CiB). Як правило, це шасі з двома блейд-серверами і дисковим масивом SAS JBOD з підтримкою Storage Spaces. Тут важливо, щоб SAS JBOD були Двопортовий, і був SAS HBA для реалізації перехресного підключення.
Така організація системи орієнтована саме на підтримку SOFS. З огляду на, що iSCSI target стандартно інтегрований в Windows Server 2012 і також може бути кластерізованний, таким чином може реалізувати «саморобну» систему зберігання даних на базі всецелевой операційної системи.
Однак слід мати на увазі, що власником CSV як і раніше є один з вузлів, який відповідає за всі операції з метаданими. При великій кількості метаданих може спостерігатися зниження продуктивності, тому для SOFS не рекомендується використовувати сценарій Information Worker, тоді як Hyper-V і SQL Server ідеально підходять для цього, в тому числі завдяки функціям агрегації пропускної здатності.
Інші нововведення технологій кластеризації Windows.
Вище ми перерахували лише найважливіші і великі нововведення в області кластеризації в Windows Server 2012. Інші менші нововведення, однак, теж з'явилися не випадково.
Була розширена підтримка віртуалізації за рахунок істотного спрощення створення гостьових кластерів (з віртуальних машин). На відміну від Windows Server 2008 R2, де для цього потрібно було надати iSCSI Target в загальне користування віртуальних машин, в операційній системі Windows Server 2012 з'явилася функція, що дозволяє віртуалізувати FC-контролер (по аналогії з мережевими адаптерами), за рахунок чого віртуальні машини отримують можливість безпосереднього доступу до LUN. Реалізовано і простіший варіант з використанням загальної мережевої папки SMB 3.0 для гостьових Windows Server 2012.
Однією з важливих, але нетривіальних завдань є установка програмних оновлень в кластері. При цьому може знадобитися перезавантаження вузлів, тому процедура повинна контролюватися. В операційній системі Windows Server 2012 пропонується інструмент Cluster-Aware Updating, який працює в такий спосіб: один з вузлів призначається координатором і стежить за наявністю оновлень, завантажує їх на інші вузли і виконує почергове оновлення вузлів, починаючи з тих, які завантажені найменше. Завдяки цьому доступність кластера зберігається на максимально можливому рівні протягом всього процесу оновлення.
Є нововведення і в управлінні кворумом. Наприклад, реалізована можливість давати право голосу тільки деяким вузлам. Це може бути корисно при розміщенні окремих вузлів на віддаленій майданчику, але має найбільшу цінність при реалізації нової моделі динамічного кворуму. Основна ідея динамічного кворуму полягає в тому, що вузол, що припинив свою роботу і недоступний протягом певного проміжку часу з будь-якої причини, втрачає право голосу аж до повторного підключення. Таким чином, загальне число голосів скорочується і кластер зберігає доступність максимально довго.
Нововведення в Windows Server 2012 R2.
Операційна система Windows Server 2012 R2 не є простим оновленням Windows Server 2012, а являє собою повноцінну нову операційну систему. Нововведення, реалізовані в Windows Server 2012 R2 переводять деякі можливості серверної платформи на якісно новий рівень. В першу чергу це стосується SOFC і Hyper-V.
Високодоступних віртуальні машини.
Спрощено процедуру створення гостьових кластерів, оскільки тепер з'явилася можливість використовувати в якості загального сховища звичайні VHDX, які всередині віртуальної машини будуть представлені як Shared SAS-диски. При цьому самі VHDX повинні бути розміщені на CSV або в загальних папках SMB 3.0. При цьому в віртуальних машинах можуть використовуватися як Windows Server 2012 R2, так і Windows Server 2012 (з оновленими інтеграційними компонентами).
Опція DrainOnShutdown покликана позбавити системних адміністраторів від помилок і зайвої роботи. Функція активована за замовчуванням і при планових перезагрузках або вимкненнях заздалегідь переводить вузол в такий режим обслуговування при якому евакуюються все Групові ролі. При цьому відбувається міграція активних віртуальних машин на інші вузли кластера Hyper-V.
Також в новій операційній системі Windows Server 2012 R2 Hyper-V проводить моніторинг мережевих інтерфейсів в віртуальних машинах і в разі виникнення проблеми запускає процес їх міграції на вузол, де доступна зовнішня мережа.
Кворум.
Крім динамічного кворуму в Windows Server 2012 R2 реалізований ще і динамічний диск-свідок (witness). При зміні числа вузлів його голос може бути автоматично врахований, так, щоб загальне число голосів залишалося непарних. У разі, якщо сам диск виявиться недоступним, його голос буде просто обнулений. Така схема дозволяє повністю покластися на автоматичні механізми, відмовившись від моделей кворуму.
Збільшена надійність роботи кластерів, розміщених на двох майданчиках. Часто при такій реалізації на кожному майданчику знаходиться рівно половина вузлів, тому порушення комунікації між майданчиками може виникнути проблема з формуванням кворуму. Хоча з більшістю подібних ситуацій успішно справляється механізм динамічного кворуму, в Windows Server 2012 R2 існує можливість призначити одному з майданчиків низький пріоритет, для того, щоб в разі збою кластер завжди функціонував на основному майданчику. У разі, якщо кластер був запущений з примусовим кворумом, то при відновленні зв'язку з віддаленої майданчиком служби кластера будуть перезапущени в автоматичному режимі і весь кластер буде знову об'єднаний.
CSV 2.1
Істотні зміни торкнулися і реалізації CSV. Тепер ролі власників томів рівномірно розподіляються по вузлах в автоматичному режимі, відповідно до зміни їх числа. Збільшена відмовостійкість CSV завдяки тому, що на кожному вузлі кластера запускається по два примірники серверної служби. Один використовується для обслуговування клієнтського SMB-трафіку, інший забезпечує комунікацію між вузлами. При цьому обов'язково проводиться моніторинг служби і в разі збою роль власника CSV мігрує на інший вузол.
Цілий ряд нововведень в CSV забезпечує більш ефективне використання SOFC і Storage Spaces. Додана підтримка файлової системи ReFS, яка володіє більш досконалою, ніж NTFS внутрішньою організацією. Швидше за все поступово ця файлова система займе провідне становище в продуктах компанії Microsoft. Також в Windows Server 2012 R2 реалізований механізм дедуплікаціі, який раніше був прерогативою всецелевого файлового сервера. Активація дедуплікаціі призводить до відключення CSV Block Cache, проте в деяких випадках вона може бути досить ефективною. Тома CSV можуть створюватися на дискових просторах з контролем парності.
Створення відмов кластеру високої доступності на Windows.
Кластери від компанії Microsoft.
Незважаючи на неоднозначне відношення до Microsoft необхідно зазначити, що компанія зробила високі технології доступними для простих користувачів. Так чи інакше, але сучасне становище сфери інформаційних технологій над останню чергу визначено саме компанією Microsoft.
Далеко не завжди рішення і продукти від компанії Microsoft одразу займали позиції на рівні спеціалізованих рішень, однак найбільш важливі все одно поступово вибивалися в лідери в співвідношенні ціна / функціональність, а також по простоті впровадження. Одним з таких прикладів є кластери.
Розробка обчислювальних кластерів не є сильною стороною Microsoft. Про це свідчить, зокрема, той факт, що розробки компанії не потрапили в список Top-500 суперкомп'ютерів. Тому абсолютно дивно, що в лінійці Windows Server 2012 відсутній редакція HPC (High-performance computing -високопроізводітельние обчислення).
Крім того, з огляду на особливості високопродуктивних обчислень, платформа Windows Azure здається перспективнішою. Тому компанія Microsoft зосередила свою увагу на кластерах високої доступності.
Кластери в Windows.
Вперше підтримка кластерів була реалізована компанією Microsoft ще в операційній системі в Windows NT 4 Server Enterprise Edition у вигляді технології Microsoft Cluster Service (MSCS). В операційній системі Windows Server 2008 вона перетворилася в компонент Failover Clustering. По суті це кластери з обробкою відмови або високодоступних кластери, хоча іноді їх не цілком коректно називають відмовостійкими.
У загальному випадку при виході з ладу вузла, до якого йде запит, якраз і буде проявлятися відмову в обслуговуванні, однак при цьому буде автоматично перевантажено кластерізуемих сервісів на іншому вузлі, і система буде приведена в стан готовності в найкоротший термін.
Кластер високої доступності на Windows включає в себе як мінімум два вузла до встановлених операційними системами і відповідними ролями. Вузли повинні бути підключені до зовнішньої мережі та внутрішньої мережі, необхідної для обміну службовими повідомленнями, до загального сховища службових ресурсів (наприклад, диск-свідок для кворуму). Крім того, в систему входять і дані кластерізуемих додатків. У ситуації, коли сервіси виконуються тільки на одному з вузлів, реалізується схема Active-Passive, тобто сервіси виконуються на одному вузлі, а другий працює в черговому режимі. Коли обидва вузла несуть корисне навантаження, реалізується схема Active-Active.
З моменту першої реалізації, підтримка кластерів в Windows істотно змінилася. Була реалізована підтримка файлових і мережевих служб, пізніше SQL Server (в операційній системі Windows Server 2000), Exchange Server (в Windows Server 2003), та інші стандартні служби і ролі, включаючи Hyper-V (в операційній системі Windows Server 2008). Була покращена масштабованість (до 64 вузлів в Windows Server 2012), список кластерізуемих сервісів був розширений.
Підтримка віртуалізації, а також позиціонування Windows Server як хмарної операційної системи, стали приводом для подальшого розвитку підтримки кластерів, оскільки висока щільність обчислень пред'являє високі вимоги до надійності і доступності інфраструктури. Тому, починаючи з операційної системи Windows Server 2008, саме в цій області зосереджена основна маса удосконалень.
В операційній системі Windows Server 2008 R2 реалізовані загальні томи кластера Hyper-V (CSV), що дозволяють вузлів одночасно звертатися до однієї файлової системи NTFS. В результаті кілька кластерних віртуальних машин можуть використовувати одну адресу LUN і мігрувати з вузла на вузол незалежно.
У Windows Server 2012 кластерна підтримка Hyper-V була вдосконалена. Була додана можливість керування на рівні цілого кластеру пріоритетами віртуальних машин, що визначають порядок перерозподілу пам'яті, відновлення вірутальних машин у разі виходу з ладу вузлів або запланованої масової міграції. Були розширені можливості моніторингу - в разі збою контрольованої служби з'явилася можливість перезапуску не тільки самої служби, а й всієї віртуальної машини. Є можливiсть здiйснення міграції на інший, менш завантажений вузол. Реалізовано і інші, не менш цікаві нововведення, що стосуються кластеризації.
Кластери в Windows Server 2012.
Спочатку зупинимося на нововведеннях в базових технологіях, які використовуються кластерами або допомагаю розширити їх можливості.
SMB 3.0
Нова версія протоколу SMB 3.0 використовується для мережевого обміну даними. Цей протокол затребуваний при виконанні читання, записи і інших файлових операцій на віддалених ресурсах. У новій версії реалізована велика кількість удосконалень, які дозволяють оптимізувати роботу SQL Server, Hyper-V і файлових кластерів. Звернемо увагу на наступні оновлення:
- прозора відмовостійкість. Це нововведення забезпечує безперервність виконання операцій. При збої одного з вузлів файлового кластера поточні операції автоматично передаються іншому вузлу. Завдяки цьому нововведенню стала можливої реалізація схеми Active-Active з підтримкою до 8 вузлів.
- масштабування. Завдяки новій реалізації спільних томів кластера (версія 2.0) існує можливість одночасного доступу до файлів через всі вузли кластера, за рахунок чого досягається агрегація пропускної здатності і здійснюється балансування навантаження.
- SMB Direct. Реалізована підтримка мережевих адаптерів з технологією RDMA. Технологія RDMA (віддалений прямий доступ до пам'яті) дозволяє передавати дані безпосередньо в пам'ять програми, істотно звільняючи центральний процесор.
- SMB Multichannel. Дозволяє агрегувати пропускну здатність та підвищує відмовостійкість при наявності декількох мережевих шляхів між сервером з підтримкою SMB 3.0 і клієнтом.
Необхідно сказати, що для використання цих можливостей підтримка SMB 3.0 має бути присутня на обох кінцях з'єднання. Компанія Microsoft рекомендує використання серверів і клієнтів одного покоління (у випадку з Windows Server 2012 такої клієнтської платформою є Windows 8). На жаль, на сьогодні Windows 7 підтримує тільки SMB версії 2.1.
Storage Spaces.
Технологія Storage Spaces реалізована вперше в операційних системах Windows Server 2012 і Windows 8. Реалізована підтримка нової файлової системи ReFS, яка забезпечує функції підвищення відмовостійкості. Є можливість призначення дисків в пулі для гарячої заміни (в разі відмови інших носіїв або для швидкої заміни вичерпав свій ресурс SSD). Крім того, розширено можливості тонкої настройки з використанням PowerShell.
По суті, технологія Storage Spaces є програмною реалізацією RAID, розширеної за рахунок великого числа додаткових функцій. По-перше, накопичувачі з прямим доступом повинні бути об'єднані в пули. У принципі накопичувачі можуть бути будь-яких типів і потужностей, однак для організації стабільної роботи необхідно чітке розуміння принципів функціонування технології.
Далі на пулах можна створювати віртуальні диски наступних типів (не плутати з VHD / VHDX):
- простий (є аналогом RAID 0);
- дзеркало (двостороннє дзеркало є аналогом RAID1, тристороння дзеркало являє собою більш складну схему на зразок RAID 1E)
- з контролем парності (є аналогом RAID 5. Даний варіант забезпечує мінімальний перевитрата простору при мінімальній відмовостійкості).
Технологія Storage Spaces не є абсолютним нововведенням. Схожі можливості були давно реалізовані в Windows Server, наприклад у формі динамічних дисків. Технологія Storage Spaces дозволяє зробити використання всіх цих можливостей більш зручними і забезпечити нового рівня використання. Серед інших переваг Storage Spaces необхідно відзначити тонку ініціалізацію (thin provisioning), яка дає можливість призначати віртуальним дискам розміри понад доступних в реальності з розрахунку на додавання до відповідного пул нових накопичувачів згодом.
Один з найбільш непростих питань, пов'язаних з технологією Storage Spaces - це продуктивність. Як правило, програмні реалізації RAID поступаються по продуктивності апаратних варіантів. Однак, якщо мова йде про файловому сервері, то Storage Spaces отримує в своє розпорядження великий обсяг оперативної пам'яті і потужний процесор, тому необхідно тестування з урахуванням різних видів навантаження. З цієї точки зору особливу цінність набувають можливості тонкої настройки з використанням PowerShell.
Технологія Storage Spaces пропонує відмову від RAID-контролерів і дорогих систем зберігання, перенісши з логіку на рівень операційної системи. Ця ідея розкриває всі свої достоїнства і виявляється досить привабливою разом з ще одним нововведенням.
Scale-Out File Server (SOFS).
Ще одним нововведенням є режим кластерізуемой ролі File Server в Windows Server 2012, який отримав назву Scale-Out File Server. Тепер реалізована підтримка двох типів кластеризації, назви яких повністю звучать як File Sever for General Use і Scale-Out File Server (SOFS) for application data. Кожна з технологій має свої сфери застосування, а також свої переваги і недоліки.
Всецелевой файловий сервер являє собою добре відомий тип кластера Active-Passive. У свою чергу SOFS є кластер Active-Active, будучи дійсно відмовостійкої конфігурацією. Для спільного доступу до відповідних папок використовується опція Continuously Available.
Крім відмінних характеристик відмовостійкості це забезпечує підвищення пропускної здатності за умови раціонального проектування мережевої архітектури. Проксірующая файлова система CSV 2.0 (CSVFS) дозволяє зменшити вплив CHKDSK, дозволяючи утиліті виконувати необхідні операції, зберігаючи при цьому можливість роботи з томом активних додатків. Реалізовано кешування читання з CSV. Використання CSV забезпечує простоту і зручність розгортання і управління. Користувачеві потрібно створити звичайний кластер, налаштувати те CSV і активувати роль файлового сервера в режимі Scale-Out File Server for application data.
Завдяки простоті і функціональності запропонованого рішення сформувався новий клас устаткування «кластер-в-коробці» (Сluster-in-a-Box, CiB). Як зазвичай, це шасі з двома блейд-серверами і дисковим масивом SAS JBOD з підтримкою Storage Spaces. Тут важливо, щоб SAS JBOD були Двопортовий, і був SAS HBA для реалізації перехресного підключення.
Така організація системи орієнтована саме на підтримку SOFS. З огляду на, що iSCSI target стандартно інтегрований в Windows Server 2012 і також може бути кластерізованний, таким чином може реалізувати «саморобну» систему зберігання даних на базі всецелевой операційної системи.
Однак слід мати на увазі, що власником CSV як і раніше є один з вузлів, який відповідає за всі операції з метаданими. При великій кількості метаданих може спостерігатися зменшення продуктивності, тому для SOFS не рекомендується використовувати сценарій Information Worker, тоді як Hyper-V і SQL Server ідеально підходять для цього, в тому числі завдяки функціям агрегації пропускної здатності.
Інші нововведення технологій кластеризації Windows.
Вище ми перерахували лише найважливіші і великі нововведення в області кластеризації в Windows Server 2012. Інші менші нововведення, однак, теж з'явилися не випадково.
Була розширена підтримка віртуалізації за рахунок істотного спрощення створення гостьових кластерів (з віртуальних машин). На відміну від Windows Server 2008 R2, де для цього потрібно було надати iSCSI Target в загальне користування віртуальних машин, в операційній системі Windows Server 2012 з'явилася функція, що дозволяє віртуалізувати FC-контролер (по аналогії з мережевими адаптерами), за рахунок чого віртуальні машини отримують можливість безпосередньої доступ до LUN. Реалізовано і простіший варіант з використанням загальної мережевої папки SMB 3.0 для гостьових Windows Server 2012.
Однією з важливих, але нетривіальних завдань є установка програмних оновлень в кластері. При цьому може знадобитися перезавантаження вузлів, тому процедура повинна контролюватися. В операційній системі Windows Server 2012 пропонується інструмент Cluster-Aware Updating, що працює наступним чином: один з вузлів призначається координатором і стежить за наявністю оновлень, завантажує їх на інші вузли і виконує почергове оновлення вузлів, починаючи з тих, які завантажені найменше. Завдяки цьому доступність кластера зберігається на максимально можливому рівні протягом всього процесу оновлення.
Є нововведення і в управлінні кворумом. Наприклад, реалізована можливість давати право голосу тільки деяким вузлів. Це може бути корисно при розміщенні окремих вузлів на віддаленій майданчику, але має найбільшу цінність при реалізації нової моделі динамічного кворуму. Основна ідея динамічного кворуму полягає в тому, що вузол, що припинив свою роботу і недоступний протягом певного проміжку часу з будь-яких причин, втрачає право голосу аж до повторного підключення. Таким чином, загальне число голосів скорочується і кластер зберігає доступність максимально довго.
Нововведення в Windows Server 2012 R2.
Операційна система Windows Server 2012 R2 не є простим оновленням Windows Server 2012, а являє собою повноцінну нову операційну системи. Нововведення, реалізовані в Windows Server 2012 R2 переводять деякі можливості серверної платформи на якісно новий рівень. У першу чергу це стосується SOFC і Hyper-V.
Високодоступних віртуальні машини.
Спрощено процедуру створення гостьових кластерів, оскільки тепер з'явилась можливість використовувати в якості загального сховища звичайні VHDX, які всередині віртуальної машини будуть представлені як Shared SAS-диски. При цьому самі VHDX повинні бути розміщені на CSV або в загальних папках SMB 3.0. При цьому в віртуальних машинах можуть використовуватися як Windows Server 2012 R2, так і Windows Server 2012 (з оновленими інтеграційними компонентами).
Опція DrainOnShutdown покликана позбавити системних адміністраторів від помилок і зайвої роботи. Функція активована за замовчуванням і при планових перезагрузках або вимкненнях заздалегідь переводить вузол в такий режим обслуговування при якому евакуюються все Групові ролі. При цьому відбувається міграція активних віртуальних машин на інші вузли кластера Hyper-V.
Також в новій операційній системі Windows Server 2012 R2 Hyper-V проводить моніторинг мережевих інтерфейсів в віртуальних машинах і в разі виникнення проблеми запускає процес їх міграції на вузол, де доступна зовнішня мережа.
Кворум.
Крім динамічного кворуму в Windows Server 2012 R2 реалізований ще і динамічний диск-свідок (witness). При зміні числа вузлів його голос може бути автоматично врахований, так, щоб загальне число голосів залишалося непарних. У разі, якщо сам диск виявиться недоступним, його голос буде просто обнулений. Така схема дозволяє повністю покластися на автоматичні механізми, відмовившись від моделей кворуму.
Збільшена надійність роботи кластерів розміщених на двох майданчиках. Часто при такій реалізації на кожному майданчику знаходиться рівно половина вузлів, тому порушення комунікації між майданчиками може виникнути проблема з формуванням кворуму. Хоча з більшістю подібних ситуацій успішно справляється механізм динамічного кворуму, в Windows Server 2012 R2 існує можливість призначити одному з майданчиків низький пріоритет, для того, щоб в разі збою кластер завжди функціонував на основному майданчику. У разі, якщо кластер був запущений з примусовим кворумом, то при відновленні зв'язку з віддаленої майданчиком служби кластера будуть перезапущени в автоматичному режимі і весь кластер буде знову об'єднаний.
CSV 2.1
Істотні зміни торкнулись і реалізації CSV. Тепер ролі власників томів рівномірно розподіляються по вузлах в автоматичному режимі, відповідно до зміни їх числа. Збільшена відмовостійкість CSV завдяки тому, що на кожному вузлі кластера запускається по два примірники серверної служби. Один використовують для обслуговування клієнтського SMB-трафіку, інший забезпечує комунікацію між вузлами. При цьому обов'язково проводиться моніторинг служби і в разі збою роль власника CSV мігрує на інший вузол.
Цілий ряд нововведень в CSV кращу ефективність використання SOFC та Storage Spaces. Додана підтримка файлової системи ReFS, яка володіє більш досконалою, ніж NTFS внутрішньою організацією. Швидше за все поступово ця файлова система займе провідне становище в продуктах компанії Microsoft. Також в Windows Server 2012 R2 реалізований механізм дедуплікаціі, який раніше був прерогативою всецелевого файлового сервера. Активація дедуплікаціі призводить до відключення CSV Block Cache, проте в деяких випадках вона може бути досить ефективною. Тома CSV можуть створюватися на дискових просторах з контролем парності.
Створення відмов кластеру високої доступності на Windows.
Кластери від компанії Microsoft.
Незважаючи на неоднозначне ставлення до Microsoft необхідно відзначити, що компанія зробила високі технології доступними для простих користувачів. Так чи інакше, але сучасне становище сфери інформаційних технологій не в останню чергу визначено саме компанією Microsoft.
Далеко не завжди рішення і продукти від компанії Microsoft одразу займали позиції на рівні спеціалізованих рішень, однак найбільш важливі все одно поступово вибивалися в лідери в співвідношенні ціна / функціональність, а також по простоті впровадження. Одним з таких прикладів є кластери.
Розробка обчислювальних кластерів не є сильною стороною Microsoft. Про це свідчить, зокрема, той факт, що розробки компанії не потрапили в список Top-500 суперкомп'ютерів. Тому абсолютно логічно, що в лінійці Windows Server 2012 відсутній редакція HPC (High-performance computing -високопроізводітельние обчислення).
Крім того, з огляду на особливості високопродуктивних обчислень, платформа Windows Azure здається перспективнішою. Тому компанія Microsoft зосередила свою увагу на кластерах високої доступності.
Кластери в Windows.
Вперше підтримка кластерів була реалізована компанією Microsoft ще в операційній системі в Windows NT 4 Server Enterprise Edition у вигляді технології Microsoft Cluster Service (MSCS). В операційній системі Windows Server 2008 вона перетворилася в компонент Failover Clustering. По суті це кластери з обробкою відмови або високодоступних кластери, хоча іноді їх не цілком коректно називають відмовостійкими.
У загальному випадку при виході з ладу вузла, до якого йде запит, якраз і буде проявлятися відмову в обслуговуванні, однак при цьому буде автоматично перевантажено кластерізуемих сервісів на іншому вузлі, і система буде приведена в стан готовності в найкоротший термін.
Кластер високої доступності на Windows включає в себе як мінімум два вузла з встановленими операційними системами і відповідними ролями. Вузли повинні бути підключені до зовнішньої мережі та внутрішньої мережі, необхідної для обміну службовими повідомленнями, до загального сховища службових ресурсів (наприклад, диск-свідок для кворуму). Крім того, в систему входять і дані кластерізуемих додатків. У ситуації, коли сервіси виконуються тільки на одному з вузлів, реалізується схема Active-Passive, тобто сервіси виконуються на одному вузлі, а другий працює в черговому режимі. Коли обидва вузла несуть корисне навантаження, реалізується схема Active-Active.
З моменту першої реалізації, підтримка кластерів в Windows істотно змінилася. Була реалізована підтримка файлових і мережевих служб, пізніше SQL Server (в операційній системі Windows Server 2000), Exchange Server (в Windows Server 2003), та інші стандартні служби і ролі, включаючи Hyper-V (в операційній системі Windows Server 2008). Була покращена масштабованість (до 64 вузлів в Windows Server 2012), список кластерізуемих сервісів був розширений.
Підтримка віртуалізації, а також позиціонування Windows Server як хмарної операційної системи, стали приводом для подальшого розвитку підтримки кластерів, оскільки висока щільність обчислень пред'являє високі вимоги до надійності і доступності інфраструктури. Тому, починаючи з операційної системи Windows Server 2008, саме в цій області зосереджена основна маса удосконалень.
В операційній системі Windows Server 2008 R2 реалізовані загальні томи кластера Hyper-V (CSV), що дозволяють вузлів одночасно звертатися до однієї файлової системи NTFS. В результаті кілька кластерних віртуальних машин можуть використовувати одну адресу LUN і мігрувати з вузла на вузол незалежно.
У Windows Server 2012 кластерна підтримка Hyper-V була вдосконалена. Була додана можливість керування на рівні цілого кластера пріоритетами віртуальних машин, що визначають порядок перерозподілу пам'яті, відновлення вірутальних машин в разі виходу з ладу вузлів або запланованої масової міграції. Були розширені можливості моніторингу - в разі збою контрольованої служби з'явилася можливість перезапуску не тільки самої служби, а й всієї віртуальної машини. Є можливість здійснення міграції на інший, менш завантажений вузол. Реалізовано і інші, не менш цікаві нововведення, що стосуються кластеризації.
Кластери в Windows Server 2012.
Спочатку зупинимося на нововведеннях в базових технологіях, які використовуються кластерами або допомагаю розширити їх можливості.
SMB 3.0
Нова версія протоколу SMB 3.0 використовується для мережевого обміну даними. Цей протокол затребуваний при виконанні читання, записи і інших файлових операцій на віддалених ресурсах. У новій версії реалізована велика кількість удосконалень, які дозволяють оптимізувати роботу SQL Server, Hyper-V і файлових кластерів. Звернемо увагу на наступні оновлення:
- прозора відмовостійкість. Це нововведення забезпечує безперервність виконання операцій. При збої одного з вузлів файлового кластера поточні операції автоматично передаються іншому вузлу. Завдяки цьому нововведенню стала можливою реалізація схеми Active-Active з підтримкою до 8 вузлів.
- масштабування. Завдяки новій реалізації спільних томів кластера (версія 2.0) існує можливість одночасного доступу до файлів через всі вузли кластера, за рахунок чого досягається агрегація пропускної здатності і здійснюється балансування навантаження.
- SMB Direct. Реалізована підтримка мережевих адаптерів з технологією RDMA. Технологія RDMA (віддалений прямий доступ до пам'яті) дозволяє передавати дані безпосередньо в пам'ять програми, істотно звільняючи центральний процесор.
- SMB Multichannel. Дозволяє агрегувати пропускну здатність і підвищує відмовостійкість при наявності декількох мережевих шляхів між сервером з підтримкою SMB 3.0 і клієнтом.
Необхідно сказати, що для використання цих можливостей підтримка SMB 3.0 має бути присутня на обох кінцях з'єднання. Компанія Microsoft рекомендує використання серверів і клієнтів одного покоління (у випадку з Windows Server 2012 такої клієнтської платформою є Windows 8). На жаль, на сьогодні Windows 7 підтримує тільки SMB версії 2.1.
Storage Spaces.
Технологія Storage Spaces реалізована вперше в операційних системах Windows Server 2012 і Windows 8. Реалізована підтримка нової файлової системи ReFS, яка забезпечує функції підвищення відмовостійкості. Є можливість призначення дисків в пулі для гарячої заміни (в разі відмови інших носіїв або для швидкої заміни вичерпав свій ресурс SSD). Крім того, розширено можливості тонкої настройки з використанням PowerShell.
По суті, технологія Storage Spaces є програмною реалізацією RAID, розширеної за рахунок великого числа додаткових функцій. По-перше, накопичувачі з прямим доступом повинні бути об'єднані в пули. В принципі накопичувачі можуть бути будь-яких типів і потужностей, однак для організації стабільної роботи необхідно чітке розуміння принципів функціонування технології.
Далі на пулах можна створювати віртуальні диски наступних типів (не плутати з VHD / VHDX):
- простий (є аналогом RAID 0);
- дзеркало (двостороннє дзеркало є аналогом RAID1, тристороння дзеркало являє собою більш складну схему на зразок RAID 1E)
- з контролем парності (є аналогом RAID 5. Даний варіант забезпечує мінімальний перевитрата простору при мінімальній відмовостійкості).
Технологія Storage Spaces не є абсолютним нововведенням. Схожі можливості були давно реалізовані в Windows Server, наприклад у формі динамічних дисків. Технологія Storage Spaces дозволяє зробити використання всіх цих можливостей більш зручними і забезпечити новий рівень використання. Серед інших переваг Storage Spaces необхідно відзначити тонку ініціалізацію (thin provisioning), яка дає можливість призначати віртуальним дискам розміри понад доступних в реальності з розрахунку на додавання до відповідного пул нових накопичувачів згодом.
Один з найбільш непростих питань, пов'язаних з технологією Storage Spaces - це продуктивність. Як правило, програмні реалізації RAID поступаються по продуктивності апаратних варіантів. Однак, якщо мова йде про файловому сервері, то Storage Spaces отримує в своє розпорядження великий обсяг оперативної пам'яті і потужний процесор, тому необхідно тестування з урахуванням різних видів навантаження. З цієї точки зору особливу цінність набувають можливості тонкої настройки з використанням PowerShell.
Технологія Storage Spaces пропонує відмову від RAID-контролерів і дорогих систем зберігання, перенісши з логіку на рівень операційної системи. Ця ідея розкриває всі свої достоїнства і виявляється досить привабливою разом з ще одним нововведенням.
Scale-Out File Server (SOFS).
Ще одним нововведенням є режим кластерізуемой ролі File Server в Windows Server 2012, який отримав назву Scale-Out File Server. Тепер реалізована підтримка двох типів кластеризації, назви яких повністю звучать як File Sever for General Use і Scale-Out File Server (SOFS) for application data. Кожна з технологій має свої сфери застосування, а також свої переваги і недоліки.
Всецелевой файловий сервер являє собою добре відомий тип кластера Active-Passive. У свою чергу SOFS є кластер Active-Active, будучи дійсно відмовостійкої конфігурацією. Для спільного доступу до відповідних папок використовується опція Continuously Available.
Крім відмінних характеристик відмовостійкості це забезпечує підвищення пропускної здатності за умови раціонального проектування мережевої архітектури. Проксірующая файлова система CSV 2.0 (CSVFS) дозволяє зменшити вплив CHKDSK, дозволяючи утиліті виконувати необхідні операції, зберігаючи при цьому можливість роботи з томом активних додатків. Реалізовано кешування читання з CSV. Використання CSV забезпечує простоту і зручність розгортання і управління. Користувачеві потрібно створити звичайний кластер, налаштувати те CSV і активувати роль файлового сервера в режимі Scale-Out File Server for application data.
Завдяки простоті і функціональності запропонованого рішення сформувався новий клас устаткування «кластер-в-коробці» (Сluster-in-a-Box, CiB). Як правило, це шасі з двома блейд-серверами і дисковим масивом SAS JBOD з підтримкою Storage Spaces. Тут важливо, щоб SAS JBOD були Двопортовий, і був SAS HBA для реалізації перехресного підключення.
Така організація системи орієнтована саме на підтримку SOFS. З огляду на, що iSCSI target стандартно інтегрований в Windows Server 2012 і також може бути кластерізованний, таким чином може реалізувати «саморобну» систему зберігання даних на базі всецелевой операційної системи.
Однак слід мати на увазі, що власником CSV як і раніше є один з вузлів, який відповідає за всі операції з метаданими. При великій кількості метаданих може спостерігатися зниження продуктивності, тому для SOFS не рекомендується використовувати сценарій Information Worker, тоді як Hyper-V і SQL Server ідеально підходять для цього, в тому числі завдяки функціям агрегації пропускної здатності.
Інші нововведення технологій кластеризації Windows.
Вище ми перерахували лише найважливіші і великі нововведення в області кластеризації в Windows Server 2012. Інші менші нововведення, однак, теж з'явилися не випадково.
Була розширена підтримка віртуалізації за рахунок істотного спрощення створення гостьових кластерів (з віртуальних машин). На відміну від Windows Server 2008 R2, де для цього потрібно було надати iSCSI Target в загальне користування віртуальних машин, в операційній системі Windows Server 2012 з'явилася функція, що дозволяє віртуалізувати FC-контролер (по аналогії з мережевими адаптерами), за рахунок чого віртуальні машини отримують можливість безпосереднього доступу до LUN. Реалізовано і простіший варіант з використанням загальної мережевої папки SMB 3.0 для гостьових Windows Server 2012.
Однією з важливих, але нетривіальних завдань є установка програмних оновлень в кластері. При цьому може знадобитися перезавантаження вузлів, тому процедура повинна контролюватися. В операційній системі Windows Server 2012 пропонується інструмент Cluster-Aware Updating, який працює в такий спосіб: один з вузлів призначається координатором і стежить за наявністю оновлень, завантажує їх на інші вузли і виконує почергове оновлення вузлів, починаючи з тих, які завантажені найменше. Завдяки цьому доступність кластера зберігається на максимально можливому рівні протягом всього процесу оновлення.
Є нововведення і в управлінні кворумом. Наприклад, реалізована можливість давати право голосу тільки деяким вузлам. Це може бути корисно при розміщенні окремих вузлів на віддаленій майданчику, але має найбільшу цінність при реалізації нової моделі динамічного кворуму. Основна ідея динамічного кворуму полягає в тому, що вузол, що припинив свою роботу і недоступний протягом певного проміжку часу з будь-якої причини, втрачає право голосу аж до повторного підключення. Таким чином, загальне число голосів скорочується і кластер зберігає доступність максимально довго.
Нововведення в Windows Server 2012 R2.
Операційна система Windows Server 2012 R2 не є простим оновленням Windows Server 2012, а являє собою повноцінну нову операційну систему. Нововведення, реалізовані в Windows Server 2012 R2 переводять деякі можливості серверної платформи на якісно новий рівень. В першу чергу це стосується SOFC і Hyper-V.
Високодоступних віртуальні машини.
Спрощено процедуру створення гостьових кластерів, оскільки тепер з'явилася можливість використовувати в якості загального сховища звичайні VHDX, які всередині віртуальної машини будуть представлені як Shared SAS-диски. При цьому самі VHDX повинні бути розміщені на CSV або в загальних папках SMB 3.0. При цьому в віртуальних машинах можуть використовуватися як Windows Server 2012 R2, так і Windows Server 2012 (з оновленими інтеграційними компонентами).
Опція DrainOnShutdown покликана позбавити системних адміністраторів від помилок і зайвої роботи. Функція активована за замовчуванням і при планових перезагрузках або вимкненнях заздалегідь переводить вузол в такий режим обслуговування при якому евакуюються все Групові ролі. При цьому відбувається міграція активних віртуальних машин на інші вузли кластера Hyper-V.
Також в новій операційній системі Windows Server 2012 R2 Hyper-V проводить моніторинг мережевих інтерфейсів в віртуальних машинах і в разі виникнення проблеми запускає процес їх міграції на вузол, де доступна зовнішня мережа.
Кворум.
Крім динамічного кворуму в Windows Server 2012 R2 реалізований ще і динамічний диск-свідок (witness). При зміні числа вузлів його голос може бути автоматично врахований, так, щоб загальне число голосів залишалося непарних. У разі, якщо сам диск виявиться недоступним, його голос буде просто обнулений. Така схема дозволяє повністю покластися на автоматичні механізми, відмовившись від моделей кворуму.
Збільшена надійність роботи кластерів, розміщених на двох майданчиках. Часто при такій реалізації на кожному майданчику знаходиться рівно половина вузлів, тому порушення комунікації між майданчиками може виникнути проблема з формуванням кворуму. Хоча з більшістю подібних ситуацій успішно справляється механізм динамічного кворуму, в Windows Server 2012 R2 існує можливість призначити одному з майданчиків низький пріоритет, для того, щоб в разі збою кластер завжди функціонував на основному майданчику. У разі, якщо кластер був запущений з примусовим кворумом, то при відновленні зв'язку з віддаленої майданчиком служби кластера будуть перезапущени в автоматичному режимі і весь кластер буде знову об'єднаний.
CSV 2.1
Істотні зміни торкнулися і реалізації CSV. Тепер ролі власників томів рівномірно розподіляються по вузлах в автоматичному режимі, відповідно до зміни їх числа. Збільшена відмовостійкість CSV завдяки тому, що на кожному вузлі кластера запускається по два примірники серверної служби. Один використовується для обслуговування клієнтського SMB-трафіку, інший забезпечує комунікацію між вузлами. При цьому обов'язково проводиться моніторинг служби і в разі збою роль власника CSV мігрує на інший вузол.
Цілий ряд нововведень в CSV забезпечує більш ефективне використання SOFC і Storage Spaces. Додана підтримка файлової системи ReFS, яка володіє більш досконалою, ніж NTFS внутрішньою організацією. Швидше за все поступово ця файлова система займе провідне становище в продуктах компанії Microsoft. Також в Windows Server 2012 R2 реалізований механізм дедуплікаціі, який раніше був прерогативою всецелевого файлового сервера. Активація дедуплікаціі призводить до відключення CSV Block Cache, проте в деяких випадках вона може бути досить ефективною. Тома CSV можуть створюватися на дискових просторах з контролем парності.
У Windows Server 2012 R2 можлівість комбінуваті накопичувачі різніх тіпів Набуль особливого змісту з багаторівневімі просторами. З'явилася можливість формувати два рівня швидкий (на основі SSD) і ємний (на основі жорстких дисках) і при створенні віртуального диска виділяти певний обсяг з кожного з них. Далі відповідно до деякого розкладом вміст віртуального диска буде аналізуватися і розміщуватися блоками по 1 МБ на більш швидких або повільних носіях в залежності від затребуваності. Іншим застосуванням багаторівневих просторів є реалізація кешу зі зворотним записом на SSD. У моменти пікових навантажень запис здійснюється на швидкі твердотільні накопичувачі, а пізніше холодні даніпереміщуються на повільніші жорсткі диски.
Нововведення, що стосуються CSV і Storage Spaces, є найбільш суттєвими в Windows Server 2012 R2. На їх основі можна розгортати не просто надійні файлові сервери, а потужні й гнучкі системи зберігання даних з прекрасними можливостями масштабування і відмінною стійкістю до відмов, які надають в розпорядження користувача широкий спектр сучасних інструментів.
Читайте також:
Сучасні конвергентні системи для віртуалізації від компанії HP.
Рішення віртуалізації VMware.
Створення відмов кластеру високої доступності на Windows.
Кластери від компанії Microsoft.
Незважаючи на неоднозначне ставлення до Microsoft необхідно відзначити, що компанія зробила високі технології доступними для простих користувачів. Так чи інакше, але сучасне становище сфери інформаційних технологій не в останню чергу визначено саме компанією Microsoft.
Далеко не завжди рішення і продукти від компанії Microsoft одразу займали позиції на рівні спеціалізованих рішень, однак найбільш важливі все одно поступово вибивалися в лідери в співвідношенні ціна / функціональність, а також по простоті впровадження. Одним з таких прикладів є кластери.
Розробка обчислювальних кластерів не є сильною стороною Microsoft. Про це свідчить, зокрема, той факт, що розробки компанії не потрапили в список Top-500 суперкомп'ютерів. Тому абсолютно логічно, що в лінійці Windows Server 2012 відсутній редакція HPC (High-performance computing -високопроізводітельние обчислення).
Крім того, з огляду на особливості високопродуктивних обчислень, платформа Windows Azure здається перспективнішою. Тому компанія Microsoft зосередила свою увагу на кластерах високої доступності.
Кластери в Windows.
Вперше підтримка кластерів була реалізована компанією Microsoft ще в операційній системі в Windows NT 4 Server Enterprise Edition у вигляді технології Microsoft Cluster Service (MSCS). В операційній системі Windows Server 2008 вона перетворилася в компонент Failover Clustering. По суті це кластери з обробкою відмови або високодоступних кластери, хоча іноді їх не цілком коректно називають відмовостійкими.
У загальному випадку при виході з ладу вузла, до якого йде запит, якраз і буде проявлятися відмову в обслуговуванні, однак при цьому буде автоматично перевантажено кластерізуемих сервісів на іншому вузлі, і система буде приведена в стан готовності в найкоротший термін.
Кластер високої доступності на Windows включає в себе як мінімум два вузла з встановленими операційними системами і відповідними ролями. Вузли повинні бути підключені до зовнішньої мережі та внутрішньої мережі, необхідної для обміну службовими повідомленнями, до загального сховища службових ресурсів (наприклад, диск-свідок для кворуму). Крім того, в систему входять і дані кластерізуемих додатків. У ситуації, коли сервіси виконуються тільки на одному з вузлів, реалізується схема Active-Passive, тобто сервіси виконуються на одному вузлі, а другий працює в черговому режимі. Коли обидва вузла несуть корисне навантаження, реалізується схема Active-Active.
З моменту першої реалізації, підтримка кластерів в Windows істотно змінилася. Була реалізована підтримка файлових і мережевих служб, пізніше SQL Server (в операційній системі Windows Server 2000), Exchange Server (в Windows Server 2003), та інші стандартні служби і ролі, включаючи Hyper-V (в операційній системі Windows Server 2008). Була покращена масштабованість (до 64 вузлів в Windows Server 2012), список кластерізуемих сервісів був розширений.
Підтримка віртуалізації, а також позиціонування Windows Server як хмарної операційної системи, стали приводом для подальшого розвитку підтримки кластерів, оскільки висока щільність обчислень пред'являє високі вимоги до надійності і доступності інфраструктури. Тому, починаючи з операційної системи Windows Server 2008, саме в цій області зосереджена основна маса удосконалень.
В операційній системі Windows Server 2008 R2 реалізовані загальні томи кластера Hyper-V (CSV), що дозволяють вузлів одночасно звертатися до однієї файлової системи NTFS. В результаті кілька кластерних віртуальних машин можуть використовувати одну адресу LUN і мігрувати з вузла на вузол незалежно.
У Windows Server 2012 кластерна підтримка Hyper-V була вдосконалена. Була додана можливість керування на рівні цілого кластера пріоритетами віртуальних машин, що визначають порядок перерозподілу пам'яті, відновлення вірутальних машин в разі виходу з ладу вузлів або запланованої масової міграції. Були розширені можливості моніторингу - в разі збою контрольованої служби з'явилася можливість перезапуску не тільки самої служби, а й всієї віртуальної машини. Є можливість здійснення міграції на інший, менш завантажений вузол. Реалізовано і інші, не менш цікаві нововведення, що стосуються кластеризації.
Кластери в Windows Server 2012.
Спочатку зупинимося на нововведеннях в базових технологіях, які використовуються кластерами або допомагаю розширити їх можливості.
SMB 3.0
Нова версія протоколу SMB 3.0 використовується для мережевого обміну даними. Цей протокол затребуваний при виконанні читання, записи і інших файлових операцій на віддалених ресурсах. У новій версії реалізована велика кількість удосконалень, які дозволяють оптимізувати роботу SQL Server, Hyper-V і файлових кластерів. Звернемо увагу на наступні оновлення:
- прозора відмовостійкість. Це нововведення забезпечує безперервність виконання операцій. При збої одного з вузлів файлового кластера поточні операції автоматично передаються іншому вузлу. Завдяки цьому нововведенню стала можливою реалізація схеми Active-Active з підтримкою до 8 вузлів.
- масштабування. Завдяки новій реалізації спільних томів кластера (версія 2.0) існує можливість одночасного доступу до файлів через всі вузли кластера, за рахунок чого досягається агрегація пропускної здатності і здійснюється балансування навантаження.
- SMB Direct. Реалізована підтримка мережевих адаптерів з технологією RDMA. Технологія RDMA (віддалений прямий доступ до пам'яті) дозволяє передавати дані безпосередньо в пам'ять програми, істотно звільняючи центральний процесор.
- SMB Multichannel. Дозволяє агрегувати пропускну здатність і підвищує відмовостійкість при наявності декількох мережевих шляхів між сервером з підтримкою SMB 3.0 і клієнтом.
Необхідно сказати, що для використання цих можливостей підтримка SMB 3.0 має бути присутня на обох кінцях з'єднання. Компанія Microsoft рекомендує використання серверів і клієнтів одного покоління (у випадку з Windows Server 2012 такої клієнтської платформою є Windows 8). На жаль, на сьогодні Windows 7 підтримує тільки SMB версії 2.1.
Storage Spaces.
Технологія Storage Spaces реалізована вперше в операційних системах Windows Server 2012 і Windows 8. Реалізована підтримка нової файлової системи ReFS, яка забезпечує функції підвищення відмовостійкості. Є можливість призначення дисків в пулі для гарячої заміни (в разі відмови інших носіїв або для швидкої заміни вичерпав свій ресурс SSD). Крім того, розширено можливості тонкої настройки з використанням PowerShell.
По суті, технологія Storage Spaces є програмною реалізацією RAID, розширеної за рахунок великого числа додаткових функцій. По-перше, накопичувачі з прямим доступом повинні бути об'єднані в пули. В принципі накопичувачі можуть бути будь-яких типів і потужностей, однак для організації стабільної роботи необхідно чітке розуміння принципів функціонування технології.
Далі на пулах можна створювати віртуальні диски наступних типів (не плутати з VHD / VHDX):
- простий (є аналогом RAID 0);
- дзеркало (двостороннє дзеркало є аналогом RAID1, тристороння дзеркало являє собою більш складну схему на зразок RAID 1E)
- з контролем парності (є аналогом RAID 5. Даний варіант забезпечує мінімальний перевитрата простору при мінімальній відмовостійкості).
Технологія Storage Spaces не є абсолютним нововведенням. Схожі можливості були давно реалізовані в Windows Server, наприклад у формі динамічних дисків. Технологія Storage Spaces дозволяє зробити використання всіх цих можливостей більш зручними і забезпечити новий рівень використання. Серед інших переваг Storage Spaces необхідно відзначити тонку ініціалізацію (thin provisioning), яка дає можливість призначати віртуальним дискам розміри понад доступних в реальності з розрахунку на додавання до відповідного пул нових накопичувачів згодом.
Один з найбільш непростих питань, пов'язаних з технологією Storage Spaces - це продуктивність. Як правило, програмні реалізації RAID поступаються по продуктивності апаратних варіантів. Однак, якщо мова йде про файловому сервері, то Storage Spaces отримує в своє розпорядження великий обсяг оперативної пам'яті і потужний процесор, тому необхідно тестування з урахуванням різних видів навантаження. З цієї точки зору особливу цінність набувають можливості тонкої настройки з використанням PowerShell.
Технологія Storage Spaces пропонує відмову від RAID-контролерів і дорогих систем зберігання, перенісши з логіку на рівень операційної системи. Ця ідея розкриває всі свої достоїнства і виявляється досить привабливою разом з ще одним нововведенням.
Scale-Out File Server (SOFS).
Ще одним нововведенням є режим кластерізуемой ролі File Server в Windows Server 2012, який отримав назву Scale-Out File Server. Тепер реалізована підтримка двох типів кластеризації, назви яких повністю звучать як File Sever for General Use і Scale-Out File Server (SOFS) for application data. Кожна з технологій має свої сфери застосування, а також свої переваги і недоліки.
Всецелевой файловий сервер являє собою добре відомий тип кластера Active-Passive. У свою чергу SOFS є кластер Active-Active, будучи дійсно відмовостійкої конфігурацією. Для спільного доступу до відповідних папок використовується опція Continuously Available.
Крім відмінних характеристик відмовостійкості це забезпечує підвищення пропускної здатності за умови раціонального проектування мережевої архітектури. Проксірующая файлова система CSV 2.0 (CSVFS) дозволяє зменшити вплив CHKDSK, дозволяючи утиліті виконувати необхідні операції, зберігаючи при цьому можливість роботи з томом активних додатків. Реалізовано кешування читання з CSV. Використання CSV забезпечує простоту і зручність розгортання і управління. Користувачеві потрібно створити звичайний кластер, налаштувати те CSV і активувати роль файлового сервера в режимі Scale-Out File Server for application data.
Завдяки простоті і функціональності запропонованого рішення сформувався новий клас устаткування «кластер-в-коробці» (Сluster-in-a-Box, CiB). Як правило, це шасі з двома блейд-серверами і дисковим масивом SAS JBOD з підтримкою Storage Spaces. Тут важливо, щоб SAS JBOD були Двопортовий, і був SAS HBA для реалізації перехресного підключення.
Така організація системи орієнтована саме на підтримку SOFS. З огляду на, що iSCSI target стандартно інтегрований в Windows Server 2012 і також може бути кластерізованний, таким чином може реалізувати «саморобну» систему зберігання даних на базі всецелевой операційної системи.
Однак слід мати на увазі, що власником CSV як і раніше є один з вузлів, який відповідає за всі операції з метаданими. При великій кількості метаданих може спостерігатися зниження продуктивності, тому для SOFS не рекомендується використовувати сценарій Information Worker, тоді як Hyper-V і SQL Server ідеально підходять для цього, в тому числі завдяки функціям агрегації пропускної здатності.
Інші нововведення технологій кластеризації Windows.
Вище ми перерахували лише найважливіші і великі нововведення в області кластеризації в Windows Server 2012. Інші менші нововведення, однак, теж з'явилися не випадково.
Була розширена підтримка віртуалізації за рахунок істотного спрощення створення гостьових кластерів (з віртуальних машин). На відміну від Windows Server 2008 R2, де для цього потрібно було надати iSCSI Target в загальне користування віртуальних машин, в операційній системі Windows Server 2012 з'явилася функція, що дозволяє віртуалізувати FC-контролер (по аналогії з мережевими адаптерами), за рахунок чого віртуальні машини отримують можливість безпосереднього доступу до LUN. Реалізовано і простіший варіант з використанням загальної мережевої папки SMB 3.0 для гостьових Windows Server 2012.
Однією з важливих, але нетривіальних завдань є установка програмних оновлень в кластері. При цьому може знадобитися перезавантаження вузлів, тому процедура повинна контролюватися. В операційній системі Windows Server 2012 пропонується інструмент Cluster-Aware Updating, який працює в такий спосіб: один з вузлів призначається координатором і стежить за наявністю оновлень, завантажує їх на інші вузли і виконує почергове оновлення вузлів, починаючи з тих, які завантажені найменше. Завдяки цьому доступність кластера зберігається на максимально можливому рівні протягом всього процесу оновлення.
Є нововведення і в управлінні кворумом. Наприклад, реалізована можливість давати право голосу тільки деяким вузлам. Це може бути корисно при розміщенні окремих вузлів на віддаленій майданчику, але має найбільшу цінність при реалізації нової моделі динамічного кворуму. Основна ідея динамічного кворуму полягає в тому, що вузол, що припинив свою роботу і недоступний протягом певного проміжку часу з будь-якої причини, втрачає право голосу аж до повторного підключення. Таким чином, загальне число голосів скорочується і кластер зберігає доступність максимально довго.
Нововведення в Windows Server 2012 R2.
Операційна система Windows Server 2012 R2 не є простим оновленням Windows Server 2012, а являє собою повноцінну нову операційну систему. Нововведення, реалізовані в Windows Server 2012 R2 переводять деякі можливості серверної платформи на якісно новий рівень. В першу чергу це стосується SOFC і Hyper-V.
Високодоступних віртуальні машини.
Спрощено процедуру створення гостьових кластерів, оскільки тепер з'явилася можливість використовувати в якості загального сховища звичайні VHDX, які всередині віртуальної машини будуть представлені як Shared SAS-диски. При цьому самі VHDX повинні бути розміщені на CSV або в загальних папках SMB 3.0. При цьому в віртуальних машинах можуть використовуватися як Windows Server 2012 R2, так і Windows Server 2012 (з оновленими інтеграційними компонентами).
Опція DrainOnShutdown покликана позбавити системних адміністраторів від помилок і зайвої роботи. Функція активована за замовчуванням і при планових перезагрузках або вимкненнях заздалегідь переводить вузол в такий режим обслуговування при якому евакуюються все Групові ролі. При цьому відбувається міграція активних віртуальних машин на інші вузли кластера Hyper-V.
Також в новій операційній системі Windows Server 2012 R2 Hyper-V проводить моніторинг мережевих інтерфейсів в віртуальних машинах і в разі виникнення проблеми запускає процес їх міграції на вузол, де доступна зовнішня мережа.
Кворум.
Крім динамічного кворуму в Windows Server 2012 R2 реалізований ще і динамічний диск-свідок (witness). При зміні числа вузлів його голос може бути автоматично врахований, так, щоб загальне число голосів залишалося непарних. У разі, якщо сам диск виявиться недоступним, його голос буде просто обнулений. Така схема дозволяє повністю покластися на автоматичні механізми, відмовившись від моделей кворуму.
Збільшена надійність роботи кластерів, розміщених на двох майданчиках. Часто при такій реалізації на кожному майданчику знаходиться рівно половина вузлів, тому порушення комунікації між майданчиками може виникнути проблема з формуванням кворуму. Хоча з більшістю подібних ситуацій успішно справляється механізм динамічного кворуму, в Windows Server 2012 R2 існує можливість призначити одному з майданчиків низький пріоритет, для того, щоб в разі збою кластер завжди функціонував на основному майданчику. У разі, якщо кластер був запущений з примусовим кворумом, то при відновленні зв'язку з віддаленої майданчиком служби кластера будуть перезапущени в автоматичному режимі і весь кластер буде знову об'єднаний.
CSV 2.1
Істотні зміни торкнулися і реалізації CSV. Тепер ролі власників томів рівномірно розподіляються по вузлах в автоматичному режимі, відповідно до зміни їх числа. Збільшена відмовостійкість CSV завдяки тому, що на кожному вузлі кластера запускається по два примірники серверної служби. Один використовується для обслуговування клієнтського SMB-трафіку, інший забезпечує комунікацію між вузлами. При цьому обов'язково проводиться моніторинг служби і в разі збою роль власника CSV мігрує на інший вузол.
Цілий ряд нововведень в CSV забезпечує більш ефективне використання SOFC і Storage Spaces. Додана підтримка файлової системи ReFS, яка володіє більш досконалою, ніж NTFS внутрішньою організацією. Швидше за все поступово ця файлова система займе провідне становище в продуктах компанії Microsoft. Також в Windows Server 2012 R2 реалізований механізм дедуплікаціі, який раніше був прерогативою всецелевого файлового сервера. Активація дедуплікаціі призводить до відключення CSV Block Cache, проте в деяких випадках вона може бути досить ефективною. Тома CSV можуть створюватися на дискових просторах з контролем парності.
У Windows Server 2012 R2 можливість комбінувати накопичувачі різних типів набула особливого змісту з багаторівневими просторами. З'явилася можливість формувати два рівня швидкий (на основі SSD) і ємний (на основі жорстких дисках) і при створенні віртуального диска виділяти певний обсяг з кожного з них. Далі відповідно до деякого розкладом вміст віртуального диска буде аналізуватися і розміщуватися блоками по 1 МБ на більш швидких або повільних носіях в залежності від затребуваності. Іншим застосуванням багаторівневих просторів є реалізація кешу зі зворотним записом на SSD. У моменти пікових навантажень запис здійснюється на швидкі твердотільні накопичувачі, а пізніше холодні даніпереміщуються на повільніші жорсткі диски.
Нововведення, що стосуються CSV і Storage Spaces, є найбільш суттєвими в Windows Server 2012 R2. На їх основі можна розгортати не просто надійні файлові сервери, а потужні й гнучкі системи зберігання даних з прекрасними можливостями масштабування і відмінною стійкістю до відмов, які надають в розпорядження користувача широкий спектр сучасних інструментів.
Читайте також:
Сучасні конвергентні системи для віртуалізації від компанії HP.
Рішення віртуалізації VMware.
Створення відмов кластеру високої доступності на Windows.
Кластери від компанії Microsoft.
Незважаючи на неоднозначне ставлення до Microsoft необхідно відзначити, що компанія зробила високі технології доступними для простих користувачів. Так чи інакше, але сучасне становище сфери інформаційних технологій не в останню чергу визначено саме компанією Microsoft.
Далеко не завжди рішення і продукти від компанії Microsoft одразу займали позиції на рівні спеціалізованих рішень, однак найбільш важливі все одно поступово вибивалися в лідери в співвідношенні ціна / функціональність, а також по простоті впровадження. Одним з таких прикладів є кластери.
Розробка обчислювальних кластерів не є сильною стороною Microsoft. Про це свідчить, зокрема, той факт, що розробки компанії не потрапили в список Top-500 суперкомп'ютерів. Тому абсолютно логічно, що в лінійці Windows Server 2012 відсутній редакція HPC (High-performance computing -високопроізводітельние обчислення).
Крім того, з огляду на особливості високопродуктивних обчислень, платформа Windows Azure здається перспективнішою. Тому компанія Microsoft зосередила свою увагу на кластерах високої доступності.
Кластери в Windows.
Вперше підтримка кластерів була реалізована компанією Microsoft ще в операційній системі в Windows NT 4 Server Enterprise Edition у вигляді технології Microsoft Cluster Service (MSCS). В операційній системі Windows Server 2008 вона перетворилася в компонент Failover Clustering. По суті це кластери з обробкою відмови або високодоступних кластери, хоча іноді їх не цілком коректно називають відмовостійкими.
У загальному випадку при виході з ладу вузла, до якого йде запит, якраз і буде проявлятися відмову в обслуговуванні, однак при цьому буде автоматично перевантажено кластерізуемих сервісів на іншому вузлі, і система буде приведена в стан готовності в найкоротший термін.
Кластер високої доступності на Windows включає в себе як мінімум два вузла з встановленими операційними системами і відповідними ролями. Вузли повинні бути підключені до зовнішньої мережі та внутрішньої мережі, необхідної для обміну службовими повідомленнями, до загального сховища службових ресурсів (наприклад, диск-свідок для кворуму). Крім того, в систему входять і дані кластерізуемих додатків. У ситуації, коли сервіси виконуються тільки на одному з вузлів, реалізується схема Active-Passive, тобто сервіси виконуються на одному вузлі, а другий працює в черговому режимі. Коли обидва вузла несуть корисне навантаження, реалізується схема Active-Active.
З моменту першої реалізації, підтримка кластерів в Windows істотно змінилася. Була реалізована підтримка файлових і мережевих служб, пізніше SQL Server (в операційній системі Windows Server 2000), Exchange Server (в Windows Server 2003), та інші стандартні служби і ролі, включаючи Hyper-V (в операційній системі Windows Server 2008). Була покращена масштабованість (до 64 вузлів в Windows Server 2012), список кластерізуемих сервісів був розширений.
Підтримка віртуалізації, а також позиціонування Windows Server як хмарної операційної системи, стали приводом для подальшого розвитку підтримки кластерів, оскільки висока щільність обчислень пред'являє високі вимоги до надійності і доступності інфраструктури. Тому, починаючи з операційної системи Windows Server 2008, саме в цій області зосереджена основна маса удосконалень.
В операційній системі Windows Server 2008 R2 реалізовані загальні томи кластера Hyper-V (CSV), що дозволяють вузлів одночасно звертатися до однієї файлової системи NTFS. В результаті кілька кластерних віртуальних машин можуть використовувати одну адресу LUN і мігрувати з вузла на вузол незалежно.
У Windows Server 2012 кластерна підтримка Hyper-V була вдосконалена. Була додана можливість керування на рівні цілого кластера пріоритетами віртуальних машин, що визначають порядок перерозподілу пам'яті, відновлення вірутальних машин в разі виходу з ладу вузлів або запланованої масової міграції. Були розширені можливості моніторингу - в разі збою контрольованої служби з'явилася можливість перезапуску не тільки самої служби, а й всієї віртуальної машини. Є можливість здійснення міграції на інший, менш завантажений вузол. Реалізовано і інші, не менш цікаві нововведення, що стосуються кластеризації.
Кластери в Windows Server 2012.
Спочатку зупинимося на нововведеннях в базових технологіях, які використовуються кластерами або допомагаю розширити їх можливості.
SMB 3.0
Нова версія протоколу SMB 3.0 використовується для мережевого обміну даними. Цей протокол затребуваний при виконанні читання, записи і інших файлових операцій на віддалених ресурсах. У новій версії реалізована велика кількість удосконалень, які дозволяють оптимізувати роботу SQL Server, Hyper-V і файлових кластерів. Звернемо увагу на наступні оновлення:
- прозора відмовостійкість. Це нововведення забезпечує безперервність виконання операцій. При збої одного з вузлів файлового кластера поточні операції автоматично передаються іншому вузлу. Завдяки цьому нововведенню стала можливою реалізація схеми Active-Active з підтримкою до 8 вузлів.
- масштабування. Завдяки новій реалізації спільних томів кластера (версія 2.0) існує можливість одночасного доступу до файлів через всі вузли кластера, за рахунок чого досягається агрегація пропускної здатності і здійснюється балансування навантаження.
- SMB Direct. Реалізована підтримка мережевих адаптерів з технологією RDMA. Технологія RDMA (віддалений прямий доступ до пам'яті) дозволяє передавати дані безпосередньо в пам'ять програми, істотно звільняючи центральний процесор.
- SMB Multichannel. Дозволяє агрегувати пропускну здатність і підвищує відмовостійкість при наявності декількох мережевих шляхів між сервером з підтримкою SMB 3.0 і клієнтом.
Необхідно сказати, що для використання цих можливостей підтримка SMB 3.0 має бути присутня на обох кінцях з'єднання. Компанія Microsoft рекомендує використання серверів і клієнтів одного покоління (у випадку з Windows Server 2012 такої клієнтської платформою є Windows 8). На жаль, на сьогодні Windows 7 підтримує тільки SMB версії 2.1.
Storage Spaces.
Технологія Storage Spaces реалізована вперше в операційних системах Windows Server 2012 і Windows 8. Реалізована підтримка нової файлової системи ReFS, яка забезпечує функції підвищення відмовостійкості. Є можливість призначення дисків в пулі для гарячої заміни (в разі відмови інших носіїв або для швидкої заміни вичерпав свій ресурс SSD). Крім того, розширено можливості тонкої настройки з використанням PowerShell.
По суті, технологія Storage Spaces є програмною реалізацією RAID, розширеної за рахунок великого числа додаткових функцій. По-перше, накопичувачі з прямим доступом повинні бути об'єднані в пули. В принципі накопичувачі можуть бути будь-яких типів і потужностей, однак для організації стабільної роботи необхідно чітке розуміння принципів функціонування технології.
Далі на пулах можна створювати віртуальні диски наступних типів (не плутати з VHD / VHDX):
- простий (є аналогом RAID 0);
- дзеркало (двостороннє дзеркало є аналогом RAID1, тристороння дзеркало являє собою більш складну схему на зразок RAID 1E)
- з контролем парності (є аналогом RAID 5. Даний варіант забезпечує мінімальний перевитрата простору при мінімальній відмовостійкості).
Технологія Storage Spaces не є абсолютним нововведенням. Схожі можливості були давно реалізовані в Windows Server, наприклад у формі динамічних дисків. Технологія Storage Spaces дозволяє зробити використання всіх цих можливостей більш зручними і забезпечити новий рівень використання. Серед інших переваг Storage Spaces необхідно відзначити тонку ініціалізацію (thin provisioning), яка дає можливість призначати віртуальним дискам розміри понад доступних в реальності з розрахунку на додавання до відповідного пул нових накопичувачів згодом.
Один з найбільш непростих питань, пов'язаних з технологією Storage Spaces - це продуктивність. Як правило, програмні реалізації RAID поступаються по продуктивності апаратних варіантів. Однак, якщо мова йде про файловому сервері, то Storage Spaces отримує в своє розпорядження великий обсяг оперативної пам'яті і потужний процесор, тому необхідно тестування з урахуванням різних видів навантаження. З цієї точки зору особливу цінність набувають можливості тонкої настройки з використанням PowerShell.
Технологія Storage Spaces пропонує відмову від RAID-контролерів і дорогих систем зберігання, перенісши з логіку на рівень операційної системи. Ця ідея розкриває всі свої достоїнства і виявляється досить привабливою разом з ще одним нововведенням.
Scale-Out File Server (SOFS).
Ще одним нововведенням є режим кластерізуемой ролі File Server в Windows Server 2012, який отримав назву Scale-Out File Server. Тепер реалізована підтримка двох типів кластеризації, назви яких повністю звучать як File Sever for General Use і Scale-Out File Server (SOFS) for application data. Кожна з технологій має свої сфери застосування, а також свої переваги і недоліки.
Всецелевой файловий сервер являє собою добре відомий тип кластера Active-Passive. У свою чергу SOFS є кластер Active-Active, будучи дійсно відмовостійкої конфігурацією. Для спільного доступу до відповідних папок використовується опція Continuously Available.
Крім відмінних характеристик відмовостійкості це забезпечує підвищення пропускної здатності за умови раціонального проектування мережевої архітектури. Проксірующая файлова система CSV 2.0 (CSVFS) дозволяє зменшити вплив CHKDSK, дозволяючи утиліті виконувати необхідні операції, зберігаючи при цьому можливість роботи з томом активних додатків. Реалізовано кешування читання з CSV. Використання CSV забезпечує простоту і зручність розгортання і управління. Користувачеві потрібно створити звичайний кластер, налаштувати те CSV і активувати роль файлового сервера в режимі Scale-Out File Server for application data.
Завдяки простоті і функціональності запропонованого рішення сформувався новий клас устаткування «кластер-в-коробці» (Сluster-in-a-Box, CiB). Як правило, це шасі з двома блейд-серверами і дисковим масивом SAS JBOD з підтримкою Storage Spaces. Тут важливо, щоб SAS JBOD були Двопортовий, і був SAS HBA для реалізації перехресного підключення.
Така організація системи орієнтована саме на підтримку SOFS. З огляду на, що iSCSI target стандартно інтегрований в Windows Server 2012 і також може бути кластерізованний, таким чином може реалізувати «саморобну» систему зберігання даних на базі всецелевой операційної системи.
Однак слід мати на увазі, що власником CSV як і раніше є один з вузлів, який відповідає за всі операції з метаданими. При великій кількості метаданих може спостерігатися зниження продуктивності, тому для SOFS не рекомендується використовувати сценарій Information Worker, тоді як Hyper-V і SQL Server ідеально підходять для цього, в тому числі завдяки функціям агрегації пропускної здатності.
Інші нововведення технологій кластеризації Windows.
Вище ми перерахували лише найважливіші і великі нововведення в області кластеризації в Windows Server 2012. Інші менші нововведення, однак, теж з'явилися не випадково.
Була розширена підтримка віртуалізації за рахунок істотного спрощення створення гостьових кластерів (з віртуальних машин). На відміну від Windows Server 2008 R2, де для цього потрібно було надати iSCSI Target в загальне користування віртуальних машин, в операційній системі Windows Server 2012 з'явилася функція, що дозволяє віртуалізувати FC-контролер (по аналогії з мережевими адаптерами), за рахунок чого віртуальні машини отримують можливість безпосереднього доступу до LUN. Реалізовано і простіший варіант з використанням загальної мережевої папки SMB 3.0 для гостьових Windows Server 2012.
Однією з важливих, але нетривіальних завдань є установка програмних оновлень в кластері. При цьому може знадобитися перезавантаження вузлів, тому процедура повинна контролюватися. В операційній системі Windows Server 2012 пропонується інструмент Cluster-Aware Updating, який працює в такий спосіб: один з вузлів призначається координатором і стежить за наявністю оновлень, завантажує їх на інші вузли і виконує почергове оновлення вузлів, починаючи з тих, які завантажені найменше. Завдяки цьому доступність кластера зберігається на максимально можливому рівні протягом всього процесу оновлення.
Є нововведення і в управлінні кворумом. Наприклад, реалізована можливість давати право голосу тільки деяким вузлам. Це може бути корисно при розміщенні окремих вузлів на віддаленій майданчику, але має найбільшу цінність при реалізації нової моделі динамічного кворуму. Основна ідея динамічного кворуму полягає в тому, що вузол, що припинив свою роботу і недоступний протягом певного проміжку часу з будь-якої причини, втрачає право голосу аж до повторного підключення. Таким чином, загальне число голосів скорочується і кластер зберігає доступність максимально довго.
Нововведення в Windows Server 2012 R2.
Операційна система Windows Server 2012 R2 не є простим оновленням Windows Server 2012, а являє собою повноцінну нову операційну систему. Нововведення, реалізовані в Windows Server 2012 R2 переводять деякі можливості серверної платформи на якісно новий рівень. В першу чергу це стосується SOFC і Hyper-V.
Високодоступних віртуальні машини.
Спрощено процедуру створення гостьових кластерів, оскільки тепер з'явилася можливість використовувати в якості загального сховища звичайні VHDX, які всередині віртуальної машини будуть представлені як Shared SAS-диски. При цьому самі VHDX повинні бути розміщені на CSV або в загальних папках SMB 3.0. При цьому в віртуальних машинах можуть використовуватися як Windows Server 2012 R2, так і Windows Server 2012 (з оновленими інтеграційними компонентами).
Опція DrainOnShutdown покликана позбавити системних адміністраторів від помилок і зайвої роботи. Функція активована за замовчуванням і при планових перезагрузках або вимкненнях заздалегідь переводить вузол в такий режим обслуговування при якому евакуюються все Групові ролі. При цьому відбувається міграція активних віртуальних машин на інші вузли кластера Hyper-V.
Також в новій операційній системі Windows Server 2012 R2 Hyper-V проводить моніторинг мережевих інтерфейсів в віртуальних машинах і в разі виникнення проблеми запускає процес їх міграції на вузол, де доступна зовнішня мережа.
Кворум.
Крім динамічного кворуму в Windows Server 2012 R2 реалізований ще і динамічний диск-свідок (witness). При зміні числа вузлів його голос може бути автоматично врахований, так, щоб загальне число голосів залишалося непарних. У разі, якщо сам диск виявиться недоступним, його голос буде просто обнулений. Така схема дозволяє повністю покластися на автоматичні механізми, відмовившись від моделей кворуму.
Збільшена надійність роботи кластерів, розміщених на двох майданчиках. Часто при такій реалізації на кожному майданчику знаходиться рівно половина вузлів, тому порушення комунікації між майданчиками може виникнути проблема з формуванням кворуму. Хоча з більшістю подібних ситуацій успішно справляється механізм динамічного кворуму, в Windows Server 2012 R2 існує можливість призначити одному з майданчиків низький пріоритет, для того, щоб в разі збою кластер завжди функціонував на основному майданчику. У разі, якщо кластер був запущений з примусовим кворумом, то при відновленні зв'язку з віддаленої майданчиком служби кластера будуть перезапущени в автоматичному режимі і весь кластер буде знову об'єднаний.
CSV 2.1
Істотні зміни торкнулися і реалізації CSV. Тепер ролі власників томів рівномірно розподіляються по вузлах в автоматичному режимі, відповідно до зміни їх числа. Збільшена відмовостійкість CSV завдяки тому, що на кожному вузлі кластера запускається по два примірники серверної служби. Один використовується для обслуговування клієнтського SMB-трафіку, інший забезпечує комунікацію між вузлами. При цьому обов'язково проводиться моніторинг служби і в разі збою роль власника CSV мігрує на інший вузол.
Цілий ряд нововведень в CSV забезпечує більш ефективне використання SOFC і Storage Spaces. Додана підтримка файлової системи ReFS, яка володіє більш досконалою, ніж NTFS внутрішньою організацією. Швидше за все поступово ця файлова система займе провідне становище в продуктах компанії Microsoft. Також в Windows Server 2012 R2 реалізований механізм дедуплікаціі, який раніше був прерогативою всецелевого файлового сервера. Активація дедуплікаціі призводить до відключення CSV Block Cache, проте в деяких випадках вона може бути досить ефективною. Тома CSV можуть створюватися на дискових просторах з контролем парності.
У Windows Server 2012 R2 можливість комбінувати накопичувачі різних типів набула особливого змісту з багаторівневими просторами. З'явилася можливість формувати два рівня швидкий (на основі SSD) і ємний (на основі жорстких дисках) і при створенні віртуального диска виділяти певний обсяг з кожного з них. Далі відповідно до деякого розкладом вміст віртуального диска буде аналізуватися і розміщуватися блоками по 1 МБ на більш швидких або повільних носіях в залежності від затребуваності. Іншим застосуванням багаторівневих просторів є реалізація кешу зі зворотним записом на SSD. У моменти пікових навантажень запис здійснюється на швидкі твердотільні накопичувачі, а пізніше холодні даніпереміщуються на повільніші жорсткі диски.
Нововведення, що стосуються CSV і Storage Spaces, є найбільш суттєвими в Windows Server 2012 R2. На їх основі можна розгортати не просто надійні файлові сервери, а потужні й гнучкі системи зберігання даних з прекрасними можливостями масштабування і відмінною стійкістю до відмов, які надають в розпорядження користувача широкий спектр сучасних інструментів.
Читайте також:
Сучасні конвергентні системи для віртуалізації від компанії HP.
Рішення віртуалізації VMware.
