1. Віддалене управління
2. Сумісність з операційними системами
3. UEFI (BIOS)
4. тестування
5. Ціна запитання
6. Захист на тендерах
7. висновки

Для зберігання «холодних» даних, де важливий, перш за все, обсяг в терабайт на один юніт серверної стійки, випускаються компактні 1U корпусу, що вміщають 12 жорстких дисків формату 3.5 дюйма. Інтегратори та збирачі можуть використовувати для цих потреб як готові серверні комплекти, так і збирати СГД самостійно в спеціальних корпусах, таких як Chenbro RM14500 .

В таких корпусах материнської плати відводиться мінімум місця, і від неї потрібно не так вже й багато - мати максимум SATA / SAS портів і бути наскільки це можливо компактної, щоб якомога більше місця віддати під жорсткі диски. Саме для таких цілей компанія ASRock Rack, серверне підрозділ знайомої нам всім компанії ASRock, випускає материнську плату EPC612D4U-2T8R під процесори Intel Xeon LGA2011 v3.

Ця плата цікава тим, що компанія-виробник інтегрувала в компактний MicroATX форм-фактор 8-портовий контролер SAS-12Gbps (чіп LSI3008), два 10-гігабітних мережевих порту BASE-T на контролері Intel X540, два слоти PCI Express 3.0 16x і один PCI Express 3.0 8x. Разом, до однієї Micro-ATX плати можна підключити цілих 16 жорстких дисків і 14 мережевих портів, що погодьтеся, вражає!

Для забезпечення високошвидкісного зв'язку з іншими вузлами на платі встановлений двухпортовий мережевий контролер Intel X540-T2 з інтерфейсами типу RJ45 під мідну кабельну середу. Сьогодні майже всі материнські плати Asrock Rack з 10-гигабитной мережею випускаються під стандарт BASE-T, оскільки загальна тенденція в системах зберігання даних йде до застосування звичайної кручений пари для мережевого підключення, а оптичне середовище залишається для більш швидкісних інтерфейсів. Чіп Intel X540 - не найновіший в сімействі 10-гігабітних контролерів, він не має енергозберігаючих функцій Intel Ethernet Power Management, але як і всі Intel-івських 10-гігабітні чіпи, підтримує апаратну розвантаження iSCSI, FCoE і NFS і має функцію SR-IOV , що дозволяє розділяти ресурси плати між віртуальними машинами. На максимальній 10-гігаітной швидкості, довжина кабелю, що підключається 6-ї категорії може становити до 55 метрів, а при використанні кабелю категорії 6A - до 100 метрів. Мережеві порти можна об'єднувати в групу по стандарту IEEE-802.3ad для підвищення пропускної здатності та відмовостійкості.

Наступний важливий елемент Asrock Rack EPC612D4U-2T8R - це 12Gb / s SAS контролер Broadcom (LSI) 3008. Це найпростіший чіп в сімействі SAS-12 чіпів Broadcom, що має процесор PowerPC 476 з частотою 1.2 ГГц. Він підтримує RAID 0,1,1E і 10, має шину PCI Express 3.0 8x, підтримує тип захисту даних T-10 і технологію DataBolt, що дозволяє працювати на швидкостях SAS-12Gb / s при використанні дисків і бекплейнов стандарту SAS-6 Gb / s . Загальна продуктивність контролера заявлена на рівні 1 мільйона IOPS, так що запас швидкості тут величезний.

До речі, продовжуючи тему зберігання, ще 8 портів SATA-600 працюють на двох SATA-контролерів, вбудованих в чіп Intel C612, і пристрої можна об'єднувати в масиви RAID 0, 1, 5 і 10.

Через таку щільної компоновки, на материнській платі не залишилося місця під Ultra M2 накопичувач, хоча саме тут він би дуже знадобився для кешування операцій введення / виводу, або для операційної системи, якщо планується встановлювати Windows. Для Linux-ів, VMware і FreeBSD є внутрішній USB 3.0 Type A порт, в який можна встановлювати невисоку флешку з завантажувачем і ядром ОС.

На платі встановлено велику кількість роз'ємів, конекторів і цілий блок джамперів. Перерахуємо лише деякі:

• Висновки для підключення кнопки NMI (м'якша альтернатива reset-у)
• Колодка для підключення TPM
• Датчик підключення термопари (TR1)
• Вихід на фронтальний VGA порт
• Вихід на два порти USB 3.0
• Вихід на два порти USB 2.0

Перезавантаження через NMI є більш "м'якої" альтернативою reset-у, так як допомагає уникнути втрати даних при інтенсивній записи на диск.

Один мережевий порт LAN1 виділений для потреб віддаленого управління BMC. Віддалений моніторинг покладається на чіп Aspeed AST2400 (мережевий контролер - Realtek RTL8211E), найпоширеніше серверне рішення на поточний день. Фактично, хоч плата і заявлена ​​як 3-портова, активних мережевих портів тут два, але їх сумарної швидкості в 20 Гбіт / с з лишком вистачить на найближчі 5-6 років.

Необхідно відзначити, що хоч материнська плата і має 3 слоти PCI Express 3.0, вони ділять шину даних з наступними обмеженнями:

• Верхній PCI Express 3.0 16x (слот PCIE5) при включенні SAS-контролера LSI3008, переходить з режиму 16x в режим 8x.
• Нижній PCI Express 3.0 16x (слот PCIE7) ділить 8 ліній із середнім слотом PCI Express 8x (PCIE6), тому при підключенні туди плати розширення, переходить в режим 8x.

Форм-фактор середнього слота PCIE6 дозволяє встановлювати в нього довгі плати розширення, розраховані на 16x, але при встановленні материнської плати за прямим призначенням, в хмарні СГД, швидше за все все три слота залишаться порожніми, так як ставити в них просто нема чого: все що потрібно , вже інтегровано на материнке.

Процесорний гніздо має формат Narrow ILM, що важливо враховувати при виборі кулера. Для підлогових серверів ви можете знайти в продажу системи охолодження Noctua NH D9DX i4 висотою 3U. З низкопрофильними кулерами, в общем-то, проблем немає - для 2U корпусів можна використовувати Supermicro SNK-P0048AP4, а для 1U - Dynatron T318 або Dynatron R31.

Материнська плата має 4 слота DDR4 RDIMM / LRDIMM з частотами 1600/1866/2133 МГц і 2400 МГц для процесорів Xeon E5-1600 / 2600 V4. Максимальний підтримуваний обсяг одного модуля RDIMM становить 32 Гб, а модуля LRDIMM - 64 Гб. Якщо вважати, що на 1 Тб дискового простору бажано мати 1 Гб ОЗУ під кеш і таблиці дедуплікаціі, то цього вистачить на 1U корпус, забитий 12-ю вінчестерами об'ємом по 21 Тб кожен.

Хочеться відзначити підтримку 6 вентиляторів, кожен з яких підключається в 4-контактна PWM гніздо зі світлодіодною індикацією. Якщо кулер зупиниться, біля PWM-роз'єму загориться червоне світло. Автоматичне регулювання процесорного кулера, як правило, тримає швидкість вентилятора на мінімумі.

На задній панелі лише мінімальний набір виходів: два USB 2.0, два USB 3.0, три порти RJ45, VGA, RS232 і індикатор UID.

Віддалене управління

BMC підтримує функцію віртуального робочого столу з можливістю підключати ISO-файли в якості CD-ROM, флешки або диска, так звана функція Virtual Media. Будь-який з датчиків системи, наприклад, температуру процесора, можна відкрити в якості віджету і постійно відстежувати його зміна на графіку. При цьому, серфінг між вікнами web-інтерфейсу не впливає на відкриті віджети. Програмна KVM-консоль дозволяє записувати відео, робити скріншоти і здійснювати дамп параметрів "синього екрану смерті" для полегшення діагностики. Правда, якщо ви плануєте використовувати GPU для виведення зображення на екран, то віртуальна KVM-консоль стане недоступна, і для таких випадків краще купувати окремий IP-KVM, такий як ATEN KN2124VA .

Ми протестували швидкість Virtual Media і отримали приблизно 3.7 Мб / с, так що гигабитное підключення тут явно зайве, і підключивши віддалений моніторинг до 100-мегабитному мережного комутатора, ви нічого не втратите, навпаки - це дуже зручно при установці оновлень, що поставляються в якості ISO образів для гіпервізора на FreeBSD.

Протестувавши BMC протягом двох тижнів, скажімо так - якихось серйозних претензій до роботи пристрою не виникає: курсор мишки синхронізується практично ідеально, натискання на клавіші передаються без затримок, але ось іноді при інтенсивній роботі основного мережевого адаптера Intel X540, інтерфейс BMC стає недоступним , і зрозуміти закономірність такої поведінки не вдалося. Так само хотілося б звернути увагу, що система розподілу здійснюється у вікні java-віджета, який відповідає за KVM, так що для включення і виключення сервера доведеться вирішити в браузері спливаючі вікна і JAVA.

Дуже радує розділ апаратного моніторингу - плата виводить свідчення всіх сенсорів температури, включаючи системну плату, вбудовану мережеву карту, південний міст, модулі пам'яті і процесор, а так само свідчення всіх датчиків напруги і всіх швидкостей кольорів, які є в системі.

Разом, за функціональність системи віддаленого управління можна сміливо ставити п'ятірку: швидко, зручно і логічно.

Сумісність з операційними системами

Ми перевірили, наскільки ASRock Rack EPC612D4U-2T8R сумісна з новітніми операційними системами. У всіх випадках інсталяція проводилася через віддалене підключення до BMC з використанням Virtual Media.

• Windows 10 x64 build 1807 - потрібна установка мережних драйверів після інсталяції
• Windows server 2016 build 1705 - все працює з коробки
• VMWare ESXi 6.7 - все працює з коробки, включаючи апаратний моніторинг
• Debian 9 Stretch initial release - все працює з коробки

В VMware vSphere 6.7 за замовчуванням був доступний апаратний режим PCI Passthrough для мережевого адаптера Intel X540-T2, а так само для USB контролерів та LSI 3008. Так само при фізичному прокинув жорстких дисків з інтерфейсами SAS і SATA в гостьову операційну систему, остання отримувала повний апаратний пристрій із можливістю читання SMART даних.

UEFI (BIOS)

В ASRock Rack EPC612D4U-2T8R використовується AMI-BIOS з традиційним текстовим інтерфейсом. Саме в загальному BIOS-е налаштовується вбудований SAS контролер LSI3008, який до речі, за замовчуванням працює в режимі "IT Mode", що важливо для сучасних файлових систем, таких як Btrfs і Zfs.

Взагалі, більшість налаштувань відноситься до різних функцій CPU, послідовних портів і системі управління. Підтримується функція пробудження материнки з режиму сну через сигнал з PCI Express, а так само по мережі. Але можливості включення по сигналу з USB не передбачено.

Материнська плата має вбудований таймер Watch Dog, що працює в двох режимах - простий холодний скидання і виклик переривання NMI. Останній рекомендується як раз при використанні розумних файлових систем з великим кешуванням в ОЗУ. Коли таймер Watchdog вимагає підтримки з боку операційної системи, і з протестованих ОС, найлегше його роботи вдалося досягти тільки в Windows Server 2016.

тестування

Для тестування ми використовували комп'ютер наступної конфігурації:

• Intel Xeon E5-2603 v4 (6C 15M L3, 1.7 GHz)
• 16 Gb DDR4 ECC RDIMM
• Noctua NH-D9DX i4 3U
• 8 x SSD Samsung MZ-7KM480E, 480 Gb, SATA-600

Нижче представлені тести AIDA64 для оцінки продуктивності плати.

Проведемо тестування швидкості по iSCSI і порівняємо час відгуку на вбудованому і дискретно мережевому контролері.

При тестуванні ми звернули увагу, що єдиним сильно гріються елементом на платі був PCH, чия температура без встановленого вентилятора перевищувала 60 градусів Цельсія, так що якщо ви захочете використовувати материнську плату ASRock Rack EPC612D4U-2T8R для підлогового сервера в непромисловому корпусі або для NAS-а (ідеальний, до речі, варіант) - обов'язково забезпечте хороший воздухоток на радіатори.

Ціна запитання

Середня вартість ASRock Rack EPC612D4U-2T8R становить 570 $. Для порівняння, роздрібна вартість контролера LSI 9300-8i на чіпі LSI 3008 становить 210 $, а за мережеву карту Intel X540-T2 просять 230 $. Таким чином, при складанні хмарної СГД економія на обличчя.

Захист на тендерах

ASRock Rack EPC612D4U-2T8R - це унікальна материнська плата, аналогів якої не роблять ні Tyan, ні Asus. Дуже схожу плату X10SRM-TF виробляє компанія Supermicro, але у неї немає вбудованого SAS-контролера. Тому одночасне вимога підтримки 10GB LAN, SAS-12G і 3 слотів PCI Express в форматі MicroATX не дозволить вийти в проект з продукцією інших вендорів.

висновки

Компанія ASRock Rack є фахівцем з материнським платам, і найприємніше, що в модельному ряду компанії є нестандартні високоінтегровані рішення в компактному форм-факторі. Такі плати є універсальними, які можна використовувати і для обчислювальних вузлів віртуалізації, і для SDS-рішень, і для високоплотних систем зберігання даних, в тому числі для Flash-масивів в корпусах розміру 1U і вище.

Універсальний форм-фактор MicroATX дозволяє встановлювати плату не тільки в високощільні корпусу повної глибини, але і в укорочені моделі половинній глибини, створені для монтажу в настінні телекомунікаційні шафи. Така гнучкість дає можливість виробникові серверів запропонувати замовнику унікальне рішення, яке не матиме конкурентів у роздрібному продажі і зможе проходити через тендери без ризику поставки аналогів від спритних конкурентів. Саме ця особливість робить плату ASRock Rack EPC612D4U-2T8R відмінною покупкою на російському ринку.

Офіційний сайт ASRock Rack - http://www.asrockrack.com

Михайло Дегтярьов (aka LIKE OFF)
21 / 08.2018