XS
SM
MD
LG
Надіслати заявку
і ми оперативно зв'яжемось з Вами
Надіслати
Дякуємо Вам за звернення до KM Disti

Ми зв'яжемося з Вами максимально швидко.

Пн - Пт 9:00 – 18:00
Укр   Рус   Eng

Огляд системи збереження даних QSAN XN8012R: віртуалізація + ZFS на борту!

29 серпня 2019

Сьогодні багато технічних спеціалістів вважають, що ZFS - це щось, що працює тільки під FreeBSD, в кластерах, з налаштуванням з командного рядка, і простим смертним туди краще не сунутися, бо це - доля обраних. Насправді - ні, і навіть порт ZFS On Linux вже дійшов до того рівня стабільності, коли його використовують в масштабованих production-grade апаратних рішеннях. І багато сисадміни невеликих організацій, досить чітко розуміють плюси ZFS і можуть обгрунтувати керівництву економію від програмного стиснення LZ4 і дедуплікаціі при покупці нової системи збереження даних, ось тільки недорогих рішень під цю файлову систему не було. Але святе місце порожнім не буває, і компанія QSAN вирішила об'єднати в одному пристрої все те, що ми любимо в Linux і все те, що цінуємо в ZFS.

За що ми любимо ZFS? За снепшот, Дедуплікацію і абсолютну надійність, подаровану нам компанією Oracle. А за що не любимо? За FreeBSD, яка вміє робити щось одне, але застрягла в своєму розвитку десь в першій декаді 21 століття, а значить абсолютно не підходить для NAS.

Чому?

Та тому що сучасний NAS - це не тільки файлохранілка, але і сервер додатків, на якому виконуються контейнери, віртуальні машини, бази даних і власні програми. Мало хто з виробників NAS-ів готовий розробляти софт під FreeBSD, в тому числі і з-за ліцензій, а під Linux - будь ласка: тут тобі і налагоджений гипервизор, і відмінна ситуація з драйверами і регулярно оновлюється ядро.

Напевно, саме так і думали розробники з компанії QSAN, найстарішого виробника систем збереження даних початкового рівня. Вони вирішили, що сучасні процесори вже готові до обробки всіх принад ZFS: пам'ять дешевшає, SSD диски - теж, а значить можна зробити NAS, аналога якому немає на ринку. Раніше ми не тестували продукцію QSAN, і тим цікавіше буде познайомитися з задумкою її авторів: тут все інше - інша ідеологія, інша конструкція ... ну не будемо затягувати.

Це одноконтроллерний NAS на базі 4-ядерного процесора Intel Xeon частотою 3.3 ГГц, Головний пристрій має 12 відсіків для 3.5-дюймових SATA накопичувачів плюс 4 окремих відсіка для SATA SSD плюс 2 відсіка для NVME SSD 2.5, плюс - 2 відсіка для плат розширення, і це - тільки стосовно «заліза». Що ж до софта, то виробник обіцяє багаторівневе зберігання (Tiering), підтримку SSD кешування, вбудовану віртуалізацію, бекап в хмару і всі принади ZFS, включаючи стиснення, Дедуплікація і прославлену надійність.

 

Особливості конструкції 

Щоб вмістити в один корпус 12 накопичувачів великої місткості і 6 високій швидкості, розробники QSAN XN8012R, відсіки для SSD розмістили з тильного боку корпусу. Це дуже сміливе рішення, що дозволяє максимально задіяти місце в 2U корпусі, але воно має деякі особливості. Справа в тому, що накопичувачі, встановлені на виході повітряного потоку, мають властивість перегріватися, і щоб цього не відбувалося, QSAN встановив окремий вентилятор на їх кошик.

Причому, якщо для 2.5-дюймових 7-міліметрових SATA SSD охолодження може бути і не потрібно, то для 15-міліметрових NVMe SSD, яких тут може бути дві штуки, це вже обов'язкова умова для експлуатації.

Два типу SSD потрібні для більш точного налаштування Tiering-а: звичайні HDD являють собою нижній рівень продуктивності, SATA SSD - середній, а NVMe SSD - найвищий. Для кожного шару може використовуватися свій RAID-масив, причому саме зрозумілий всім RAID 5/6, а не загадковий RAID Z1 / Z2 / Z3. Використанню стандартної термінології можна тільки порадіти, але про це трохи пізніше.

Я не знаю, кому спало на думку такий серйозний NAS поставляти з 1-гігабітними мережевими інтерфейсами. Причому дивіться - під кожним з 4-х RJ45 портів встановлено USB 3.0 порт. Сказати, що це незручно - все одно, що не сказати нічого, благо, NAS має два низькопрофільних слота розширення: PCI-E Gen3 x8 і Gen3 x4, в які ми поставимо дві 10-гігабітні мережеві карти, Intel X550-T2 для міді і Intel X520-DA2 для оптики або міді, але вже DAC. Хоча QSAN рекомендує використовувати свої адаптери (судячи з фото - перемаркірований Intel), з рідним Intel-му у нас проблем не виникло, але боронь вас Бог встановити плату з RJ45 портами в лівий слот! Через те, що відсіки розширення втоплені в корпус, ваші пальці не пролізуть до засувок фішок RJ45, і витягти мережеві кабелі без пінцета буде ой як непросто.

На щастя, це єдиний виявлений недолік конструкції. В іншому ж, все стандартно: відмовостійкий блок живлення виробництва Delta, система охолодження за принципом N + 1, зручні лоточки для дисків та ... навіть HDMI порт. Для користувачів Apple компанія пропонує Thunderbolt 3 контролер, а для підключення дискових полиць - SAS-12Gb / s контролер. За замовчуванням, XN8012R поставляється з 8 Гб ОЗУ, але пам'ять можна розширити до 64 Гб. Операційна система на базі Linux не вимоглива до пам'яті, так що додавати ОЗУ варто тільки якщо ви будете використовувати дедуплікацію і вбудований гипервизор. Ну а якщо вже ми заговорили про софт, давайте запустимо і налаштуємо NAS.

 

Софт і віртуалізація 

М'яко кажучи, компанія QSAN при розробці операційної системи NAS-а надихалася продукцією Synology. У світі Linux-софта в цьому немає нічого поганого: компанії використовують OpenSource бібліотеки і запозичують ідеї один у одного, питання лише в тому, хто зробить щось новеньке або щось краще за інших, і у QSAN вийшло ... круто: HTML5, контрольна панель, віджети, панель завдань, моніторинг поточної навантаження ... Працюй, та радій, тільки використовуй Google Chrome, інакше під Firefox не все відображається як потрібно.

Якщо у вашій компанії заради булочок ZFS використовувався FreeNAS, XigmaNAS або просто один з клонів FreeBSD, то вам напевно не вистачало вбудованого файлового менеджера: з його допомогою зручно копіювати будь-які обсяги даних усередині NAS-а, не використовуючи мережевий інтерфейс. Розробники FreeNAS сприйняли в багнети прохання ком'юніті про реалізацію файлового менеджера, а адміністратор спільноти FreeNAS і зовсім написав, що Web-файлменеджер - це "дивна ідея"? Власне, QSAN QSM - це операційна система з підтримкою ZFS і нормальним web-based файловим менеджером з попереднім переглядом картинок, з базовими функціями (копіювання / видалення), але це не єдине, що відрізняє комерційний Linux-продукт від безкоштовного FreeBSD. 

Не так давно під FreeNAS прикрутили гипервизор Bhyde, але у нього проблеми сумісності з будь-якими гостьовими операційними системами, в тому числі і з самої FreeBSD, а під Linux у вас - QEMU, промисловий стандарт де-факто з відпрацьованими бібліотеками VNC і драйверами, однаково добре підтримує і Linux і Windows в якості гостьових систем. Звичайно, під Linux є улюблений багатьма системними адміністраторами гипервизор Proxmox, але там немає управління системою збереження даних і виртуализацией з єдиного вікна, як в NAS-ах.

Звичайно, наявність вбудованої віртуалізації робить безглуздою інтеграцію багатьох інших пакетів, що не мають прямого відношення до NAS-діяльності пристрою, тому QSAN даним напрямком не морочитися. І хоча тут є і SQL сервер (MariaDB, і VPN-сервер), з моєї точки зору уваги заслуговує, хіба що, антивірус, скануючий вміст NAS-а за розкладом ...

Що стосується резервного копіювання, то тут є дуже цікаві функції. По-перше, як уже згадувалося вище, ви можете використовувати снепшоти як альтернативу локальним резервних копій. У файлової системи ZFS снепшот беруть участь в загальному обсязі даних, що піддається дедуплікаціі, так що з точки зору витрат на зберігання копій, на сьогодні снепшот під ZFS - кращий вибір. Для великої інфраструктури має сенс налаштувати віддзеркалення цільової папки на NAS-е на віддалений NAS (Технологія Qsan Xmirror) або резервування в хмару. Якщо ви хочете бекапіть вміст Windows-комп'ютерів ваших працівників, то Qsan пропонує використовувати програму Xreplicator, яку розробляв Acronis на основі свого True Image з безкоштовною ліцензією на 100 машин, а для Linux-хостів використовується резервування через Rsync.

Правда, є і недоліки: наприклад, відсутній механізм резервування віртуальних машин під VMware ESX, як хмарного сховища резервних копій, які ми настійливо рекомендуємо вам робити, підтримуються API тільки трьох постачальників: Amazon S3, Hicloud S3 і Alibaba Cloud SS. Є претензії і до роботи з браузерами не на Chrome-ядрі (зокрема, під Firefox в інтерфейсі не натискайте деякі кнопки), але в основному, все працює без нарікань.

 

Дискові пули

Як було сказано на початку статті, QSAN XN8012R не використовує ZFS-термінологію типу Zvol / Zdev, в якій плутаються навіть досвідчені сисадміни. Тут все традиційно: RAID, дискові пули, загальні папки, але з ядром ZFS. Наприклад, якщо у вас масив на велику кількість дисків, вам стане в нагоді масив RAIDZ3, що допускає одночасну поломку 3-х вінчестерів. Зараз вважається хорошим тоном постійно тестувати жорсткі диски на предмет раннього діагностування поломок, і в QSM є запуск за розкладом S.M.A.R.T. тестів, сканування всього масиву (Scrub), а так само підтримка Seagate Ironwolf Health Management

 

При створенні дискового масиву вам належить вибрати, яке навантаження у вас буде: потокове або транзакційне, а може бути змішане? Так само треба вибрати рівень даного масиву в багатошарової Tier-структурі. Для жорстких дисків це - найнижчий рівень, а для різних по швидкості SSD - середній або найвищий, а так же механізм міграції даних: за розкладом або вручну. Поставтеся до цього етапу відповідально, так як в подальшому зміни будуть неможливі.

 

Tiering

Функція Tiering працює наступним чином: файлова система постійно записує частоту звернення до блоків, а потім переносить дані по шарам, то що рідко використовується - зберігає на HDD, а найбільш затребувані дані - на SSD або NVMe SSD. При цьому, SSD-шар являє собою такий же масив, як і ваш дисковий RAID, на якому ви можете створювати папки і iSCSI томи. Оскільки ви можете його використовувати як звичайний масив, його розмір можна сміливо додавати до обсягу HDD-сховища, і це - ключова відмінність від SSD-кеша. Використовуючи Tiering, ви для кожного дискового масиву вказуєте при створенні політику збереження даних. Наприклад, що вище за рівнем їх переносити можна (з SATA SSD на NVMe SSD), а нижче - не можна. Саме перенесення даних з HDD на SSD проводиться за розкладом, наприклад, вночі або у вихідні.

При включенні режиму "Auto Tiering" операційна система самостійно визначає політику збереження для дискового масиву, а так же час перенесення даних між рівнями. Але слід мати на увазі, що статистика використання даних може накопичуватися дуже довго, і то що ви хотіли б бачити на SSD, може лежати мертвим вантажем на HDD, тому не покладайтеся лише на Tiering, а активно використовуйте SSD пул для даних, яким важлива низька затримка. Взагалі, в Enterprise-середовищі за функцію Tiering прийнято доплачувати, і нам особливо приємно, що у QSAN багатошарове зберігання включено у вартість системи збереження даних.

 

SSD кеш

ZFS має рідну підтримку SSD кешування (L2ARC), і навіть один накопичувач ви можете використовувати для кешування читання / запису. Кеш прогрівається досить швидко, але пікової продуктивності SSD не досягає, так що високоінтенсивні операції робите з даними на SSD-масивах. Для SSD кешу ви можете використовувати будь-яку кількість накопичувачів, об'єднаних в пул. Якщо у вас задіяний тільки кеш читання, то майте на увазі, що він обнулятиметься при перезавантаженні машини. В цілому ж, заповнення SSD кешу відбувається блоками, і ефективність ви можете оцінити на діаграмах нижче. Зверніть увагу: швидкість доступу не виходить за 2500 IOPS, так що для високоінтенсивних навантажень SSD-кеш поверх HDD не замінить звичайний SSD-пул навіть в режимі читання. 

Наявність SSD кеша читання - обов'язкова умова для задіяння функції блокової дедуплікаціі. 

 

Блочная дедуплікація

Ця чудова можливість ZFS працює "на льоту", дозволяючи вам економити десятки терабайт даних. При запису даних на диск, процесор системи збереження даних знаходить повторювані екстенти і замінює їх посиланнями, що вказують на адресу блоку, за рахунок чого дані, що повторюються, місця на диску не займають, та й взагалі повторно не пишуться. В результаті ви не тільки виграєте в обсязі даних, але і підвищуєте швидкість випадкового читання і запису. Якщо ваша система збереження даних обслуговує середню організацію і працює як сховище резервних копій, віртуалок, звичайних архвов документів, то ось скільки ви можете заощадити:

  • Бекапи без стиснення з боку софта (зазвичай - Rsync): від 85% до 90%
  • Диски віртуальних машин: від 50% до 90%
  • Дампи баз даних: від 45% до 70%
  • Домашні директорії користувачів: від 20% до 50%
  • Архіви пошти: від 20% до 40%

Чим більше даних у вашій організації, тим сильніше буде вигода. Ви можете включити загальну дедуплікацію для папок і iSCSI томів, які в якості сховища використовують файл. Взагалі, дедуплікація повинна сильно знижувати швидкість запису на диск, і на графіку ми бачимо, що швидкість простий синтетики відчутно знижується.

Але в патернах реальних завдань дедуплікація навпаки, дає відчутний приріст швидкості.

При тестуванні швидкості доступу на 64-кілобайтних блоках нас чекав сюрприз: продуктивність виявилася вищою, ніж у 4-кілобайтних блоків. Мені довелося перевіряти тести, але результати повторилися, і тоді я звернувся за роз'ясненням до виробника QSAN. Інженери повідомили, що в цих системах збереження даних запис ведеться 64-кілобайтні блоками для підвищення продуктивності в більшості завдань. Взагалі, така швидкість - просто подарунок для тих, хто купує собі систему збереження даних для використання під Microsoft SQL Server, адже саме на 64-кілобайтний доступ рекомендує налаштовувати системи збереженя даних сама Microsoft

Так що без сумніву, для транзакційного доступу в невеликій організації, QSAN XN8012R - відмінний вибір. Що ще цікаво, так це підтримка технології WORM (Write Once Read Many), що простою мовою означає захист від запису для якихось ресурсів. Цей захист може встановлюватися на якийсь обмежений час, або назавжди. Дуже зручно для бекапів: ви зберегли резервну копію на СЗД, і вже можете бути впевнені, що ні вірус-шифрувальник, ні хакер не зможуть видалити або змінити ваші бекапи. 

Для тестування швидкості послідовного доступу ми використовували 2 порту по 10 Гбіт / с, але показники не перевищили можливостей і одного. У нашій тестовій конфігурації на 3 HDD і 3 SSD особливо не розгуляєшся, але для великих інсталяцій можливе підключення до 8 дискових полиць.

Тут треба мати на увазі, що у вас немає ніякої відмовостійкості: судячи по схемі, полки підключаються послідовно, без утворення петлі, тому допустимо якщо у вас вийде з ладу 5-я полку, то відключаться і 6-я, і 7-я, і 8-я. Ну а взагалі, при підключенні 8 полиць QSAN XD5324, кожна з яких має 24 відсіку для 3.5 HDD, ви можете заповнити всю систему зберігання даних 14-терабайтними жорсткими дисками, щоб отримати 2.83 з 210 вінчестерами об'ємом 2886 Тб простору для ваших потреб.

 

Вартість і ліцензування

Вартість головного пристрою QSAN XN8012R без жорстких дисків становить 6000 $ (ціна рекомендована виробником). Врахуйте, що за замовчуванням головний пристрій поставляється навіть без санчат в стійку, з мінімальним об'ємом пам'яті і 1-гігабітними інтерфейсами. Функція дедуплікаціі в ZFS активно використовує ОЗУ для зберігання таблиць екстентів, тому якщо ви хочете заощадити на кількості жорстких дисків, будьте ласкаві конфігурувати СГД хоча б з 32 Гб RAM. Весь програмний функціонал, такий як Tiering, віртуалізація і снепшот, не вимагає активації ліцензій.

 

Гарантія

За замовчуванням QSAN XN8012R поставляється з 3-річною обмеженою гарантією, яку покупець може продовжити ще на 2 роки, набуваючи відповідного пакет в будь-який час протягом дії основного гарантійного терміну. 

 

Висновки 

Сьогодні кожна система збереження даних підтримує SSD-диски, але далеко не кожна має 6 Hot-Swap відсіків для твердотільних накопичувачів, які ви можете використовувати не на шкоду HDD. Сьогодні кожна СЗД має підтримку снепшот і SSD кеша, але далеко не кожна підтримує багатошарове зберігання на NVMe SSD з гарячою заміною. Такі фукнции, як Inline дедуплікація є основними критеріями вибору постачальника СЗД, і практично визначають вибір того чи іншого рішення. І вже якщо ви оберете QSAN, то ця СЗД зустріне вас дружелюбним HTML5 інтерфейсом, зробленим за канонами традиційних систем зберігання даних. Тут все просто і зрозуміло, так що навіть дитина зможе розібратися в налаштуванні сервера, запустити віртуалізацію і налаштувати права доступу користувачів. СЗД має вбудовані системи безпеки, в тому числі антивірус і Firewall, так що від якихось напастей вона може захистити себе сама. 

Так, звичайно, все, що виходить за рамки буденності, має як свої плюси, так і мінуси: незвичайна конструкція викликає труднощі при підключенні кабелів, є проблеми з web-інтерфейсом під браузером Firefox, а 8 Гб ОЗУ, та ще й набрані двома 4 -гігабайтнимі модулями виглядають несерйозно.

Але ми не перший рік говоримо про те, що NAS-и з блоковим доступом за рахунок своєї універсальності витіснять SAN-рішення з початкового цінового діапазону. І ось будь ласка, вартість топового QSAN XN8012R з виртуализацией і дедуплікація порівнянна з ціною 2-контролерних SAN-ів, які не вміють нічого, крім як бути 2-контролерними SAN-ами, а значить пам'яті можна і додати, а бракуючий софт запустити під віртуалкою . В цілому, при грамотному підході, ця СЗД дозволить істотно заощадити на розширенні ємності при зростанні обсягу даних у вашій організації, і саме ця особливість змушує придивитися до серії XCubeNAS вже сьогодні. 

Посилання на джерело HWP.RU

Рекомендувати: