Системы хранения данных начального уровня. Дисковые пулы в DotHill

Kraftway представляет новый продукт в сегменте аппаратно-ориентированных кластерных СХД: доверенные системы хранения данных ПРОГРЕСС , в основе которых контроллеры с интегрированными средствами защиты информации и российские программные продукты управления дисковыми массивами. Отличительные особенности доверенной платформы СХД Kraftway:

  • встроенные функции защиты информации, интегрированные в контроллеры (схемотехнику платы, BIOS и микропрограммный код ВМС);
  • программное обеспечение (ПО) управления системой хранения, занесенное в реестр Минсвязи РФ. Прозводителями ПО являются компании Рэйдикс, НПО Баум и Аэродиск.

Доверенные СХД предназначены для заказчиков, имеющих особые требования безопасности к своим ИТ-системам. СХД ПРОГРЕСС содержит модели с количеством контроллеров 1,2,4 и 8 (*) , работающих в режиме Active-Active и обеспечивающих высокую отказоустойчивость системы хранения. К контроллерам системы подключаются дисковые полки расширения различных типоразмеров, обеспечивающих емкость хранения до нескольких десятков ПБ. Максимальная емкость 2-контроллерной СХД составляет 16 ПБ. Хост интефейсы СХД: iSCSI от 1 до 100 Гб/с, FC от 2 до 32 Гб/с, Infiniband до 100 Гб/с (*).

(*) Технические характеристики могут варьироваться для каждого производителя ПО.



  • Д. Разграничение доступа


    Прилагаемый файл

  • Доверенные СХД Kraftway ПРОГРЕСС

    Задать вопрос

  • Доверенные СХД Kraftway ПРОГРЕСС

  • Доверенные СХД Kraftway ПРОГРЕСС

    Возможности ПО управления СХД Kraftway ПРОГРЕСС

  • Доверенные СХД Kraftway ПРОГРЕСС

    Основные сценарии использования ВСЗ

    А. Обеспечение доступа к контроллеру СХД только авторизованного персонала

    Для загрузки операционной системы контроллера требуется пройти двухфакторную аутентификацию. После включения питания ВСЗ останавливает процесс загрузки. Для продолжения загрузки авторизованный пользователь должен иметь устройство идентификации (смарт-карта, USB-ключ) и пароль.
    ВСЗ имеет возможность разграничивать права управления настройками безопасности в зависимости от роли пользователя. Обычный пользователь, например, может не иметь прав на вход и изменение настроек UEFI BIOS.

    Б. Контроль целостности аппаратной конфигурации

    После подачи питания ВСЗ выполняет самотестирование, подсчет контрольных сумм и их сравнение с эталонными. В случае успеха осуществляется контроль целостности оборудования путем сравнения контрольных сумм и сигнализации при обнаружении изменений. При нарушении целостности осуществлять управление ВСЗ сможет только пользователь с правами Администратора.

    В. Контроль целостности файловой системы

    Администратор ВСЗ может включить проверку целостности критичных файлов на наличие изменений. При этом при включении изделия до загрузки ОС происходит подсчет контрольных сумм файлов, добавленных в список контроля. При нарушении целостности осуществлять управление ВСЗ интеграции сможет только пользователь с правами Администратора

    Г. Антивирусное сканирование до запуска операционной системы

    Поиск вредоносных программ на этапе работы UEFI до загрузки операционной системы позволяет нейтрализовать угрозы, которые крайне трудно выявить после запуска ОС, так называемые «руткиты» и «буткиты». Они могут модифицировать загрузочные сектора системы, а также скрывать следы присутствия злоумышленника или вредоносной программы в системе. Поиск осуществляется специализированным модулем «антивирус Касперского для UEFI». В случае обнаружения вредоносного кода сканер приостанавливает загрузку ОС и идентифицирует зараженный объект.

    Д. Разграничение доступа к аппаратным ресурсам с помощью «тонкого гипервизора». Гипервизор является частью UEFI и программным инструментом разграничения доступа к аппаратным ресурсам вычислительного устройства.
    Гипервизор функционирует в режиме виртуализации всех физически присутствующих на материнской плате устройств ввода/вывода, а также портов ввода/вывода и каналов прямого доступа в память. Гипервизор обеспечивает разграничение доступа к внешним носителям, включая запрет на их использование, а также централизованный учет подключаемых съемных носителей.

    Возможности ПО управления СХД

    Прилагаемый файл содержит описание и возможности ПО управления дисковыми массивами каждого из производителей: Рэйдикс, НПО Баум и Аэродиск.

    • Героем этого обзора будет скромная система хранения данных DotHill 4824. Наверняка многие из вас слышали, что DotHill в качестве OEM-партнёра производит СХД начального уровня для Hewlett-Packard - те самые популярные HP MSA (Modular Storage Array), существующие уже в четвёртом поколении. Линейка DotHill 4004 соответствует HP MSA2040 с небольшими различиями, которые будут подробно описаны ниже.

    DotHill - это классическая СХД начального уровня. Форм-фактор, 2U, два варианта под разные диски и с большим многообразием хостовых интерфейсов. Зеркалируемый кэш, два контроллера, ассиметричный active-active с ALUA. В прошлом году добавился новый функционал: дисковые пулы с трёхуровневым tiering"ом (ярусным хранением данных) и SSD-кэшом.

    Характеристики

    • Форм-фактор: 2U 24x 2,5" или 12x 3,5"
    • Интерфейсы (на контроллер): 4524C/4534C - 4x SAS3 SFF-8644, 4824C/4834C - 4x FC 8Гбит/с / 4x FC 16Гбит/с / 4x iSCSI 10Гбит/с SFP+ (в зависимости от используемых трансиверов)
    • Масштабирование: 192 диска 2,5" или 96 дисков 3,5", поддерживается до 7-ми дополнительных дисковых полок
    • Поддержка RAID: 0, 1, 3, 5, 6, 10, 50
    • Кэш (на контроллер): 4ГБ c флеш-защитой
    • Функционал: cнапшоты, клонирование томов, асинхронная репликация (кроме SAS), thin provisioning, SSD-кэш, 3-уровневый tiering (SSD, 10/15k HDD, 7.2k HDD)
    • Конфигурационные пределы: 32 массива (vDisk), до 256 томов на массив, 1024 тома на систему
    • Управление: CLI, Web-интерфейс, поддержка SMI-S

    Дисковые пулы в DotHill

    Для тех, кто не знаком с теорией, стоит рассказать о принципах работы дисковых пулов и ярусного хранения. Точнее, о конкретной реализации в СХД DotHill.

    До появления пулов у нас было два ограничения:

    • Максимальный размер дисковой группы. RAID-10, 5 и 6 могут иметь максимум 16 дисков. RAID-50 - до 32-х дисков. Если нужен том с большим количеством шпинделей (ради производительности и/или объёма), то приходилось объединять LUN"ы на стороне хоста.
    • Неоптимальное использование быстрых дисков. Можно насоздавать большое количество дисковых групп под несколько профилей нагрузки, но при большом числе хостов и сервисов на них постоянно следить за производительностью, объёмом и периодически вносить изменения становится тяжело.

    Дисковый пул в СХД DotHill - совокупность нескольких дисковых групп с распределением нагрузки между ними. С точки зрения производительность можно рассматривать пул в качестве RAID-0 из нескольких подмассивов, т.е. мы уже решаем проблему коротких дисковых групп. Всего на СХД поддерживается только два дисковых пула, A и B, по одному на контроллер), в каждом пуле может быть до 16-ти дисковых групп. Главное архитектурное отличие - максимальное использование свободного размещения страйпов по дискам. На этой особенности основаны несколько технологий и особенностей:

    Отличия от HP MSA2040

    Производительность

    Конфигурация СХД
    • DotHill 4824 (2U, 24x2.5")
    • Версия прошивки: GL200R007 (последняя на момент тестирования)
    • Активированная лицензия RealTier 2.0
    • Два контроллера с CNC портами (FC/10GbE), 4 трансивера 8Гбит FC (установлены в первый контроллер)
    • 20x 146ГБ 15 тыс. об/мин SAS HDD (Seagate ST9146852SS)
    • 4x 400ГБ SSD (HGST HUSML4040ASS600)

    Конфигурация хоста

    • Платформа Supermicro 1027R-WC1R
    • 2x Intel Xeon E5-2620v2
    • 8x 8ГБ DDR3 1600МГц ECC RDIMM
    • 480ГБ SSD Kingston E50
    • 2x Qlogic QLE2562 (2-портовый 8Гбит FC HBA)
    • CentOS 7, fio 2.1.14
    Подключение производилось через один контроллер, прямое, через 4 порта 8Гбит FC. Естественно, маппинг томов к хосту был через 4 порта, а на хосте настроен multipath.

    Пул с tier-1 и кэшом на SSD

    Данный тест представляет собой трёхчасовую (180 циклов по 60 секунд) нагрузку со случайным доступом блоками 8КиБ (8 потоков с глубиной очереди 16 каждый) с различным соотношением чтение/запись. Вся нагрузка сосредоточена на области 0-20ГБ, которая гарантированно меньше объема performance tier"а или кэша на SSD (800ГБ) - это сделано с целью быстрого наполнения кэша или яруса за приемлемое время.

    Перед каждым запуском теста том создавался заново (для очистки SSD-tier"а или SSD-кэша), наполнялся случайными данными (последовательная запись блоками 1МиБ), на томе оключалось упреждающее чтение. Значения IOPS, средней и максимальной задержки определялись в пределах каждого 60-секундного цикла.

    Тесты со 100% чтением и 65/35 чтение+запись проводились как с SSD-tier"ом (в пул добавлялась дисковая группа из 4x400ГБ SSD в RAID-10), так и с SSD-кэшом (2x400ГБ SSD в RAID-0, СХД не позволяет добавить больше двух SSD в кэш для каждого пула). Том создавался на пуле из двух дисковых групп RAID-6 по 10 дисков 46ГБ 15 тыс. об/мин SAS (т.е. фактически это RAID-60 по схеме 2x10). Почему не 10 или 50? Чтобы намеренно осложнить для СХД случайную запись.

    IOPS

    Результаты получились вполне предсказуемыми. Как и утверждает вендор, преимущество SSD-кэша перед SSD-tier"ом заключается в более быстром наполнении кэша, т.е. СХД быстрее реагирует на появление «горячих» областей с интенсивной нагрузкой на случайный доступ: на 100% чтении IOPS"ы растут вместе падением задержки быстрее, чем в случае использования tier"инга.

    Это преимущество заканчивается как только добавляется значительная нагрузка на запись. RAID-60, мягко говоря, не очень подходит для случайной записи небольшими блоками, но такая конфигурация была выбрана специально чтобы показать суть проблемы: СХД не справляется с записью, т.к. она идёт в обход кэша на медленный RAID-60, очередь быстро забивается, времени на обслуживание запросов на чтение остаётся мало даже с учётом кэширования. Какие-то блоки туда всё-же попадают, но быстро становятся невалидными, ведь идёт запись. Этот замкнутый круг приводит к тому, что при таком профиле нагрузки кэш, работающий только на чтение, становится неэффективным. Точно такую же ситуацию можно было наблюда с ранними вариантами SSD-кэша (до появления Write-Back) в PCI-E RAID-контроллерах LSI и Adaptec. Решение - используйте изначально более производительный том, т.е. RAID-10 вместо 5/6/50/60 и/или SSD-tier"инг вместо кэша.

    Средняя задержка


    Максимальная задержка

    В данном графике используется логарифмическая шкала. В случае 100% и использования SSD-кэша можно увидеть более стабильное значение задержки - после наполнения кэша пиковые значения не превышают 20мс.


    Какой же можно подвести итог в дилемме «кэширование против ярусного хранения (tiering"а)»?
    Что выбрать?
    • Наполнение кэша происходит быстрее. Если ваша нагрузка состоит из преимущественного случайного чтения и при этом область «горячих» периодически меняется, то стоит выбрать кэш.
    • Экономия «быстрого» объёма. Если «горячие» данные умещаются целиком в кэш, но не в SSD-tier, то кэш, возможно, будет более эффективным. SSD-кэш в DotHill 4004 работает только на чтение, так что под него создаётся дисковая группа RAID-0. Например, имея 4 SSD по 400ГБ вы можете получить по 800ГБ кэша для каждого из двух пулов (1600ГБ всего) или в 2 раза меньше при использовании tiering"а (800ГБ для одного пула или по 400ГБ для двух). Конечно, есть ещё вариант 1200ГБ в RAID-5 для одного пула, если на втором не нужны SSD.

      С другой стороны, общий полезный объём пула при использовании tiering"а будет больше за счет хранения только одной копии блоков.

    • Кэш не влияет на производительность при последовательном доступе. При кэшировании не происходит перемещения блоков, только копирование. При подходящем профиле нагрузки (случайное чтение небольшими блоками с повторым обращением к одним и тем же LBA) СХД выдаёт данные из SSD-кэша, если они там есть, или с HDD и копирует их в кэш. При появлении нагрузки с последовательным доступом данные будут прочитаны с HDD. Пример: пул из 20-ти 10 или 15k HDD может дать порядка 2000МБ/с при последовательном чтении, но если нужные данные окажутся на дисковой группе из пары SSD, то мы получим около 800МБ/с. Критично это или нет - зависит от реального сценария использования СХД.

    4x SSD 400ГБ HGST HUSML4040ASS600 RAID-10

    Тестировался том на линейной дисковой группе - RAID-10 из четырёх SSD 400ГБ. В данной поставке DotHill в качестве абстрактных «400GB SFF SAS SSD» оказались HGST HUSML4040ASS600. Это SSD серии Ultrastar SSD400M с достаточно высокой заявленной производительностью (56000/24000 IOPS на чтение/запись 4КиБ), а главное - ресурс в 10 перезаписей в день на 5 лет. Конечно, сейчас в арсенале HGST есть более производительные SSD800MM и SSD1600MM, но для DotHill 4004 вполне хватает и этих.

    Использовались тесты, предназначенные для одиночных SSD - «IOPS Test» и «Latency Test» из спецификации SNIA Solid State Storage Performance Test Specification Enterprise v1.1:

    • IOPS Test . Измеряется количество IOPS"ов (операций ввода-вывода в секунду) для блоков различного размера (1024КиБ, 128КиБ, 64КиБ, 32КиБ, 16КиБ, 8КиБ, 4КиБ) и случайного доступа с различным соотношением чтение/запись (100/0, 95/5, 65/35, 50/50, 35/65, 5/95, 0/100). Использовалось 8 потоков с глубиной очереди 16.
    • Latency Test . Измеряется значение средней и максимальной задержки для различных размеров блока (8КиБ, 4КиБ) и соотношений чтение/запись (100/0, 65/35, 0/100) при минимальной глубине очереди (1 поток с QD=1).
    Тест состоит из серии замеров - 25 раундов по 60 секунд. Предварительная нагрузка - последовательная запись блоками 128КиБ до достижения 2-кратной емкости. Окно установившегося состояния (4 раунда) проверяется построением графика. Критерии установившегося состояния: линейная аппроксимация в пределах окна не должна выходить за границы 90%/110% среднего значения.

    SNIA PTS: IOPS test



    Как и ожидалось, был достигнут заявленный предел производительности одного контроллера по IOPS с малыми блоками. Почему-то DotHill указывает 100000 IOPS на чтение, а HP для MSA2040 - более реалистичные 80000 IOPS (получается по 40 тыс. на контроллер), что мы и видим на графике.

    Для проверки проводился тест одиночного SSD HGST HGST HUSML4040ASS600 с подключением к SAS HBA. На блоке 4КиБ было получено около 50 тыс. IOPS на чтение и запись, при насыщении (SNIA PTS Write Saturation Test) запись опускалась до 25-26 тыс. IOPS, что соответствует характеристикам, заявленным HGST.

    SNIA PTS: Latency Test

    Средняя задержка (мс):


    Максимальная задержка (мс):


    Средние и пиковые значения задержки всего на 20-30% превышают таковые для одиночного SSD при подключении к SAS HBA.

    Заключение

    Конечно, статья получилась несколько сумбурной и на несколько важных вопросов ответа не даёт:
    • Сравнение в аналогичной конфигурации с продуктами других вендоров: IBM v3700, Dell PV MD3 (и другие потомки LSI CTS2600), Infrotrend ESDS 3000 и др. СХД к нам попадают в разных конфигурациях и, как правило, не надолго - нужно скорее грузить и/или внедрять.
    • Не тестировался предел СХД по пропускной способности. Порядка 2100МиБ/с (RAID-50 из 20-ти дисков) увидеть удалось, но подробно я последовательную нагрузку не тестировал из-за недостаточного количества дисков. Уверен, что заявленные 3200/2650 МБ/с на чтение/запись получить бы удалось.
    • Нет полезного во многих случаях графика IOPS vs latency, где при варьировании глубины очереди можно увидеть, сколько IOPS можно получить при приемлемом значении задержки. Увы, не хватило времени.
    • Best Practices. Не хотелось изобретать велосипед, так как есть
    • Dell EMC Storage серии SC – автоматизированные решения с современной инфраструктурой, построенные с применением гибридных накопителей, а также высокотехнологичных Flash-массивов.
    • Dell EMC Equallogic серии PS – оптимальные устройства для корпоративной информационной среды, обеспечивающие эффективную реализацию повседневных информационных задач.
    • Dell POWERVAULT серии MD – масштабируемые недорогие системы, поддерживающие консолидацию больших объемов данных и упрощающих их управление.
    • EMC VNXE Series – унифицированные хранилища для решения информационных задач, характерных для представителей малого бизнеса.

    СХД начального уровня

    Системы хранения данных начального уровня Dell EMC представляют собой высокопроизводительные платформы для представителей малого бизнеса, а также крупных компаний, которые отличаются наличием разветвленной филиальной инфраструктуры. Оборудование этого класса отличается широкими возможностями масштабирования, благодаря которым можно задействовать потенциал от 6-ти до 150-ти накопителей, получая максимальный объем для хранения данных в размере 450 ТБ. СХД Dell EMC оптимально подойдут предприятиям с развитой инфраструктурой физических серверных систем, а также для тех, кто практикует использование виртуализированных серверных систем. Практическое использование хранилищ Dell EMC позволит консолидировать большие объемы информации, а также повысить эффективность их обработки. С помощью этих устройств можно будет развернуть многофункциональные СХД на основе IP-сетей, поддерживающих протоколы файлового и блочного доступа соответственно NAS и iSCSI.

    СХД среднего уровня

    Системы хранения данных среднего уровня Dell EMC относятся к многофункциональным платформам, позволяющим обеспечивать консолидацию блочных хранилищ, файловых серверных систем и СХД с прямым подключением. Использование этого оборудования обеспечит возможность компаниям динамически наращивать файловые системы и блочные ресурсы с параллельной поддержкой нескольких протоколов – NFS и CIFS. Кроме этого, хранилища СХД могут обеспечивать доступ к информации с использованием таких протоколов, как Fibre Channel, iSCSI и FCoE. Это будет способствовать поддержке блочных приложений, которые требуют широкую полосу пропускания и минимальное время задержки.

    Infortrend ESDS 1000 серии

    Обзор Infortrend ESDS 1000

    Системы хранения EonStor DS 1000 обеспечивают превосходное соотношение цена/производительность. Для пользователей малого средн...

    СХД Infortrend ESDS 1000 серии

    Infortrend ESDS серии 1000 - доступное хранилище с встроенными iSCSI и опциональными интерфейсами FC / SAS повышенной производительности и масштабируемости.

    Обзор Infortrend ESDS 1000

    Системы хранения EonStor DS 1000 обеспечивают превосходное соотношение цена/производительность. Для пользователей малого среднего бизнеса (SMB) предоставляется решение начального уровня. Модели доступны для разного количества накопителей HDD в различных форм-факторах: 12-местный 2U, 16-местный 3U и 24-местный 2U под 2,5" накопители. Все они включают по несколько портов iSCSI 1 Гбит / с для подключения к сети - архитектура, созданная с учетом приложений видеонаблюдения, которые нуждаются в быстром соединении с несколькими клиентами. К корпусам расширения могут подключаться до 444 приводов. При поддержке привода 10TB это означает, что доступная емкость может достигать 4PB.

    Состав серии EonStor DS 1000

    Модели для 2,5" HDD

    DS 1024B - 2U, 24 накопителя 2,5" с интерфейсом SAS или SATA

    DS 1036B - 3U, 36 накопителей 2,5" с интерфейсом SAS или SATA

    Модели для 3,5" HDD

    DS 1012 - 2U, 12 накопителей 3,5" с интерфейсом SAS или SATA

    DS 1016 - 3U, 16 накопителей 3,5" с интерфейсом SAS или SATA

    DS 1024 - 4U, 24 накопителя 3,5" с интерфейсом SAS или SATA

    Производительность

    • EonStor DS 1000 обеспечивает до 550K IOPS (операции с кеш) и 120K IOPS (весь тракт, с учетом дисков) для ускорения всех операций, связанных с хранением .
    • Пропускная способность достигает 5 500 МБ / с на чтение и 1,900 МБ / с. на запись, что позволяет с легкостью обрабатывать даже интенсивную рабочую нагрузку с высокой эффективностью.

    Работа с SSD кэш

    (опционально, докупается лицензия)

    • Повышенная производительность чтения для горячих данных
    • До четырех SSD на контроллер
    • Большая емкость пула накопителей SSD: до 3,2 ТБ

    Рис. 1 Рост количества IOPS при насыщении SSD кэш горячими данными

    Комбинированные варианты хост-интерфейсов

    • Все системы оснащены четырьмя портами iSCSI 1 Гбит / с для обеспечения более чем достаточного подключения к клиентам, серверам и другим массивам хранения .
    • Опционально добавляется модуль хост-интерфейса с 8 Гбит / с или 16 Гбит / с Fibre Channel, iSCSI 10 Гбит / с или 40 Гбит / с iSCSI, 10 Гбит / с FCoE или 12 Гбит / с SAS, чтобы работать параллельно с установленными по умолчанию портами iSCSI 1 Гбит / с .
    • Опционально добавляется к онвергентная хост-плата с 4 вариантами подключения на выбор (16 Гбит / с FC, 8 Гбит / с FC и 10 Гбит / с iSCSI SFP +, 10 Гбит / с FCoE)

    Различные варианты сохранения кэш

    "Вечные", не требующие обслуживания и замен суперконденсаторы и флэш-модуль обеспечивают безопасный и надежный источник питания для сохранения состояния кэширующей памяти, если основной источник питания поврежден

    Батарейный резервный блок (BBU) с возможностью горячей замены (резервный аккумулятор) с флэш-модулем хранит данные, если система внезапно отключится или произойдет перебой в электропитании .

    Вы можете выбрать BBU или суперконденсаторы в соответствии с вашими потребностями и бюджетом

    Опционально доступные и включенные расширенные функции:

    Локальная репликация Local Replication

    (Стандартная лицензия включена по умолчанию, а расширенная - опциональная лицензия)

    Моментальные снимки (Snapshot)

    Стандартная лицензия Расширенная лицензия
    Снимков на исходный том 64 256
    Снимков в системе 128 4096

    Копия тома / зеркало (Volume Copy/Mirror)

    Стандартная лицензия Расширенная лицензия
    Исходные тома в системе 16 32
    Пары репликации на исходный том 4 8
    Пары репликации на систему 64 256

    Тонкая настройка (включено по умолчанию)

    Распределение мощностей «точно в срок» оптимизирует использование хранилища и устраняет выделенные, но неиспользуемые пространства для хранения .

    Удаленная репликация (дополнительная лицензия)

    Репликация на один том: 16
    Пары репликации на каждый том источника: 4
    Партии репликации на систему: 64

    Автоматизированная многоуровневая система хранения данных (дополнительная лицензия)

    Два или четыре уровня хранения на основе типов дисков

    Поддержка SSD

    Автоматическая миграция данных с параметрами планирования

    SSD кэширование (дополнительная лицензия)

    Ускорение доступа к данным в средах с интенсивным чтением, таких как OLTP

    Поддерживается до 4шт SSD на каждый контроллер

    Рекомендуемая емкость DIMM на контроллер для SSD-кэша:

    DRAM: 2GB Макс. SSD Cache Pool Размер: 150 ГБ

    DRAM: 4 ГБ Макс. Размер кеша SSD: 400 ГБ

    DRAM: 8 ГБ Макс. SSD Cache Pool Размер: 800 ГБ

    DRAM: 16 ГБ Макс. Размер кеша SSD: 1,600 ГБ

    Не подходит по параметрам СХД Infortrend DS серии 1000? Рассмотрите хранилище другой серии или линии, перейдите в раздел: