Облако компании Iguazio может упростить работу с супермассивами данных

Израильская компания Iguazio представила новую платформу, которая призвана упростить процесс обработки и хранения больших объёмов данных. 

Идея такой платформы родилась из понимания того, что необходимость комплексной работы с большими объёмами данных – их обработка и хранение – обычно подразумевает сложность/многоуровневость процесса: использование различных облачных решений и сервисов (государственных и частных), хранилищ многокомпонентных данных, отбор/фильтрацию данных для их дальнейшей передачи в хранилища.

Процесс перехода между уровнями отнимает довольно много времени и сил. Кроме того, по сравнению с работой в приложениях с традиционными структурированными базами данных, он весьма неэффективен. В Iguazio уверены, что многоуровневая структура обработки больших объемов данных – вчерашний день. Современный подход подразумевает унифицированную модель данных, которая активируется при обработке сложных метаданных.

Эволюция сервисов хранения данных

 

Схема работы

Поскольку обработка метаданных осуществляется с помощью кластерных серверов, работающих по технологии DRAM и NVMe, на обработку больших массивов информации затрачивается меньше времени. К тому же этот процесс менее затратен, нежели хранение важной информации, скажем, на флеш-носителях или обычных жестких дисках. Применение технологии, предложенной специалистами Iguazio, поможет сократить расходы и обеспечит мобильность при работе с важными данными.

Разработчики уверены, что создали оптимальную систему компьютерной обработки информации, значительно повысив качество/точность обработки супермассивов данных в режиме реального времени. Наряду с этой технологией специалисты компании разработали файловую систему для работы с базой данных и создания запросов. База метаданных встроена в систему, что экономит время при работе с ней.

Унифицированная платформа для любых типов данных

Система, предложенная Iguazio, предоставляет возможность хранения различных типов данных наиболее эффективным способом, поскольку самостоятельно их определяет.

Платформа Iguazio работает с указателями меток, поэтому ей не нужно выделять целый объект для выдачи по нему запроса. В метке может быть указано, что сохраняемый объект является аудио- или видеофайлом, объектом, временным файлом и т.д. Если речь идет о видео – система может сохранять метаданные по хронометражу.

В Iguazio уверены, что их разработка – V310 – оптимальный массив хранения данных для облачных хранилищ. Массив работает под управлением разлоченной версии Linux. Её возможности позволяют легко сохранять данные в памяти системы.

Использование системы

Пользователям предлагается три контроллерных узла V310 с 24 ТБ флеш-памяти. В случае сбоя одного узла оставшиеся позволят продолжить работу.

Архитектура

В системе представлен ряд достаточно мощных серверов, работающих на API. Кроме того, доступны 10/40/100 GB выделенных переключателей и кластерных узлов с хранилищами.

Пользователям также доступны мощные дисковые накопители для хранения системных объектов (без RAID-массива), 72 дисковых накопителя, размер – 2.5, по 4 ТБ каждый. Общая вместимость накопителей – 1,150 ТБ. Iguazio использует одно из основных преимуществ API – возможность работать с несколькими дисковыми накопителями.

В массивах Iguazio используется технология RDMA/Ethernet, которая работает лишь при условии, что ЦОД клиента поддерживает RDMA.

Дисковые накопители без RAID-массива могут работать по стандарту NVMeF. Специалисты Iguazio предпочитают организовывать доступ к дисковым накопителям по ключевым значениям. При этом блокировка как таковая отсутствует. Для блокировки накопителей, работающих по стандарту NVMeF применяется уровень абстракции KVS (коэффициент пропускной способности). Для хранения данных также можно использовать внешние накопители S3, Kinetic или NFS, но скорость доступа к данным будет ниже. Для получения метаданных по объектам, соответствующим правилу срока эксплуатации данных, администраторы могут использовать SQL-запросы, затем делать бэкапы, сканировать или конвертировать объекты.

По заверениям представителей Iguazio, компания уже протестировала SSD-диски 3DXPoint и готова использовать их.

Iguazio считает приоритетной работу с большими массивами данных крупных компаний, но также заинтересована и в высокопроизводительных вычислениях (HPC). В компании уверены, что HPC – узкоспециализированное направление. Конечные пользователи – специалисты по обработке и анализу данных – могут напрямую использовать дисковый массив Iguazio для обработки данных.

Программная архитектура системы, разработанной Iguazio, имеет достаточно широкую область применения и даёт массу возможностей для специалистов. Компания приветствует любые предложения, направленные на улучшение продукта.

В Iguazio утверждают, что в ближайшие три года стоимость места в их облачном хранилище будет составлять лишь 0,03$ в месяц за гигабайт, что дешевле, чем в облаке Amazon и может дать 2 миллиона IOPS (операций ввода-вывода в секунду). Кроме того, специалисты компании создали веб-сервер на 500 тыс. IOPS и повысили скорость обработки SW-данных до 100 гигабайт в секунду.

Если вы заметили ошибку, выделите необходимый текст и нажмите Ctrl+Enter, чтобы сообщить об этом редакции    Система Orphus

RSS: Новые статьи на Anti-Malware.ru