Arenadata Hadoop (ADH)

ARENADATA

Arenadata Hadoop (ADH) — это интегрированный набор компонентов корпоративного уровня на базе решений с открытым исходным кодом. Платформа включает в себя все необходимые компоненты для работы с данными: управление, доступ, анализ, интеграция, безопасность и администрирование. Основная идея дистрибутива заключается в обеспечении возможности работы с любыми типами и форматами данных путем комбинированного использования различных технологических решений и архитектур обработки данных.

В 2016 году дистрибутив Arenadata Hadoop 1.3.2 прошел сертификацию и получил подтверждение о полном соответствии стандартам Open Data Platform Initiative (ODPi) — крупнейшего мирового сообщества разработчиков проектов хранения больших данных с открытым кодом под эгидой Linux Foundation.

В отличие от других корпоративных дистрибутивов, представленных на рынке, Arenadata Hadoop обладает рядом особенностей:

• вся поддержка доступна в России и на русском языке;
• есть пакет утилит для полной офлайн-установки (без доступа к сети интернет);
• вся сборка выполнена на базе открытых проектов Apache, нет проприетарных компонентов;
• российское программное обеспечение;
• поддержка доступна как удаленно, так и on-site;
• есть набор доступных типовых пакетных сервисов по планированию, установке и аудиту системы.

Arenadata Hadoop обеспечивает полный набор возможностей и инструментов для автоматического развертывания компонентов как на ≪голом железе≫, так и на виртуальных машинах (в облаке). Средства мониторинга и управления конфигурацией кластера позволяют оптимизировать производительность для всех компонентов системы. Оригинальная документация на русском языке позволяет облегчить процесс планирования и разворачивания кластера Hadoop. Инструкция может быть полезна администраторам, программистам, разработчикам и сотрудникам подразделений информационных технологий, осуществляющих внедрение и сопровождение кластеров Arenadata.

Архитектура системы

Базовая архитектура системы аналогична Apache Hadoop, и подробнее описана в соответствующем разделе. (Основа — Hadoop Common, HDFS, YARN; экосистема включает в себя более десятка подпродуктов. Фундаментом является распределенная файловая система HDFS, ключевой функционал СУБД обеспечивается HBase).

Экосистема Аренадаты:

Технические возможности системы

Технические возможности соответствуют стандартному функционалу Apache Hadop (см. соответствующий раздел — JOIN HIVE, MERGE и UPDATE для ACID-таблиц; операторы над множествами; оконные функции; индексация отсутствует; конфигурация оптимизатора; промежуточные результаты агрегации; кастомные параметры на кластере; отказоустойчивость средствами СУБД; Zeppelin для DDL и запросов в графическом интерфейсе).

Дополнительно введена следующая возможность:

Для администратора СУБД:

настройки осуществляются из единой точки Arenadata Cluster Manager:

Скриншот Arenadata Cluster Manager