Arenadata Hadoop (ADH)
ARENADATA
Arenadata Hadoop (ADH) — это интегрированный набор компонентов корпоративного уровня на базе решений с открытым исходным кодом. Платформа включает в себя все необходимые компоненты для работы с данными: управление, доступ, анализ, интеграция, безопасность и администрирование. Основная идея дистрибутива заключается в обеспечении возможности работы с любыми типами и форматами данных путем комбинированного использования различных технологических решений и архитектур обработки данных.
В 2016 году дистрибутив Arenadata Hadoop 1.3.2 прошел сертификацию и получил подтверждение о полном соответствии стандартам Open Data Platform Initiative (ODPi) — крупнейшего мирового сообщества разработчиков проектов хранения больших данных с открытым кодом под эгидой Linux Foundation.
В отличие от других корпоративных дистрибутивов, представленных на рынке, Arenadata Hadoop обладает рядом особенностей:
- • вся поддержка доступна в России и на русском языке;
- • есть пакет утилит для полной офлайн-установки (без доступа к сети интернет);
- • вся сборка выполнена на базе открытых проектов Apache, нет проприетарных компонентов;
- • российское программное обеспечение;
- • поддержка доступна как удаленно, так и on-site;
- • есть набор доступных типовых пакетных сервисов по планированию, установке и аудиту системы.
Arenadata Hadoop обеспечивает полный набор возможностей и инструментов для автоматического развертывания компонентов как на ≪голом железе≫, так и на виртуальных машинах (в облаке). Средства мониторинга и управления конфигурацией кластера позволяют оптимизировать производительность для всех компонентов системы. Оригинальная документация на русском языке позволяет облегчить процесс планирования и разворачивания кластера Hadoop. Инструкция может быть полезна администраторам, программистам, разработчикам и сотрудникам подразделений информационных технологий, осуществляющих внедрение и сопровождение кластеров Arenadata.
Архитектура системы
Базовая архитектура системы аналогична Apache Hadoop, и подробнее описана в соответствующем разделе. (Основа — Hadoop Common, HDFS, YARN; экосистема включает в себя более десятка подпродуктов. Фундаментом является распределенная файловая система HDFS, ключевой функционал СУБД обеспечивается HBase).
Экосистема Аренадаты:
Технические возможности системы
Технические возможности соответствуют стандартному функционалу Apache Hadop (см. соответствующий раздел — JOIN HIVE, MERGE и UPDATE для ACID-таблиц; операторы над множествами; оконные функции; индексация отсутствует; конфигурация оптимизатора; промежуточные результаты агрегации; кастомные параметры на кластере; отказоустойчивость средствами СУБД; Zeppelin для DDL и запросов в графическом интерфейсе).
Дополнительно введена следующая возможность:
Для администратора СУБД:
- настройки осуществляются из единой точки Arenadata Cluster Manager:
Скриншот Arenadata Cluster Manager
