RedMule

Платформа RedMule — высоконагруженная с максимальной производительностью программный сервис, может быть неограниченно масштабирован, а также развёрнут, как в инфраструктуре заказчика, так и в облаке, который позволяет организовать централизованное взаимодействие различных информационных систем и сервисов с гарантированным быстрым транспортом больших массивов данных, предоставляя возможность координации и мониторинга информационных потоков, а также поиск и устранение неисправностей транспорта данных. Работает из коробки, а за счёт микросервисной структуры, легко соединяет любые системы, приложения и устройства — от ERP и бухгалтерии до веб-сервисов, сенсоров и почтовых шлюзов.

Ключевые модули и возможности

1. Работа с очередями и сообщениями. Отправка и приём сообщений через коннекторы для протоколов JMS, AMQP, MQTT;

2. Настройки доставки сообщений. Платформа позволяет установить необходимые таймауты, задержки, кол-во повторов запроса для отправки:

  • Fire-and-forget механизм отправки сообщений без ожидания подтверждения от получателя (fire-and-forget).

3. Гарантии доставки сообщений

  • At-most-once без повторов, возможна потеря;
  • At-least-once возможны повторы, но сообщения точно будут доставлены;
  • Exactly-once гарантированная доставка без повторов.
  • платформа поддерживает механизмы ack/nack и использование dead letter queue для сообщений, не доставленных после нескольких попыток.
  • Архитектура point-to-point (Р2Р) обмен сообщениями по модели прямой адресации.
  • Publish/subscribe с возможностью подключения к внешним брокерам (динамическая подписка и отписка).
  • Сквозная трассировка (end-to-end tracing) сообщений на всём пути прохождения от источника до получателя, включая промежуточные компоненты и интеграционные узлы.
  • Фильтрация сообщений. Поддерживается фильтрация входящих (в RedMule) и исходящих (из RedMule) сообщений по данным (ключи, значения, заголовки, и т. д.)
  • Correlation ID и propagation
  • Маршрутизация сообщений (по содержимому и заголовкам сообщений; по настраиваемым бизнес-правилам; через внешние справочники и базы данных; с возможностью динамического определения маршрутов в реальном времени).
  • Поддержка групповых сообщений.

4. Обогащение (enrichment) данными (способы как merge, так и join).

5. Поддержка сообщений-массивов

6. Поддержка протоколов и интерфейсов.

  • Apache Kafk
  • SOAP
  • REST форматы JSON и HTTP-методы (GET, POST, PUT, DELETE и др.)
  • SMB
  • SMTP (в т.ч. шифрование TLS/SSL)
  • Интеграция по WebSocket
  • gRPC
  • MQTT
  • HTTP/HTTPS
  • JMS
  • ODATA
  • LDAP-каталоги
  • AMQP
  • С системами 1С:Предприятие

7. Адаптеры для СУБД

  • Oracle
  • Microsoft SQL Server (MSSQL)
  • MySQL MongoDB PostgreSQL

8. Валидация и трансформация данных

Конвертация и трансформация сообщений XML, CSV, JSON, IDOC. Для настройки трансформаций предусмотрены:

  • визуальные мапперы (drag-and-drop)
  • XSLT для XML-преобразований
  • скрипты на Groovy (расширения правил обмена) и JavaScript для обработки сообщений, в том числе ошибочных
  • установка флагов для чувствительных данных
  • поддержка сложных правил трансформации, включая обогащение данных (enrichment)
  • возможность конвертации кодировок
  • возможность фильтрации сообщений, в т. ч. используя сложную логику
  • Возможность автоматического определения схемы CSV, JSON, XML с использованием эвристик и шаблонов (Экспорт/импорт метаданных и lineage во внешние системы реализуется встроенными механизмами интеграции). 
9. Расширенные функции обработки
  • Поддержка работы с большими файлами (> 100 MB)

10. Поддержка транзакций

  • локальные (на уровне одного ресурса)
  • распределённые (XA)
  • двухфазные транзакции (2PC)
  • модели Saga, TCC и компенсационные транзакции.

11. Баланс доступности и устойчивости (CAP-теорема)

  • Паттерны распределённых транзакций и компенсационные механизмы (Saga, Orchestration, Choreography, Outbox, Message Replay и обеспечивает выполнение компенсационных шагов для отката действий при сбоях)

12. Идемпотентность и single delivery. Платформа обеспечивает:

  • поддержку идемпотентных вызовов (с помощью идентификаторов сообщений)
  • хранилище с обработанными сообщениями (deduplication store)
  • token-based delivery – право на обработку передается через токен
  • Single delivery через брокеры с ack — брокер сообщений подтверждает приём (ack), чтобы гарантировать, что сообщение доставлено и обработано только один раз.
13. Мониторинг процессов и интеграций. Платформа включает встроенные средства мониторинга:
  • отслеживание статуса сообщений и маршрутов,
  • визуализация графа интеграций,
  • настройка дашбордов и алертов,
  • интеграция с внешними системами мониторинга: Prometheus, Zabbix, Grafana и др.

14. Интеграция с SIEM и внешними системами. RedMule поддерживает передачу логов и событий в сторонние системы управления событиями безопасности и логами:

  • SIEM-системы (например, Splunk, Graylog),
  • лог-менеджмент (ELK, Fluentd),
  • системы мониторинга состояния (Zabbix, Prometheus и др.).

15. Интеграция с OpenTracing, OpenTelemetry, Jaeger. Для реализации распределённого трейсинга платформа поддерживает:

  • OpenTracing,
  • OpenTelemetry,
  • Jaeger, что позволяет отслеживать полные цепочки прохождения запросов между сервисами.

16. Настраиваемые уровни логирования

  • Поддерживается детальная настройка уровней логирования (ERROR, WARN, INFO, DEBUG, TRACE), с возможностью их изменения без перезапуска системы.

17. Детализация и маскирование данных. В системе предусмотрена возможность:

  • настройки уровня детализации логов,
  • маскирования чувствительной информации, включая персональные данные (PII), пароли, токены и другие защищённые элементы.

18. Хранение логов. Логи могут храниться:

  • локально на уровне узлов,
  • централизованно в БД или внешних хранилищах,
  • в облачных хранилищах, включая S3, MinIO и другие совместимые системы.
  • RedMule в полной мере может функционально заместить следующие известные интеграционные программные решения:
  • Dell Boomi
  • Informatica
  • MuleSoft Anypoint Platform
  • Oracle Data Integrator
  • SnapLogic Integration Platform
  • SAP PI
  • Fivetran
  • Talend
  • IBM WebSphere
  • Microsoft BizTalk

 

Архитектура решения

RedMule может быть полностью развёрнут в инфраструктуре заказчика, включая собственные дата-центры. Поддерживается как bare-metal установка, так и размещение в частных облаках.

RedMule может быть полностью развёрнут в облачной инфраструктуре, включая Яндекс Облако, VK Cloud, СберCloud, Mail.ru Cloud. Возможна реализация гибридных сценариев, при которых часть компонентов платформы размещается в облаке, а часть on-premises. Это позволяет гибко управлять безопасностью, задержками и доступностью ресурсов.

Вектор развития

  • развитие визуальных инструментов в продукте: схема данных, схема потоков в операциях, отчеты
  • усиление безопасности продукта и данных в целом, новые способы авторизации и аутентификации во внешних источниках конечных точек
  • расширение возможностей конфигурации потоков, добавление механизма балансировки round robin, цепочки правил обмена, конфигуратора подключения и механизмов подключения
  • расширение элементов мониторинга системы для вывода пользователю более подробной информации: пошаговая обработка сообщения (трассировка), добавление точки остановки в расширениях правил обмена и форматах данных.

Примеры интерфейса и скриншоты

 

1. Добавление ограничения широковещательной рассылки, позволило пользователю контролировать поведение доставки исходящих операций в конфигурации с большим количеством точек.

2. Добавление механизма доставки roundRobin, что позволяет пользователю контролировать нагрузку на каждую отдельную конечную точку.

3. Интеграция с LDAP и KeyCloak, позволяет использовать корпоративные аккаунты связанные с пользователями в нашем продукте для более глубокой интеграции с её механизмами.

4. Добавление механизма трассировки операций. Позволяет пользователю отслеживать прохождение операции через каждый этап обработки в RM и получать понимание как изменение одного шага повлияет на последующий.

 

 



Заказать отчет


Выберите отчет:*