На связи технический директор компании «Белый код». Цель — сделать обзоры на шины данных из реестра отечественного ПО. Сегодня в обзоре продукт «Атом.Мост». С 2024 года встречается с вендорами и делает обзоры продуктов, которые относятся к классу ESB (корпоративная шина данных). За это время удалось пообщаться с разработчиками 15 разных решений. Для всех, кто интересуется шинами данных, также создано сообщество в Телеграме «Шины не для машины». Это площадка для диалога между российскими разработчиками ESB и компаниями, которым нужна интеграционная шина. Ссылка на продукт
О компании:
«Гринатом» – ИТ-интегратор Госкорпорации «Росатом». Компания ведет собственную разработку ПО, осуществляет поддержку и развитие корпоративных ИТ-систем, разрабатывает программных роботов, занимается проектным управлением, импортозамещением, применяет искусственный интеллект и машинное обучение. В 2010 году ознаменовалось началом внедрения интеграционной шины в корпоративной архитектуре. Компания, в рамках стратегии импортозамещения, инициировала анализ рынка для поиска аналогов SAP PI/PO. Так было установлено, что существующие решения не соответствуют требованиям компании, и появилась задача по разработке собственного продукта. 2020 год начался с запуска проекта по созданию «Атом.Мост». Через два года началась миграция с устаревшей интеграционной шины на новую систему, построенную на базе «Атом.Мост». Этот этап стал важным в развитии корпоративной архитектуры. Еще через год была успешно развёрнута импортонезависимая интеграционная шина в общем ландшафте архитектуры госкорпорации, и продукт «Атом.Мост» вышел на рынок. За период с 2010 по 2023 год корпорация прошла путь от внедрения первой интеграционной шины до создания и вывода на рынок собственного импортонезависимого продукта, отвечающего требованиям современной информационной инфраструктуры.Технологический стек
В основе «Атом.Мост» находится широко известный ETL-инструмент с открытым исходным кодом —Apache NiFi.
Функциональные возможности
Несмотря на то что Apache NiFi разрабатывался как ETL-инструмент, с функциями шины он вполне справляется. В терминологии NiFi обрабатываемое сообщение называетсяflowfile. Кроме самого содержимого сообщения, у него есть набор атрибутов, в которых содержится сопутствующая информация. Практически вся настройка интеграционного решения сводится настройке последовательности процессоров. Интерфейс выглядит как полотно, на котором последовательно соединяются процессоры обработки. Роутинг сообщений (маршрутизация по условию) делается также при помощи процессоров роутинга и может выполняться как по содержимому самого сообщения, так и по его атрибутам. Преобразования сообщений выполняются с помощью процессоров, поддерживающих XSLT, JOLT и другие варианты конвертации. Если по каким-то причинам не удалось создать требуемую конвертацию при помощи процессора или в конвертации требуется какая-то сложная логика, можно написать свой код на одном из доступных языков программирования: Clojure, ECMAScript, Groovy, Lua, Python, Ruby. Для проверки формата сообщения есть процессоры валидации XML, JSON, CSV, поддерживаются avro-схемы и т. д. В сложных случаях можно написать свой валидатор на одном из языков программирования, которые поддерживает «Атом.Мост».
Дополнительно в рамках разработки «Атом.Мост»:
- доработана отказоустойчивость в части корректности работы функции, возвращающей обрабатываемое сообщение в очередь в случае потери ноды в момент обработки сообщения процессором;
- разработаны новые и доработаны существующие процессоры:
AFAssignSequence— выстраивает последовательность отправки сообщений по очереди;AFValidateSequence— валидирует, что последовательность из файлов в очереди выстроена верно;AFAuthorizer— реализует аутентификацию по логину и паролю для информационных систем;AFFetchFTP— исправление ошибки с кодировкой;AFGetFTP— исправление ошибки с кодировкой;AFPutFTP— исправление ошибки с кодировкой;AFHandlerHttpRequest— исправлено множество ошибок, добавлена работа с multipart-сообщениями, добавлен debug-режим, позволяющий получить входящий трафик в исходном виде;AFInvokeHTTP— NTLM-аутентификация, исправлено множество ошибок, оптимизирована логика работы процессора, улучшена работа с переотправкой сбойных файлов;AFInvokeHTTPGost— поддержка подписания трафика гостовым сертификатом;AFJoltTransformJSON— портирован процессор из более свежей версии NiFi;AFMergeContent— исправление ошибок, корректировка логики при работе с атрибутами;AFSapPiPackager— поддержка протокола SAP X;AFSoapEnveloper— добавление soap-оболочки для сообщения;AFSoapRequestBuilder— работа с вложениями;AFSoapRequestParser— разбор soap-сообщения;AFValidateXML— исправлены ошибки, доработано хранение схем прямо в процессоре;AFTransformXML— исправлены ошибки процессора;AFTransformXPathXML— упрощенный метод преобразования xml через xpath.
Масштабирование и отказоустойчивость
Гибкое масштабирование под текущие потребности: легко нарастить ресурсы, легко отключить лишние. Работа в режиме кластера — устойчивость к потере узлов.Мониторинг и траблшутинг
В процессе создания интеграционной платформы «Атом.Мост» разработчики уделили особое внимание построению эффективной системы мониторинга. На начальном этапе было важно обеспечить базовый функционал отслеживания работы системы. Специалисты реализовали механизмы, позволяющие детально следить за нагрузкой на потоки и контролировать путь каждого сообщения. Особое внимание уделили системе логирования, разместив хранилище данных на надёжной файловой основе. Следующим важным шагом стало внедрение комплексного подхода к мониторингу. Разработчики интегрировали передовые open-source решения, среди которых особое место занялGrayLog.
Этот компонент значительно расширил возможности системы, добавив:
- углублённый анализ производительности,
- инструменты для оперативного выявления проблем,
- механизмы предиктивной аналитики,
- системы автоматического реагирования на инциденты.
Сегодня система мониторинга «Атом.Мост» представляет собой целостное решение, которое не только отслеживает работу платформы, но и обеспечивает её бесперебойное функционирование. Благодаря продуманной архитектуре и интеграции дополнительных компонентов, пользователи получают полный контроль над всеми процессами в реальном времени.
Решения «Атом.Мост» успешно применяются в различных отраслях для крупных корпоративных клиентов. Особое внимание уделяется проектам, где требуется соответствие строгим стандартам безопасности, включая наличие сертификата ФСТЭК.
Компания имеет стратегическое партнёрство с Axoft, что упрощает процесс внедрения решений в информационные системы заказчиков и позволяет сократить сроки реализации проектов.
Команда активно работает над расширением географии присутствия продукта и его адаптацией под потребности различных отраслей. Примером может служить госкорпорация «Росатом», где более 9 тысяч интеграционных процессов переведено с SAP PI на «Атом.Мост». Для безболезненного перехода «Атом.Мост» может имитировать работу SAP PI для SAP ERP, что позволяет постепенно, процесс за процессом, переводить интеграцию на новый продукт.
Пользовательское ПО является веб-клиентом и поддерживает работу в следующих средах:
- операционные системы семейства Microsoft Windows, Linux (Unix), MacOS и др., поддерживающие работу веб-браузеров;
- веб-браузер Mozilla Firefox версии не ниже 70.0, или Google Chrome версии не ниже 50.0, или Safari.
Серверная часть может исполняться в следующих ОС:
- ОС СН Astra Linux Special Edition версии 1.6 «Смоленск»;
- CentOS версии 8.3;
- РЕД ОС версии 7.2 «Муром».
Лицензии на продукт построены на принципе лицензирования вычислительных ядер, задействованных в обработке интеграционных процессов. Базовые требования к инфраструктуре предусматривают развёртывание системы на трёх серверах, каждый из которых должен быть оснащён минимум четырьмя вычислительными ядрами. Для проектов с невысокой нагрузкой предусмотрена возможность оптимизации затрат: допускается использование двух ядер на сервер, что позволяет сократить расходы на лицензирование вдвое без потери функциональности системы.
Триал-версия выдается в рамках пресейла. Лицензируется только сервера продуктивного контура, все тестовые среды работают бесплатно. Открытую документацию можно найти на сайте.
Обучение специалистов проводится с помощью менторов и длится несколько месяцев, подходя даже для начинающих. Дополнительную информацию по обучению можно получить по почте: atom.bridge@greenatom.ru.
Компания активно развивает партнерскую программу и обучает партнеров. Информационное сопровождение включает упоминание в СМИ, рейтингах и наличие комьюнити. «Атом.Мост» обратно совместим с ванильной версией Apache NiFi, что позволяет находить ответы на вопросы в свободном комьюнити NIFI.
Достоинства продукта «Атом.Мост» включают комплексную поддержку и безопасность, инструменты миграции, сертифицированное решение, интеграцию с государственными системами, совместимость с корпоративными решениями и импортонезависимость. Ограничения включают отсутствие передачи исправлений и доработок в сообщество и отсутствие готовых инструментов мониторинга внутри системы.
Статья отражает субъективную точку зрения, у которой нет цели нанести ущерб деловой репутации создателей продукта. За последние 1,5 года было проведено изучение 20 ESB-решений, собран обзор, который будет обновляться. В документе представлены разные корпоративные шины данных и интеграционные платформы, что позволяет найти оптимальное решение для задач бизнеса. Скачать обзор российских ESB-платформ.
Также существует сообщество в Телеграме «Шины не для машины», где обсуждаются насущные вопросы рынка. Среди подписчиков много вендоров, готовых ответить на вопросы по продуктам.