ANG {Argument Next Gen} - это модульная платформа, разработанная для управления большими данными с использованием открытого программного обеспечения. Она может быть развернута как в облаке, так и on-premise, предоставляя возможность построения Data Lake, Data Mesh и Lakehouse.
Основные технологии Организация потоковой передачи данных и интеграция: Kafka, NiFi, Flink. Хранение данных: Iceberg, S3 MINIO. Горячий слой данных: ClickHouse. Управление ресурсами: Kubernetes. Веб-сервер и балансировщик нагрузки: NGINX.
Управление и мониторинг Административная панель: Argument обеспечивает управление всеми компонентами платформы. Мониторинг: Prometheus и Grafana.
Обработка данных ETL-процессы выполняются с помощью Spark, Trino и Impala для выполнения распределённых вычислений, построения витрин данных и моделей.
Работа с данными Визуализация и взаимодействие: Pix Bi Управление доступом: Ranger и OpenSearch.
Наша команда залезла в код каждого компонента, сделав их отказоусточивыми, безопасными, русскоязычными