ANG - Модульная платформа для управления большими данными (Big Data)

ANG {Argument Next Gen} - это модульная платформа, разработанная для управления большими данными с использованием открытого программного обеспечения. Она может быть развернута как в облаке, так и on-premise, предоставляя возможность построения Data Lake, Data Mesh и Lakehouse.

Основные технологии  Организация потоковой передачи данных и интеграция: Kafka, NiFi, Flink. Хранение данных: Iceberg, S3 MINIO. Горячий слой данных: ClickHouse. Управление ресурсами: Kubernetes. Веб-сервер и балансировщик нагрузки: NGINX.

Управление и мониторинг  Административная панель: Argument обеспечивает управление всеми компонентами платформы. Мониторинг: Prometheus и Grafana.

Обработка данных  ETL-процессы выполняются с помощью Spark, Trino и Impala для выполнения распределённых вычислений, построения витрин данных и моделей.

Работа с данными  Визуализация и взаимодействие: Pix Bi Управление доступом: Ranger и OpenSearch.