OSS
/oss/en/beluga/architecture

Pipeline Architecture

Kafka → Flink → Iceberg → Trino → Airflow end-to-end data pipeline flow and integration.

Pipeline Architecture

Beluga seamlessly combines real-time event streaming with open lakehouse architectures.

[ PostgreSQL RDBMS ]
         │
         ▼ Debezium CDC Connector
┌──────────────────────────────────────────────────────────┐
│  Apache Kafka (Event Streaming & Partitioned Topics)     │
└──────────────────────────┬───────────────────────────────┘
                           │
                           ▼ Real-time Stream Processing
┌──────────────────────────────────────────────────────────┐
│  Apache Flink (Exactly-Once Stream Transformation)       │
└──────────────────────────┬───────────────────────────────┘
                           │
                           ▼ Lakehouse Table Sink (MinIO S3)
┌──────────────────────────────────────────────────────────┐
│  Apache Iceberg (ACID Tables · Time Travel · Parquet)    │
└─────────────┬──────────────────────────────┬─────────────┘
              │                              │
              ▼ Distributed SQL              ▼ Orchestration
┌─────────────────────────────┐   ┌────────────────────────┐
│  Trino Query Coordinator    │   │  Apache Airflow DAGs   │
└─────────────┬───────────────┘   └────────────────────────┘
              │
              ▼ Visualization
┌─────────────────────────────┐
│  Apache Superset Dashboards │
└─────────────────────────────┘