Smarttech Enterprise Data Platform

Veriden değere, uçtan uca entegre ve yönetilebilir veri platformu · Demo ortamı

smarttech
Servis durumu: … · son kontrol –
Canlı akış Oracle · PostgreSQL · Kafka→ SeaTunnel→ Landing MinIO→ Spark→ Bronze→ dbt on Trino→ Silver→ Gold→ Trino SQL Airflow edp_pipeline · her 10 dakikada bir  ·  Veri akışını adım adım gör →
Veri Kaynakları
Her türlü veri, her yerden
ORA
Oracle RDBMS
Enerji · EDP_DEMO.METER_READINGS
sayaç okumaları, 10 sn'de bir
PG
PostgreSQL RDBMS
Telekom · edp_demo.cdr_events
arama kayıtları (CDR), 10 sn'de bir
EV
Olay üreticileri Events
Enerji kesintileri, SMS olayları
JSON → Kafka topic'leri
Kaynak sistemlere sürekli canlı veri basan simülatörler Kubernetes'te demo-sources namespace'inde çalışıyor.
Veri Alımı
Güvenilir ve esnek entegrasyon
ST
Apache SeaTunnel
Batch ve incremental veri alımı
Oracle, PostgreSQL, Kafka → MinIO
↗
SE
SeaTunnel Engine
Job'ları çalıştıran motor (Zeta)
K
Apache Kafka
Gerçek zamanlı veri akışları
energy.outages · telecom.sms
Data Lakehouse / Storage
Açık formatlar, ölçeklenebilir depolama
Catalog (Metadata & Access)
PO
Apache Polaris REST API
Iceberg REST katalog · catalog edp
Trino ve Spark buradan erişir
↑
Table Format / File Format
IC
Apache Iceberg + Parquet
Snapshot, time travel, schema evolution
kolon bazlı dosya formatı
↗
↑
Object Storage (S3 Compatible)
MIO
MinIO
S3 uyumlu object storage
bucket: iceberg-warehouse
↗
Landing
ham kabul
parquet / json
Bronze
izlenebilir
kaynak kopyası
Silver
kalite + dedup
standartlar
Gold
rapora hazır
veri ürünleri
Veri İşleme ve Dönüşüm
Analitik, entegrasyon, zenginleştirme
SP
Apache Spark
Büyük ölçekli veri işleme
Landing → Bronze (Iceberg)
↗
dbt
dbt Docs
Dönüşüm modelleri, SQL ve lineage
Bronze → Silver → Gold
↗
TR
Trino
Dağıtık SQL sorgu motoru
sorgu izleme ekranı
↗
Veri Erişimi ve Tüketim
Veriden değere
SQL
SQL Editör CloudBeaver
Web'den SQL: iceberg.bronze / silver / gold
Trino bağlantısı hazır tanımlı
↗
G
Gold veri ürünleri
energy_meter_hourly · energy_outage_summary
telecom_cell_hourly · telecom_sms_hourly
BI
BI & uygulamalar
Power BI, Excel, API'ler
Trino JDBC/ODBC ile bağlanır
Orkestrasyon
Pipeline zamanlama ve yönetim
AF
Apache Airflow
edp_pipeline: SeaTunnel → Spark → dbt
↗
Güvenlik
Secret ve kimlik yönetimi
V
HashiCorp Vault
Platform secret'ları: secret/edp/*
↗
Gözlemlenebilirlik
Metrik, alarm ve izleme
PR
Prometheus
Platform ve servis metrikleri
↗
GF
Grafana
Operasyon panoları (lakehouse)
↗
Platform
Kubernetes tabanlı altyapı
RA
Rancher
Cluster yönetimi ve iş yükleri
↗
K8s
Kubernetes (k3s)
Tüm bileşenler container olarak
H
Helm
Airflow, Polaris, Vault, izleme