Veri Mimarilerinin Evrimi: Data Lake’lerden Lakehouse’lara
Veri dünyası sürekli gelişiyor. Geleneksel data warehouse’lar yapısal, yüksek performanslı analitik sunarken, ham ve çeşitli verilerle başa çıkmakta zorlanıyordu. Data lake’ler, büyük miktarda yapısal olmayan ve yarı yapısal veriyi uygun maliyetle depolamak için ortaya çıktı; ancak genellikle transactional özelliklerden, schema enforcement’tan ve veri kalitesi özelliklerinden yoksundu, bu da “data swamp”lara yol açıyordu. Data lakehouse mimarisi bu boşluğu doldurarak, data lake’lerin esnekliği ve ölçeklenebilirliğini, data warehouse’ların ACID işlemleri, schema enforcement’ı ve yönetişimiyle birleştiriyor. SoftCrafter olarak, e-ticaret platformlarından kurumsal hizmetlere kadar işletmeler için sağlam veri çözümlerinin kritik ihtiyacını anlıyoruz ve data lakehouse modern veri yönetimi için güçlü bir paradigma sunuyor.
Bu makale, açık kaynak teknolojilerin güçlü bir kombinasyonunu kullanarak modern bir data lakehouse inşa etmeye odaklanıyor: depolama katmanı olarak Delta Lake, gerçek zamanlı streaming ETL için Apache Flink SQL ve veri dönüşümü ve yönetişimi için dbt (data build tool). Bu stack, hem batch hem de streaming iş yüklerini yönetebilen ölçeklenebilir, güvenilir ve yüksek performanslı bir veri platformu sağlıyor.
Delta Lake: Lakehouse’unuzun Temeli
Delta Lake, data lake’lere ACID işlemleri, ölçeklenebilir metadata yönetimi ve birleşik batch ve streaming veri işleme yetenekleri getiren açık kaynaklı bir depolama katmanıdır. Temel olarak, sıradan data lake’inizi (örneğin S3, ADLS, GCS üzerindeki) güvenilir bir data lakehouse’a dönüştürür. Temel özellikleri şunlardır:
- ACID İşlemleri: Eş zamanlı okuma ve yazma işlemlerinde bile veri bütünlüğünü ve tutarlılığını sağlar.
- Schema Enforcement & Evolution: Kötü verinin lake’e girmesini engeller ve zarif schema değişikliklerine izin verir.
- Time Travel: Denetim, geri alma veya deneyleri yeniden üretme için verinin önceki sürümlerine erişim sağlar.
- Upserts & Deletes: Data warehouse’ların yaygın işlemlerini doğrudan lake üzerinde destekler.
Bir Delta tablosu kurmak oldukça basittir. PySpark kullanarak bir örnek aşağıdadır, ancak Flink de bu tablolarla etkileşime girecektir:
from pyspark.sql import SparkSession
spark = SparkSession.builder
.appName("DeltaLakeExample")
.config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension")
.config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog")
.getOrCreate()
data = [("Alice", 1), ("Bob", 2), ("Charlie", 3)]
df = spark.createDataFrame(data, ["name", "id"])
df.write.format("delta").mode("overwrite").save("/tmp/delta/people")
# Read the Delta table
delta_df = spark.read.format("delta").load("/tmp/delta/people")
delta_df.show()
Apache Flink SQL: Gerçek Zamanlı Streaming ETL
Apache Flink, güçlü bir açık kaynaklı stream processing framework’üdür. Flink SQL ile sınırsız veri akışları üzerinde sürekli sorgular tanımlayabilir, bu da onu Delta Lakehouse’unuza gerçek zamanlı ETL için ideal kılar. Flink’in stateful hesaplamaları, exactly-once processing garantilerini ve yüksek throughput’u yönetme yeteneği, streaming veriyi ingest etmek ve dönüştürmek için mükemmel bir uyum sağlar.
Flink’i Delta Lake ile entegre etmek için genellikle Flink Delta Connectors’ı kullanırsınız. İşte bir Kafka topic’inden okuma, veriyi dönüştürme ve bir Delta tablosuna yazma için bir Flink SQL job’ını nasıl tanımlayabileceğinize dair kavramsal bir örnek:
-- Define a Kafka source table
CREATE TABLE raw_events (
id STRING,
event_time TIMESTAMP(3),
payload STRING,
WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND
) WITH (
'connector' = 'kafka',
'topic' = 'input_events',
'properties.bootstrap.servers' = 'localhost:9092',
'format' = 'json',
'scan.startup.mode' = 'earliest-offset'
);
-- Define a Delta Lake sink table
CREATE TABLE processed_events (
event_id STRING,
event_timestamp TIMESTAMP(3),
processed_data STRING
) WITH (
'connector' = 'delta',
'path' = 's3a://your-delta-bucket/processed_events',
'delta.log.max-versions' = '100',
'checkpointing.interval' = '1min'
);
-- Insert transformed data from Kafka to Delta Lake
INSERT INTO processed_events
SELECT
id AS event_id,
event_time AS event_timestamp,
UPPER(payload) AS processed_data
FROM raw_events;
Bu Flink SQL ifadesi, raw_events Kafka topic’inden sürekli okuma yapar, payload’u büyük harfe dönüştürür ve sonuçları processed_events Delta tablosuna ekler. Bu gerçek zamanlı işleme yeteneği, anlık içgörüler gerektiren uygulamalar için hayati öneme sahiptir.
dbt: Veri Dönüşümü ve Yönetişimi
Flink gerçek zamanlı ingest ve ilk dönüşümleri hallederken, dbt (data build tool) data lakehouse’unuzdaki sonraki batch dönüşümlerini, veri modellerini ve veri kalite testlerini tanımlama ve yönetmede üstünlük sağlar. dbt, SQL’i kod olarak ele alır ve veri ekiplerinin version control, test ve dokümantasyon gibi yazılım mühendisliği en iyi uygulamalarını veri pipeline’larına uygulamasına olanak tanır.
dbt ile veri modellerinizi SQL SELECT ifadeleri olarak tanımlayabilirsiniz. dbt çalıştığında, bu ifadeleri yürütülebilir SQL’e derler ve veri platformunuza karşı çalıştırır – bu durumda Delta Lake tablolarınızdan okur ve yazar. Bu, ham ingest edilmiş verilerinizin üzerine küratörlü veri katmanları (örneğin, bronze, silver, gold katmanları) inşa etmenizi sağlar.
Bir Delta tablosu için tipik bir dbt modeli şöyle görünebilir (models/gold/agg_events.sql):
-- models/gold/agg_events.sql
{{ config(materialized='incremental', unique_key='event_date') }}
SELECT
CAST(event_timestamp AS DATE) AS event_date,
COUNT(DISTINCT event_id) AS distinct_events,
SUM(CASE WHEN processed_data LIKE '%ERROR%' THEN 1 ELSE 0 END) AS error_count
FROM {{ ref('processed_events') }}
{% if is_incremental() %}
-- only select new data since the last run
WHERE event_timestamp > (SELECT MAX(event_timestamp) FROM {{ this }})
{% endif %}
GROUP BY 1
dbt, çeşitli veri platformlarıyla sorunsuz bir şekilde entegre olur. Delta Lake için, Delta tablolarıyla etkileşim kurmak üzere Spark veya benzeri bir engine kullanan bir dbt adapter’ı kullanırsınız. Bu kombinasyon, SoftCrafter’ın müşterilerimiz için web ve mobil geliştirme analitikleri ve daha fazlası için sağlam veri pipeline’ları oluşturmasına olanak tanır, veri kalitesini ve erişilebilirliğini sağlar.
Hepsini Bir Araya Getirmek: Birleşik Bir Data Lakehouse Mimarisi
Müşteri etkileşim verilerinin Kafka’ya aktığı bir senaryo düşünün. Flink SQL bu olayları sürekli olarak okur, ilk temizleme ve zenginleştirmeyi yapar ve bunları Delta Lake’e ham (bronze) katman olarak yazar. Ardından, dbt job’ları periyodik olarak çalışarak bu bronze katmanı silver katmana (temizlenmiş, uyumlu veri) ve son olarak gold katmana (toplanmış, işe hazır raporlama ve analitik verisi) dönüştürür.
Bu mimari şunları sağlar:
- Gerçek Zamanlı Ingest: Flink SQL, verinin neredeyse anında analiz için hazır olmasını sağlar.
- Veri Güvenilirliği: Delta Lake’in ACID özellikleri ve schema enforcement’ı veri kalitesini garanti eder.
- Veri Yönetişimi ve Dönüşümü: dbt, veri modelleme ve test için yapılandırılmış, version-controlled bir yaklaşım sunar.
- Ölçeklenebilirlik: Tüm bileşenler dağıtık işleme için tasarlanmıştır ve veri hacminizle birlikte ölçeklenebilir.
SoftCrafter’ın hakkımızda sayfamızda vurgulanan ölçeklenebilir ve güvenilir yazılım çözümleri geliştirme uzmanlığı, bu tür sofistike veri platformları oluşturmaya kadar uzanır. İşletmelerin e-ticaret sitelerindeki kullanıcı davranışlarını anlamaktan iç operasyonları optimize etmeye kadar rekabet avantajları elde etmek için bu teknolojilerden yararlanmalarına yardımcı oluyoruz. Modern bir data lakehouse uygulamak veya diğer gelişmiş veri çözümlerini keşfetmek istiyorsanız, bizimle iletişime geçmekten çekinmeyin.
#DataLakehouse #DeltaLake #ApacheFlink #FlinkSQL #dbt #StreamingETL #DataEngineering #SoftCrafter