DuckDB 2.0 alpha: S3 Parquet ve JSON iş yüklerinde performans odağı
DuckDB 2.0’ın alpha sürümü (Cyanoptera) yayında; GA hedefi 2026 sonbaharı. MotherDuck blog yazısı üç performans eksenini öne çıkarıyor: async S3 I/O, yeniden yazılmış recursive CTE’ler ve VARIANT shredding. Rakamlar MotherDuck tarafından raporlanmış vendor benchmark’larıdır; alpha sürüm production-ready değil.
Ana Gelişme
Async S3 I/O: Tek sütunlu ~2,2 GB Parquet (228M satır) okuması örnekte 18,8 sn (1.5.5) → 7,7 sn (2.0 alpha) — yaklaşık 2,5×. Küçük dosyalarda round-trip maliyeti kazancı sınırlar.
Recursive CTE: Derin parent/child grafiklerinde (ör. 20.000 commit’lik git geçmişi) 1,8–16 sn aralığı ~0,10 sn’ye indiği iddia ediliyor; motor tabloyu bir kez okuyup tur bazlı indeksli lookup kullanıyor.
VARIANT vs JSON: Yapılandırılmış event JSON’unun checkpoint’te shred edilmesi diskte ~224 MB → ~85 MB; filtre sorgusu örnekte ~366 ms → ~63 ms (JSON metin karşılaştırması).
Ek notlar: statement-level trigger’lar, nested schema, Spark dialect modu, Quack protokol 1.0.
Async I/O tarafında read_ahead_depth parametresi row group ön-getirmesini kontrol ediyor; ev içi internet ve M5 laptop koşullarında ölçülen rakamlar, veri merkezi 10 Gbps bağlantıda farklı ölçeklenebilir. Yine de “sorgu değiştirmeden S3 Parquet” iddiası, lakehouse geçişlerinde önemli operasyonel kazanım vaat ediyor.
Neden Önemli?
embedded-olap ve yerel/serverless analitik, Türkiye’deki veri mühendisleri için S3 üzerinde Parquet ve semi-structured JSON iş yüklerinde maliyet düşürücü olabilir — bağımsız doğrulama beklenmeli.
Teknik Detaylar
Alpha kurulum: resmi install script ile DUCKDB_VERSION=alpha. duckdb.org duyuruları async I/O ve CTE bloglarıyla uyumlu.
Bağlam
MotherDuck, DuckDB’nin ticari bulut katmanı; açık kaynak motorun alpha performans iddiaları ekosistem sinyali, hyperscaler başlığı değil.
Sonraki Adımlar
GA sonrası bağımsız benchmark’lar ve stabilite raporları; production geçişi alpha uyarısıyla ertelenmeli.
Yerel analitik trendi: DuckDB, SQLite-benzeri gömülü motor olarak ETL’den BI’a kadar tek makinede çalışır; 2.0 ile S3 ve semi-structured veri ağırlığı artan iş yüklerinde darboğazları hedefliyor. Data engineering ekipleri alpha’yı staging ortamında Parquet ve JSON replikalarıyla test etmeli; duckdb.org’daki async I/O ve recursive CTE blog yazıları teknik derinlik için birincil kaynak.