Dermatoloji benchmark’ında 10 yıllık CNN, frontier LLM’leri geride bıraktı
Bu yazı klinik tavsiye değildir. Tek yazarlık blog benchmark'ı; hakemli dergi değil. n=200 biyopsi doğrulanmış lezyon, 30 melanom; her LLM için tek koşu. Genel sohbet modellerini teşhis aracı olarak kullanmayın.
Guy’s Hospital dermatologu Magnus Lynch, GPT-6 Astra ve Claude Fable 5.1’i ince ayarlı Inception v3 (2015 CNN) ile MILK10k’tan 200 vakada karşılaştırdı. İlk seçim doğruluğu: CNN 125/200 (%62) — frontier modeller 84 ve 85 (%42). Melanom ilk seçim: 13/30 vs 8 ve 11.
Ana Gelişme
LLM’ler bazı benign lezyonları «güvenle taburcu» edebildi; CNN’in varsayılan eşiğinde güvenli taburcu oranı daha yüksek ama yanlış melanom taburcusu riski artıyor (18/30 melanomda CNN varsayılan eşik vs LLM’lerde 2–4). «Doktora gitmeli miyim?» klinik foto promptunda LLM’ler ek 100 melanomda %98–99 doktor ziyareti önerdi — genel modeller «temkinli» davranıyor ama sınıflandırma kalitesi düşük.
Önyargı örnekleri: GPT-6 bazal hücreli karsinomu fazla çağırma; Fable 5.1 aktinik keratozu fazla çağırma. Her iki LLM bir melanomu seborreik keratoz olarak yanlış etiketledi; CNN dermoskopide doğruydu.
Neden Önemli?
medical-ai ve dermatology-ai için dar alan + ince ayarlı transformer-architecture alternatifi olan klasik CNN hâlâ üstün çıkabiliyor. ai-hallucination ve genel ai-in-healthcare hype’ını kalibre eder: «tek frontier model her şeyi yapar» narratifı bu veri setinde çöktü. Onaylı cilt-AI ürünleri yine de Inception v3’ü geçiyor — Lynch bunu açıkça yazıyor.
Teknik Detaylar
CNN ISIC (68k görüntü) ile eğitildi; H100’de ~20 dakika. Kod ve veri paylaşıldı. MILK10k 2025’ten public — olası LLM eğitim maruziyeti tartışıldı; CNN hasta/lezyon leakage’ı önlemek için hold-out kullandı.
Bağlam
generalist-medical-imaging ile uzman modeller arasındaki gerilim 2026’da da devam ediyor. ai-safety-evaluation discharge eşiklerini headline accuracy’den ayrı okumayı gerektiriyor.
Sonraki Adımlar
Bağımsız reproduction ve daha büyük melanom alt kümesi şart; peer-review süreci olmadan politika veya ürün kararı bağlanmamalı.