Summary
A Guy’s Hospital dermatologist’s benchmark finds fine-tuned Inception v3 beats GPT-6 Astra and Claude Fable 5.1 on 200 biopsy-proven skin lesions, highlighting limits of general-purpose LLMs in narrow medical imaging tasks.
Source Analysis
Research Notes
Additional sources
- 2026-10-26-llm-skin-cancer-frontier-now
- 2026-10-25-llm-skin-cancer-cnn-outperforms-frontier (Lynch Lab primary)
Verified
- 125/200 top-1 for Inception v3 vs 84/85 for frontier LLMs on biopsy set; methodology and downloads public.
Caveats
n=200, 30 melanomas, one LLM run each; discharge threshold sensitivity differs—do not use as clinical advice.
Related wiki
PreScreening Notes
Recency: published_at 2026-10-25T17:15:38+00:00 (~12.8h). Clinician-run benchmark showing classic CNN beating frontier VLMs on dermatology—important medical-AI limits story. Score 7 (high).
Draft Article
Dermatoloji benchmark’ında 10 yıllık CNN, frontier LLM’leri geride bıraktı
Bu yazı klinik tavsiye değildir. Tek yazarlık blog benchmark'ı; hakemli dergi değil. n=200 biyopsi doğrulanmış lezyon, 30 melanom; her LLM için tek koşu. Genel sohbet modellerini teşhis aracı olarak kullanmayın.
Guy’s Hospital dermatologu Magnus Lynch, GPT-6 Astra ve Claude Fable 5.1’i ince ayarlı Inception v3 (2015 CNN) ile MILK10k’tan 200 vakada karşılaştırdı. İlk seçim doğruluğu: CNN 125/200 (%62) — frontier modeller 84 ve 85 (%42). Melanom ilk seçim: 13/30 vs 8 ve 11.
Ana Gelişme
LLM’ler bazı benign lezyonları «güvenle taburcu» edebildi; CNN’in varsayılan eşiğinde güvenli taburcu oranı daha yüksek ama yanlış melanom taburcusu riski artıyor (18/30 melanomda CNN varsayılan eşik vs LLM’lerde 2–4). «Doktora gitmeli miyim?» klinik foto promptunda LLM’ler ek 100 melanomda %98–99 doktor ziyareti önerdi — genel modeller «temkinli» davranıyor ama sınıflandırma kalitesi düşük.
Önyargı örnekleri: GPT-6 bazal hücreli karsinomu fazla çağırma; Fable 5.1 aktinik keratozu fazla çağırma. Her iki LLM bir melanomu seborreik keratoz olarak yanlış etiketledi; CNN dermoskopide doğruydu.
Neden Önemli?
medical-ai ve dermatology-ai için dar alan + ince ayarlı transformer-architecture alternatifi olan klasik CNN hâlâ üstün çıkabiliyor. ai-hallucination ve genel ai-in-healthcare hype’ını kalibre eder: «tek frontier model her şeyi yapar» narratifı bu veri setinde çöktü. Onaylı cilt-AI ürünleri yine de Inception v3’ü geçiyor — Lynch bunu açıkça yazıyor.
Teknik Detaylar
CNN ISIC (68k görüntü) ile eğitildi; H100’de ~20 dakika. Kod ve veri paylaşıldı. MILK10k 2025’ten public — olası LLM eğitim maruziyeti tartışıldı; CNN hasta/lezyon leakage’ı önlemek için hold-out kullandı.
Bağlam
generalist-medical-imaging ile uzman modeller arasındaki gerilim 2026’da da devam ediyor. ai-safety-evaluation discharge eşiklerini headline accuracy’den ayrı okumayı gerektiriyor.
Sonraki Adımlar
Bağımsız reproduction ve daha büyük melanom alt kümesi şart; peer-review süreci olmadan politika veya ürün kararı bağlanmamalı.
Kaynaklar
Evaluation Report
News value: Timeliness excellent (~13h); impact is broad for anyone building or deploying medical AI and for general LLM hype calibration. Prominence: clinician-led benchmark, not a vendor press release. Proximity: Turkish dev/AI readers care about when general models are unsafe for domain tasks. Novelty: strong counter-narrative to “one model does everything.”
Audience fit: High for AI enthusiasts and engineers evaluating multimodal stacks; moderate clinical depth for general readers if caveats are front-loaded.
Risk & ethics: Single-author blog post, not peer-reviewed; n=200 with only 30 melanomas; one run per LLM. Model names match October 2026 frontier branding in source ecosystem. Must not imply clinical deployment guidance.
Analysis stage should corroborate with secondary coverage and keep all Lynch Lab caveats visible; avoid sensational “LLMs can't do medicine” framing.
Publication strategy: standard — room for methodology, safety discharge rates, and “specialist CNN vs general VLM” lesson.
Suggested Angle
Türkçe okuyucu için: “Genel amaçlı sohbet modelleri dermatoloji görüntüsünde neden yetersiz kalıyor?” — uzman ince ayarlı klasik CNN’in üstün çıkmasını, güvenli taburcu kararları ve melanom kaçırma riski üzerinden anlat; LLM’leri teşhis aracı olarak kullanmama uyarısı net olsun.
Editorial Notes
Onay: standard format; önerilen açı onaylandı.
Reporting talimatları: Lynch Lab metodolojisini (n=200, tek LLM koşusu) ve > [!warning] uyarılarını makale girişine yakın yerleştir. “LLM’ler tıpta işe yaramaz” abartısından kaçın; dar alan + ince ayar vs genel VLM çerçevesi kullan.
Başlık önerileri:
- Dermatoloji benchmark’ında 10 yıllık CNN, frontier LLM’leri geride bıraktı
- Cilt kanseri tanısında genel sohbet modelleri neden yetersiz?
- Uzman CNN vs GPT-6 Astra: tıbbi görüntülemede genel model sınırları
Zorunlu noktalar: 125/200 top-1 (Inception v3) vs ~84–85 (frontier); taburcu eşiği farkı; peer-review olmadığı; klinik tavsiye değildir uyarısı.