Inference mühendisliği 2026: speculative decoding, batching ve nicelendirme

LLM maliyet optimizasyonu yazısında uygulama katmanı kaldıraçlarını (model seçimi, caching, batching) anlatmıştım. Kendi modelinizi servis ediyorsanız ya da yüksek hacimde tek bir sağlayıcıya bağlıysanız, asıl kazanç bir altta: inference sistem katmanı. 2026’nın üretim ölçümleri bu katmanda neyin işe yaradığını ve nerede durduğunu epey netleştirdi.

Decode neden yavaş? Önce teşhis

Autoregressive üretimde her token ayrı bir adım ve ağırlıklar her adımda yeniden okunuyor — yani decode çoğunlukla bellek bant genişliğiyle sınırlı, hesapla değil. Prefill ise hesap yoğun. İkisini aynı stratejiyle optimize etmek yaygın bir hatadır.

1. Speculative decoding

Küçük bir “draft” model birkaç token önden önerir; büyük model bunları tek paralel geçişte doğrular. Doğrulama, üretimden ucuz olduğu için birden fazla token pahalı geçiş başına düşer. Leviathan ve arkadaşlarının 2023’te formalize ettiği teknik, 2026’da üretim standardı.

• Gerçekçi kazanç: üretim kıyaslamalarında düşük-orta eşzamanlılıkta 2-3x hız; ama yüksek yükte GPU doygunlaştıkça kazanç büzülüyor — belirleyici değişken algoritma değil, eşzamanlılık katmanınız (üretim kıyaslamaları, 2026).
• Varyantlar: EAGLE-3, DFlash, MTP, DSpark gibi güncel yöntemler ilk nesle göre daha fazla başlık alanı geri kazanıyor.
• Kalite: büyük model her token’ı doğruladığı için çıktı kalitesi değişmez — bu, nicelendirmeden farkıdır.

2. Continuous batching

Statik batching’te bir istek bitmeden yenisi başlamaz; continuous batching’te boşalan slota yeni istek anında girer. vLLM ve TensorRT-LLM’de varsayılan. Üretim raporlarında statik batching’e göre 2-3x, yüksek QPS’li arka plan işlerinde 3-5x verim artışı bildiriliyor (maliyet oyun kitabı, Cast AI). çoğu yığın için en yüksek kaldıraçlı tek değişiklik bu.

3. Nicelendirme ve KV cache

• Quantization (FP8/INT4): bellek 2-4x küçülür, maliyet ~%50 düşer; ama kalite kendi iş yükünüzde yeniden ölçülmeli — metin özetlemede zararsız olan kayıp, kod üretiminde görünür olabilir.
• PagedAttention / KV cache: bellek israfını azaltan vLLM tarzı sayfalama, uzun bağlamlarda en büyük bellek tüketicisi olan KV cache’i yönetir.

4. Ölçmeden yığmayın

İlginç bir veri noktası: Cast AI’nin 2026 Kubernetes raporunda üretim GPU filolarında ortalama kullanım %5. İyileştirmeler üst üste biner ve kazançlar kesişir; her katmanı ayrı ölçmeden toplam tasarruf tahmini yanıltır.

Sıra

1. Verim tıkanmasını teşhis et (prefill mi, decode mi, bellek mi?).
2. Continuous batching + doğru model boyutlandırma (en büyük etki).
3. Speculative decoding (düşük-orta yükte).
4. Quantization + KV cache optimizasyonu (kalite eval’ıyla).

Uygulama tarafı için LLM maliyet optimizasyonu, bağlam tarafı için Context engineering yazılarına bakabilirsiniz.