“Büyük dil modelini (LLM) kendimiz mi çalıştıralım, API mi kullanalım?” sorusuna verilen yanıt çoğu zaman bir maliyet hesabına dayanıyor. Ayda yüz milyonlarca token işlenmiyorsa ve verinin dışarı çıkmasına bir engel yoksa, tavsiye genellikle API kullanmak. Çünkü kendi modelini çalıştırmanın maliyeti donanımla sınırlı değil. Mühendislerin harcadığı süre de eklendiğinde toplam gider GPU faturasının birkaç katına çıkabiliyor.
Frontier API yerine kiralık veri merkezi GPU’larında büyük, genel amaçlı bir model çalıştırılacaksa bu tavsiye yerinde olabilir. Burada karşılaştırılan, çoğunlukla 70 milyar veya daha fazla parametreye sahip, ağırlıkları erişime açık bir model. Oysa yapılacak işin kapsamı ve nasıl test edileceği belliyse daha ucuz bir seçenek de var: O işi küçük bir modelle yapmak.
Sohbet etmek, farklı konulardaki soruları yanıtlamak ya da alışılmadık içerikler üzerinde akıl yürütmek için API ile başlamak mantıklı. Kullanım bir anda artıp sonra düşüyorsa, boşta bekleyen donanıma para ödeme derdi de olmuyor. Faturalardan bilgi çıkarmak veya destek taleplerini sınıflandırmak gibi tekrarlanan işlerde ise o iş için eğitilmiş küçük bir modeli denemeye değer. Daha düşük maliyetle büyük model kadar iyi sonuç verebilir. Verinin nereye gideceği ve modelin ne zaman değişeceği de şirketin kontrolünde kalır. Şirketin bütün işleri için aynı yolu seçmesi şart değil. Her birini ayrı değerlendirip iki yaklaşımı birlikte kullanabilir.
Model küçülünce maliyet hesabı da değişiyor
Maliyet karşılaştırmalarında sık kullanılan senaryo şöyle: Yaklaşık 70 milyar parametreli bir model, bir veya birkaç 80 GB GPU üzerinde çalıştırılıyor ve pahalı bir API seçeneğiyle kıyaslanıyor. Yayımlanmış bazı hesaplarda maliyetler ayda yaklaşık 500 milyon token düzeyinde eşitleniyor. Personel ve boşta kalan kapasite eklendiğinde toplam giderin donanım kirasının üç ila beş katına çıktığı tahminler de var. Rakamlar, varsayılan iş yüküne ve fiyatlara bağlı. Ama her durumda yazılımı kuracak, modelin çalışmasını izleyecek ve arıza çıktığında müdahale edecek birine ihtiyaç var. AI/TLDR LeanLM Azumo
Daha küçük bir model bu hesabı ciddi ölçüde değiştirebilir. NVIDIA araştırmacıları, 7 milyar parametreli bir model için 70-175 milyar parametreli modellere kıyasla inference (çıkarım) sırasında gecikme, enerji ve hesaplama ihtiyacı açısından 10 ila 30 kat avantaj öngörüyor. Bu tahmin inference aşamasıyla sınırlı ve toplam işletme bütçesinin aynı oranda azalacağı anlamına gelmiyor. NVIDIA Research Donanım ihtiyacı da buna göre değişiyor. Yedi veya sekiz milyar parametreli bir modelin ağırlıkları 4 bit olarak saklandığında, formata bağlı olarak yaklaşık dört ila beş gigabayt yer kaplıyor. Bağlam uzunluğu ve eşzamanlı istekler için ek bellek gerekse de böyle bir model 24 GB belleği olan bir GPU’ya sığabiliyor. Yani kendi modelini çalıştırmak için bir iş istasyonundaki ekran kartı ya da mevcut bir sunucu yeterli olabilir. TensorBundle’ın belge işleme ürünü Parsarr da müşterinin donanımında küçük OCR modelleri kullanıyor.
Karşılaştırmanın adil olması için API üzerinden sunulan küçük modelleri de hesaba katmak lazım. Bunlar o kadar ucuz olabilir ki modeli şirketin çalıştırmasıyla elde edilecek tasarruf ortadan kalkar. Böyle bir durumda veriyi belirli bir ortamda tutmak ya da test edilmiş bir model sürümünü kullanmaya devam etmek gibi başka bir gerekçe aranır. Maliyet hesabını da işin gereksinimlerini gerçekten karşılayan model üzerinden yeniden yapmak gerekir.
Hangi kullanım miktarında maliyetler eşitlenir?
Model boyutunu, kullanım düzenini ve API fiyatını değiştirerek aylık işletme maliyetlerini karşılaştırın.
Kurumun çalıştırdığı model
Her sunucuda iki 80 GB GPU · saatte $5,00 · ayda 40 saat mühendislik
Kullanım düzeni
Karşılaştırılan API
Maliyetler ayda yaklaşık şu miktarda eşitleniyor: 571 milyon token (≈ 285.000 işlem)
Bu senaryo, kurumun çalıştırdığı büyük bir modeli örnek fiyatlar üzerinden bir frontier API ile karşılaştırıyor.
- Kurumun çalıştırdığı model · 100 milyon token
- $6.850 / ay
- 1 sunucu, mühendislik emeği dahil
- Frontier API · 100 milyon token
- $1.200 / ay
- Milyon token başına $12, girdi ve çıktı birlikte hesaplanmıştır
Bunlar karşılaştırma için kullanılan örnek rakamlardır; fiyat teklifi değildir. Fiyatlar, GPU ücretleri ve işlenebilen token miktarı sağlayıcıya, donanıma, modele ve prompt uzunluğuna göre değişir. Bu değerler zamanla da değişebilir. İlk geliştirme, fine-tuning, değerlendirme ve donanım satın alma maliyeti hesaba dahil değildir. Kapasite hesabında, kapsamı belli bir işe ait isteklerin toplu işlendiği varsayılır. Sunucular ay boyunca çalışır; mühendislik emeği saatlik $80 üzerinden hesaplanır.
Birçok iş için küçük bir model yeterli olabilir
Şirketlerin yapay zeka planları genellikle geniş ifadelerle anlatılıyor: Operasyon ekibine bir asistan, müşteri hizmetlerinde yapay zeka kullanımı. Ama modelden beklenen işlere tek tek bakınca ihtiyaçlar daha somut. Tedarikçi ödemelerini takip eden muhasebe ekibi, faturadaki tedarikçi adını, fatura numarasını, tarihi, kalemleri, vergiyi ve toplam tutarı belirli bir formatta istiyor. Destek ekibi talepleri kırk kategoriye ayırmak, lojistik şirketi de irsaliyeleri siparişlerle eşleştirmek istiyor. Her birinde beklenen çıktıyı tarif etmek ve modelin ne sıklıkla doğru sonuç verdiğini ölçmek mümkün.
Faturalar farklı düzenlerde geldiği, destek talepleri de serbest metinle yazıldığı için dil modeli bu işlerde yararlı olabilir. Yine de bazılarını OCR, sınıflandırıcı modeller veya klasik yazılım daha iyi çözer. Kuralların belli olduğu ve kesin hesaplama gereken işlerde çoğu zaman dil modeline hiç ihtiyaç yok. Hesap makinesinin işini dâhiye yaptırmayın yazısında da bunu anlatıyoruz. Dil modeli gerçekten işe yaradığında bile, frontier modelin sunduğu yeteneklerin çok daha azı yeterli olabilir.
Kapsamı belli bir işte, küçük modelin gereken doğruluğa ulaşıp ulaşmadığını hem fine-tuning (ince ayar) öncesinde hem de sonrasında ölçmek gerekir. Karşılaştırmaya gerçekten kullanmayı düşündüğünüz API modellerini de dahil edin ve hepsini eğitimde kullanılmamış aynı örneklerle değerlendirin. Küçük modelin o işe yeterli olup olmadığına bu sonuçlara bakarak karar verin.
Bunun için işin örneklerle tarif edilebilecek kadar yerleşmiş olması ve örneklerin zor durumları da kapsaması gerekiyor. Kaç örneğe ihtiyaç duyulacağı ise işin kapsamına ve çeşitliliğine bağlı. LLM fine-tuning için 50 örnek yeter mi? yazısında bu konuyu ele alıyoruz. Küçük model eğitim kapsamı dışındaki isteklerde zorlanabileceği için, sistemin bunları fark edip başka bir yere yönlendirebilmesi de önemli.
Küçük modeli geliştirirken büyük modelden yararlanmak
Frontier model, işe özel küçük modeli geliştirirken de kullanılabilir. Örnekleri insanların düzeltmesi için etiketleyebilir, geçmiş veride eksik olan zor durumlara yönelik örnekler üretebilir ve denenen modellerin nerede hata yaptığını bulmaya yardımcı olabilir. Tabii kendi değerlendirmelerinin de kontrol edilmesi gerekiyor. Sistem kullanıma alındığında ise olağan istekleri küçük model işlerken, güvenilir biçimde yanıtlayamadığı sıra dışı istekler büyük modele gönderilebilir. Böylece geliştirme sırasında yoğun kullanılan frontier modele, günlük kullanımda isteklerin yalnızca bir bölümü için başvurulur.
Üretilen örnekleri eğitime katmadan önce sağlayıcının kullanım koşullarını ve eğitilecek modelin lisansını kontrol etmek gerekiyor. Küçük model yetersiz kaldığında başvurulan çözüm de aynı veri kurallarına uymalı. Bir belge kurum dışına çıkamıyorsa, zor durumlarda onu yetkili bir kişinin incelemesi veya kurum içinde çalışan daha büyük bir modelin işlemesi gerekir. Harici bir API’yi yedek çözüm olarak görmek, o API’ye veri gönderme izni vermiyor.
Güncellemenin zamanını şirket belirleyebilir
API sağlayıcısı, modelini ne zaman kullanımdan kaldıracağına kendisi karar veriyor. Anthropic, 14 Nisan’da duyurduğu değişiklikle Claude Sonnet 4’ü 15 Haziran 2026’da kullanımdan kaldırdı. Şirketin politikası, genel kullanıma sunduğu modeller için en az 60 gün önceden bildirim yapmak. Anthropic Yeni model bir sohbet asistanını iyileştirebilir. Ama denetime tabi bir muhasebe sürecine belirli bir şemada veri aktaran sistemde aynı değişiklik ek iş demek: Testleri yeniden yapmak ve değişen çıktıları incelemek gerekiyor. Modeli kendisi çalıştıran şirket, yeni sürümü değerlendirirken test ettiği sürümü kullanmayı sürdürebilir. Yazılımın bakımını yine yapar, fakat modelin ne zaman değişeceğine kendisi karar verir.
Hangi yol seçilirse seçilsin, kullanım sırasında yapılan düzeltmeler işe yarıyor. Bir çalışan yanlış okunan toplam tutarı düzelttiğinde veya bir destek talebini başka ekibe yönlendirdiğinde, bu örnekle prompt’lar, ilgili bilgiyi bulma adımı (retrieval), değerlendirme ya da eğitim verisi iyileştirilebilir. Bazı API sağlayıcıları kendi altyapılarında fine-tuning hizmeti de sunuyor. Dolayısıyla bu düzeltmelerden yalnızca kendi modelini çalıştıran şirketler yararlanmıyor. Kendi modelini çalıştırmak, geliştirilen sürümün nerede ve ne kadar süre kullanılacağı konusunda daha fazla söz hakkı veriyor. Bu örnekleri ileride kullanabilmek için ilk sürümden itibaren özgün girdiyi, modelin çıktısını ve düzeltilmiş yanıtı birlikte kaydetmek gerekiyor.
Her iş için ayrı karar vermek
Bir şirket yapay zekayı farklı amaçlarla kullanabilir ve her işin koşulları da farklı olabilir. Önce verinin nereye gönderilmesine izin verildiğine bakılır. Ardından beklenen çıktının belirli bir formatta mı yoksa açık uçlu mu olduğu, kullanımın düzeni ve yanıt süresi ya da bağlantı koşullarının modeli nerede çalıştırmayı gerektirdiği değerlendirilir. Gizli veri için işleme koşullarının onaylanmış olması gerekir, ama verinin gizli olması bütün API seçeneklerini otomatik olarak elemez.
Faturalardan bilgi çıkarmak için şirketin çalıştırdığı küçük bir model uygun olabilirken, öngörülemeyen soruları yanıtlayan araştırma asistanı API kullanabilir. Telefonda çalışan bir sesli asistan da çağrı altyapısına yakın küçük bir modelden yararlanabilir, ancak yeterince hızlı yanıt verdiği testte görülmeli. Bu seçenekler birlikte kullanıldığında hangi verinin hangi yoldan gönderilebileceği açıkça belirlenmeli. NVIDIA araştırmacıları da belirli işlere göre eğitilmiş küçük modellerin, daha geniş yetenekler gerektiğinde büyük modellerle birlikte kullanılmasını savunuyor. NVIDIA Research Böyle bir sistemi kurarken işin büyük kısmı yönlendirme kurallarına ve bağlantılara ayrılıyor. Yapay zeka projelerinde asıl iş çoğu zaman entegrasyondur yazısında da bu konuyu ele alıyoruz.
Her iş için model nerede çalışmalı?
Bir iş seçin, koşullarını değiştirin. Araç, ilk olarak hangi seçeneğin denenebileceğini gösterir.
6 işin 4 tanesinde kurumun çalıştırdığı bir model, 2 tanesinde yalnızca API öneriliyor.
Faturadan veri çıkarma
Veri ne kadar hassas?
Çıktı nasıl bir yapıda?
Ne sıklıkla kullanılıyor?
Çalışma koşullarında bir kısıt var mı?
Küçük model (kurum içi)
Bu iş için küçük bir model denenebilir. Küçük modeli ve API üzerinden sunulan bir modeli aynı örneklerle test edip doğruluk oranlarını ve işletme maliyetlerini karşılaştırın.
Öneriler, veri işleme koşullarının kurum tarafından onaylandığı varsayımına dayanır. Karar vermeden önce sonuçların kalitesini, yanıt süresini ve maliyeti gerçek örneklerle test edin.
Şirketin kendi örnekleriyle test etmek
Küçük modelin yeterli olup olmadığını görmek için birkaç yüz gerçek örnekle başlanabilir. Bunların arasında bulanık taranmış belge, farklı para biriminde kesilmiş fatura ve iki kategoriye birden uyan destek talebi de olmalı. Her örneğin doğru yanıtı belirlendikten sonra bir frontier API, API üzerinden sunulan daha ucuz bir model ve bir veya iki küçük model aynı küme üzerinde denenir. Sonuçların kalitesi, yanıt süresi ve doğru sonuç başına maliyet böylece karşılaştırılabilir. Değerlendirme örneklerini eğitim verisinden ayrı tutmak, ortalamaların yanında tek tek hatalara da bakmak gerekiyor. Kağıt üzerinde kusursuz, pratikte sorunlu ve Probleminize bire bir uyan hazır bir çözüm yok yazılarında bunun neden önemli olduğunu anlatıyoruz.
Hangi sonucun kabul edileceğine test sonuçlarını görmeden karar vermek gerekiyor. Örneğin küçük modelin bu işteki doğruluk oranı API’nin en fazla iki yüzde puanı gerisindeyse, kritik test örneklerinde ek hataya yol açmıyorsa ve beklenen kullanım miktarında doğru sonuç başına daha ucuza geliyorsa küçük model seçilebilir. Bu örneklerde başarılı olması, gelecekteki her durumda güvenilir olacağını göstermiyor. Veri hazırsa ilk karşılaştırma için bir ila iki hafta planlanabilir, ancak örnekleri toplamak ve kontrol etmek daha uzun sürebilir. Eğitimde kullanılmayan test kümesi, sonraki model değişiklikleri için saklanır. Aynı örnekleri hem eğitimde hem değerlendirmede kullanmamak kaydıyla, gerçek kullanımdan gelen ve kontrol edilmiş örnekler de zamanla buraya eklenebilir.
Genel amaçlı modeli kiralamak, işe özel modele sahip olmak
Hangi yeteneklere ihtiyaç duyulduğu ve modelin nerede çalışacağı ayrı kararlar. İş çok farklı yetenekler gerektiriyorsa frontier API kolaylık sunuyor. Kapsamı belli, tekrarlanan bir iş içinse eğitilmiş küçük bir model düşünülebilir. Kullanım düzenliyse modeli şirketin çalıştırması ekonomik hale gelebilir, ama mühendislik emeği eklendiğinde ucuz bir API modeli yine daha avantajlı çıkabilir. Model ağırlıklarının şirkette olması, modelin devreye alınmasını ve güncellemeleri kontrol etmeyi mümkün kılıyor. Modeli iyileştirmek içinse hata düzeltmelerini toplamak, bunlarla eğitim yapmak ve sonucu yeniden değerlendirmek gerekiyor.
İlk deneme için sık tekrarlanan, doğru yanıtı belli bir iş seçilebilir. Bu işin test kümesi hazırlanıp aday modeller beklenen kullanım miktarında karşılaştırılır. İşe özel model yeterince iyi sonuç veriyor ve işletme maliyeti de uygunsa, onu şirketin kendi altyapısında çalıştırmak için somut bir neden vardır.
