LLM fine-tuning
Fine-tuning, modeli örnekler üzerinde eğiterek davranışını değiştirir. Eğitimden sonra model tekrar eden bir formata uyabilir, alanınızdaki terimleri kullanabilir, metinleri sınıflandırabilir ya da belirli türde yanıtları daha tutarlı verebilir.
Ancak fine-tuning, modelin değişen bilgilere güvenilir biçimde erişmesini sağlamaz. Güncel şirket bilgisi için genellikle belge arama (RAG) veya araçlar daha uygundur. Bu yüzden önce sorunun gerçekten eğitimle çözülüp çözülmeyeceğine bakıyoruz.
Fine-tuning neyi değiştirir?
Fine-tuning, görev örnekleri veya tercih verileriyle base modelin parametrelerini ayarlar. Sonuç, base modelle karşılaştırılarak ölçülebilen yeni bir model sürümüdür.
İyi bir hedef dar olur ve modelin onu tutturup tutturmadığı kolayca anlaşılır. Geçerli JSON üretmek, doğru etiketi seçmek, belirli bir yazım kuralına uymak ya da kabul edilebilir yanıtı kabul edilemeyenden ayırmak buna örnektir. "Model şirketimizi tanısın" gibi geniş bir hedef ölçülemez.
Fine-tuning gerekli mi?
Hangi çözümün doğru olduğu, modelin bugün neden hata yaptığına bağlı. İşe, daha basit seçenekleri mevcut düzeninizle karşılaştıran küçük bir testle başlıyoruz. Eğitimi ancak sorun sabit bir test setinde düzenli olarak ortaya çıktığında gündeme alıyoruz.
Prompt geliştirme
Daha açık talimatlar ve birkaç örnek, istenen davranışı elde etmeye yetiyorsa.
Belge arama (RAG)
Yanıtlar belgelere, politikalara, ürün verilerine veya değişen başka bilgilere dayanıyorsa.
Araçlar ve kod
Sonuç bir hesaplamadan, veri tabanı sorgusundan, API'den veya sabit bir doğrulama kuralından gelmeliyse.
Fine-tuning
Model öğrenebileceği bir kalıpta (görev, format, terminoloji veya yanıt tercihi) sürekli hata yapıyorsa.
Fine-tuning yöntemleri
Yöntemi hedef davranışa ve eldeki veriye göre seçiyoruz. Eğitimin ölçeği ikinci planda kalır.
Denetimli fine-tuning
Girdi ve istenen çıktı çiftleriyle eğitir. Sınıflandırma, veri çıkarma ve yapılandırılmış çıktı için uygundur.
Tercih optimizasyonu
Geçerli birden çok yanıttan hangisinin daha iyi olduğunu, tercih edilen ve reddedilen yanıtlardan öğrenir.
LoRA ve PEFT
Modelin tamamı yerine küçük bir ek parametre kümesini eğitir. Daha az hesaplama gücü gerekir, ortaya çıkan adaptör dosyaları da küçük olur.
Ek ön eğitim
Alana özgü büyük metin kümeleriyle dil kalıplarını ve terminolojiyi uyarlar. Belirli bir görevi öğretmekten daha fazla veri ister.
Veriyi hazırlama ve eğitim
Sonucu örnek sayısından çok verinin kalitesi belirler.
-
Tanımlama
Hedef davranışı, hata vakalarını, kabul kurallarını ve başlangıç ölçümünü yazıya döküyoruz.
-
Toplama
Kullanım izni olan örnekleri topluyoruz. Normal ve zor vakaların yanında modelin reddetmesi gereken vakalar da bu örneklerin içinde yer alır.
-
İnceleme
Tekrarları, çelişkili etiketleri, gereksiz kişisel verileri ve modelin istemeden kullanabileceği kısa yolları ayıklıyoruz.
-
Ayırma
Deneyler başlamadan önce eğitim, doğrulama ve test verilerini birbirinden ayırıyoruz. Model hiçbir zaman daha önce gördüğü örneklerle puanlanmaz.
-
Eğitim
Birkaç kontrollü eğitim çalışmasını karşılaştırıyor, model, veri ve parametre sürümlerini birlikte kaydediyoruz.
Uyarlanan model nasıl değerlendirilir?
Uyarlanan modeli base modelle ve yalnızca promptla elde edilen en iyi sonuçla karşılaştırıyoruz. Testte gerçekçi girdilerin yanında, modelin yanlış bir şey yapmadan durması gereken zor vakalar da yer alır. Model ancak iyileşme anlamlıysa ve gerilemeler belirlenen sınırlar içinde kalıyorsa yayına alınır.
Görev kalitesi
Tam eşleşme, etiket doğruluğu, puanlama rehberine göre verilen notlar ya da göreve uygun başka bir ölçü.
Format güvenilirliği
Geçerli şemalar, zorunlu alanlar, uzunluk kuralları ve çıktıyı okuyan sistemlerin onu işleyebilmesi.
Gerileme testleri
Genel talimatlara uyma, gerektiğinde reddetme, dil kalitesi ve uyarlanan alanın dışında kalan vakalar.
İşletim
Yanıt süresi, bellek, iş hacmi ve maliyet.
Neler teslim edilir?
- Veri tanımı ve incelenmiş veri kümeleri
- Başlangıç ölçümü ve değerlendirme paketi
- Eğitim kodu veya yönetilen fine-tuning ayarları
- Sürüm kayıtlarıyla birlikte model veya adaptör dosyaları
- Inference ve devreye alma ayarları
- Değerlendirme raporu, yayın ölçütleri ve işletim notları
Sık sorulan sorular
Bir LLM'e fine-tuning yapmak için ne kadar veri gerekir?
Sabit bir sayı yok. Dar ve tutarlı bir görev, kontrol edilmiş az sayıda örnekle de iyileşebilir, daha geniş görevler daha fazlasını ister. Ek veriye yatırım yapmadan önce bunun ne kadar işe yarayacağını pilot çalışma gösterir.
Bir LLM'e şirket belgelerimizle fine-tuning yapabilir miyiz?
Yalnızca kullanma izniniz varsa ve belgeler istenen davranışı gösteriyorsa. Sık değişen bilgileri modele öğretmek yerine belgelerden aratmak çoğu zaman daha iyidir. Kişisel veya gizli veriyi de mümkün olduğunca az tutmak gerekir.
Fine-tuning yapılan model kendi sunucularımızda çalışabilir mi?
Seçilen modelin lisansı izin veriyorsa çalışabilir. Bu durumda eğitilen model sizin yönettiğiniz sunucularda çalışır.
Gereksinimlerimiz değişirse fine-tuning yapılan modele ne olur?
Modelin her sürümü saklanır. Değişiklik yeni bir sürüm olarak test edilir. Yenisi onaylanana kadar mevcut sürüm kullanımda kalır.
Teknik kaynaklar
Birlikte çalışalım
Üzerinde çalıştığınız konuyu birkaç satırla anlatın, size geri dönelim.
Blogdan
Tüm yazılar
LLM fine-tuning için 50 örnek yeter mi?
LLM fine-tuning için kaç örnek gerekir? İlk deneye kaç örnekle başlanacağını görevin kapsamı, veri çeşitliliği, temel model ve değerlendirme yöntemi belirler.
Yazıyı okuyun
LLM fine-tuning için veri nasıl hazırlanır?
Mevcut kayıt ve belgelerden fine-tuning için eğitim örnekleri hazırlamayı ve bu örnekleri eğitimden önce kontrol etmeyi ele alıyoruz.
Yazıyı okuyun
LLM'i kendimiz mi çalıştıralım, API mi kullanalım?
Açık uçlu işlerde API iyi bir başlangıç. Dar, tekrarlanan işlerde kendi çalıştırdığınız küçük bir model maliyet, gizlilik ve kontrol açısından öne geçebilir.
Yazıyı okuyun