Multimodal yapay zeka geliştirme
Multimodal bir uygulama, farklı biçimlerde gelen bilgileri bir araya getirir. Teknik bir çizim hakkındaki soruyu yanıtlayabilir, ürün fotoğrafını yazılı şartnameyle karşılaştırabilir veya kaydedilmiş bir saha incelemesini yapılandırılmış bulgulara dönüştürebilir.
İşe girdileri ve çıktıları tam olarak tanımlayarak başlıyoruz. Ardından tek bir multimodal modelin mi, yoksa daha fazla kontrol sağlayan ayrı bileşenlerin mi uygun olduğuna karar veriyoruz.
Multimodal yapay zeka ne yapar?
Multimodal sistem aynı görevde birden fazla bilgi türüyle çalışır: örneğin metni görüntüyle ya da sesi videoyla ve yapılandırılmış kayıtlarla birlikte kullanır. Ya ayrı bileşenlerin sonuçlarını birleştirir ya da bu girdilerin hepsini birlikte değerlendirebilen tek bir model kullanır.
Fotoğraftaki hasarlı parçayı bulmak bilgisayarlı görü işidir. Hasarı bakım kılavuzuyla karşılaştırıp kaynağını gösteren bir onarım talimatı yazmak ise multimodal bir iştir.
Neler geliştiriyoruz?
Her işi, belirli girdilerden tek bir çıktı üreten bir görev olarak tanımlıyor ve kendi örneklerinizle test ediyoruz.
Belge inceleme
Karışık sayfa düzenlerini okur, tanımlı soruları yanıtlar ve her bulgunun dayandığı sayfayı ya da bölgeyi saklar.
sayfalar + metin + tablolar → alanlar + bulgular + kaynaklar
Görsel destek
Müşteri mesajıyla birlikte fotoğraf gönderdiğinde sistem ikisine birden bakarak sorunu sınıflandırır, eksik bilgi varsa ister.
müşteri mesajı + görüntü → tanı + sonraki adım
Operasyon videoları
Tanımlı olayları bulur, konuşmayı görünen hareketlerle ilişkilendirir ve zaman damgalı bir kayıt üretir.
video + ses + zaman damgaları → olaylar + özet
Ürün arama
Ürünler önce görsel benzerliğe göre bulunur, sonra katalog özellikleri, stok durumu ve iş kurallarıyla elenir.
görüntü + metin filtreleri → sıralı ürünler
Saha raporlama
Sahada toplanan bilgileri, zorunlu alanları ve inceleme bağlantılarını içeren bir kayıtta birleştirir.
fotoğraf + sesli not + konum → yapılandırılmış rapor
Grafik ve çizimler
Grafikleri, çizimleri ve diyagramları şekil açıklamalarıyla birlikte okur, kontrol edilebilir değerlere ya da açıklamalara çevirir.
diyagram + şekil açıklaması + metin → değerler + açıklama
Hangi durumlarda uygun?
Girdiler farklı biçimlerde geliyorsa
Yanıt iki tür girdiyi birlikte değerlendirmeyi gerektirir: örneğin bir fotoğrafla yazılı şartnameyi ya da videoda söylenenle görüneni.
Bilgisayarlı görü yetebilir
İhtiyaç duyduğunuz sonuç (bir etiket, bir ölçüm ya da bir kusur) yalnızca görüntüden veya videodan çıkıyorsa bilgisayarlı görü tek başına işinizi görür.
Tek model mi, bileşenlerden oluşan bir işlem hattı mı?
Seçimi en çok, her adımı ne kadar yakından izlemek ve kontrol etmek istediğiniz belirler. Doğruluk, maliyet, yanıt süresi ve kurulum kısıtları da hesaba katılır.
Tek multimodal model
Medya ve talimat tek bir modele gider, yanıt ya da yapılandırılmış çıktı geri gelir. Karışık belgeler, görsel sorular ve tek modelin kalite ile gizlilik gereksinimlerinizi karşıladığı görevler için uygundur.
Göreve özel bileşenlerden oluşan işlem hattı
OCR, nesne algılama, konuşma tanıma, belge arama, dil üretimi ve kurala dayalı doğrulama için ayrı bileşenler kullanır. Ara sonuçlar kontrol edilecekse, bileşenler farklı ortamlarda çalışacaksa ya da önemli bir adımı o işe özel bir model daha iyi yapıyorsa bu yol daha mantıklıdır.
Bir proje nasıl ilerler?
-
Girdileri ve çıktıyı netleştirmek
Kendi dosyalarınızdan örneklerle girdileri, çıktıyı ve neyin kabul edilebilir sayılacağını sizinle birlikte belirliyoruz.
-
Seçenekleri karşılaştırmak
Tek bir modeli ve bileşenlerden oluşan bir işlem hattını kendi dosyalarınızdan alınan örneklerde deniyor, gereksinimlerinizi karşılayanı seçiyoruz.
-
Her girdiyi hazırlamak
Sistem görüntüleri yeniden boyutlandırır, videodan kare seçer, sesi yazıya döker ve belgeleri ayrıştırır. Her sonuç, geldiği girdinin zaman damgasını ve koordinatlarını korur.
-
İş akışınıza bağlamak
Sonuçları onaylı kaynaklarla, sistemlerinizdeki kayıtlarla ve göreve özel kurallarla karşılaştırıyoruz. Sonuçlar iş akışınıza ya da arayüzünüze kaynak bağlantısı, güven puanı ve inceleme durumuyla birlikte ulaşır. Saklama politikanızın izin vermediği hiçbir veri tutulmaz.
Farklı girdi türlerini birlikte test etmek
Girdiler arası eşleşme
Sistem bir cümleyi görüntüdeki bir bölgeyle ya da bir sesi videodaki bir anla eşleştirdiğinde bu eşleşme doğru olmalı. Eşleşmeleri ayrıca test ediyoruz.
Görevin tamamı
Son çıktıyı, kullanılacağı görevdeki başarısına göre puanlıyoruz. İnsan incelemesi ve çıktıyı kullanan sistemlerdeki kontroller de bu değerlendirmeye dahildir.
Medyada gizlilik
Görüntülerdeki yüzler, kayıtlardaki sesler ve belgelerdeki kişisel veriler belirlenen kurallara göre işlenir. Bunların çıktılara sızmadığını test ediyoruz.
Neler teslim edilir?
- Girdi, çıktı ve kabul ölçütlerinin tanımı
- Kendi dosyalarınız üzerinde model ve mimari karşılaştırması
- Medya işleme ve model entegrasyonları; kapsamdaysa belge arama, araç bağlantıları ve yapılandırılmış doğrulama
- Girdi türlerini birlikte ölçen değerlendirme seti ve test raporu
- Ekibinize teslim edilen kod ve dokümantasyon
Sık sorulan sorular
Multimodal bir sistem uzun videoları işleyebilir mi?
İşleyebilir. Uzun videolar bölümlere ayrılır ve sistem yalnızca ilgili bölümlere daha yakından bakar.
Yanıtın görüntünün veya belgenin hangi kısmından geldiğini gösterebilir mi?
Genellikle gösterebilir. Dayandığı sayfayı, görüntüdeki bölgeyi ya da kayıttaki anı işaret edebilir.
Görüntü veya kaydın kalitesi düşükse ne olur?
Sistem daha iyi bir dosya isteyebilir, sonuca daha az güvendiğini belirtebilir ya da vakayı bir kişiye aktarabilir. Hangisini yapacağına canlıya almadan önce sizinle birlikte karar veriyoruz.
Hassas görüntü ve kayıtlar kendi ortamımızda kalabilir mi?
Evet. Her şey kendi ortamınızda çalışabilir ya da orijinal dosyalar sizde kalırken başka bir servise yalnızca onaylanan sonuçlar gönderilir.
Teknik kaynaklar
Birlikte çalışalım
Üzerinde çalıştığınız konuyu birkaç satırla anlatın, size geri dönelim.
Blogdan
Tüm yazılar
Yapay zeka model mimarisi nasıl seçilir?
Seçilen mimari, sistemin yalnızca nasıl çalışacağını değil, neyi öğrenebileceğini ve nerede sınıra dayanacağını da belirler.
Yazıyı okuyun
Yapay zeka projelerinde asıl iş çoğu zaman entegrasyondur
Bir projeye yapay zeka etiketi koymak, asıl işi görünmez kılabilir. Değer, modeli şirket verisine ve iş akışına bağlayan entegrasyondan gelir.
Yazıyı okuyun
Sentetik veri ne zaman kullanılmalı?
Gerçek veri azsa, hassassa veya henüz yoksa sentetik veri işe yarayabilir. Peki hangi durumlarda kullanmaya değer? Sonuçları iyileştirdiği nasıl anlaşılır?
Yazıyı okuyun