NVIDIA Nemotron 3.5 Lightning ve NeMo Switchyard ile ajanlarda tek model dönemini zorluyor
30 milyar parametreli açık model uzman görevleri hedeflerken Switchyard her isteği uygun modele yönlendiriyor. Amaç hız, kalite ve maliyeti birlikte yönetmek.
30 milyar parametreli açık model uzman görevleri hedeflerken Switchyard her isteği uygun modele yönlendiriyor. Amaç hız, kalite ve maliyeti birlikte yönetmek.
NVIDIA, uzun süre çalışan ajan görevleri için 30 milyar parametreli karışım-uzman mimarisine sahip Nemotron 3.5 Lightning modelini ve istekleri uygun modele yönlendiren açık kaynak NeMo Switchyard kütüphanesini duyurdu.
Ne değişiyor?
Şirket, Lightning'in kendi sınıfındaki açık modellere göre dört kata kadar daha hızlı çıktı ve yüzde 30 daha kısa görev tamamlama süresi sağlayabildiğini söylüyor. Bu rakamlar NVIDIA testlerine dayanıyor. Switchyard ise kalite, gecikme ve maliyet önceliğine göre farklı modeller arasında seçim yapıyor.
Teknokesit bakışı
Ajan sistemlerinde en büyük modelin her adımda kullanılması pahalı ve yavaş olabilir. Planlama için güçlü, tekrar eden alt görevler için küçük model kullanmak daha dengeli bir mimari sunuyor. Bunun bedeli, yönlendiricinin yanlış model seçmesi halinde oluşabilecek kalite kaybı.
KAYNAKKaynağı görüntüle ↗
Yorumlar