Yapay zeka modellerini yerel sistemlerde çalıştırma merakı, donanım sınırlarını zorlayan ilginç projelerin ortaya çıkmasını sağlıyor. Son olarak bir kullanıcı, normal şartlarda sunucu sistemleri için tasarlanan kurumsal bir ekran kartını kişisel bilgisayarına uyarlayarak oldukça büyük bir dil modelini çalıştırmayı başardı.
Kurumsal Donanım Oyun Sistemine Entegre Edildi
Geliştirici ve donanım meraklıları, yüksek bellek kapasiteleri nedeniyle eski nesil kurumsal ekran kartlarına giderek daha fazla ilgi gösteriyor. Gerçekleştirilen son projede, NVIDIA Tesla V100 ekran kartı üzerinde bazı teknik modifikasyonlar yapıldı. Standart oyun bilgisayarlarında doğrudan kullanımı zor olan bu donanım, yapılan müdahalelerin ardından masaüstü sistemle uyumlu hale getirildi.
27B Parametreli Model Test Edildi
Yapılan donanım düzenlemesinin ana amacı, yüksek bellek gereksinimi duyan büyük dil modellerini yerel olarak çalıştırmaktı. Yapılan testlerde, sistemin 27B (27 milyar) parametre boyutuna sahip bir yapay zeka dil modelini sorunsuz şekilde çalıştırdığı görüldü. Bu tür büyük modeller, standart tüketici sınıfı ekran kartlarında genellikle bellek yetersizliği nedeniyle çalıştırılamıyor veya ciddi performans kayıpları yaşıyor.
Paspu Yorumu
Kurumsal pazara yönelik sunucu kartlarının bu şekilde bireysel projelerde değerlendirilmesi, yerel yapay zeka üretkenliği açısından oldukça heyecan verici bir adım. Tüketici sınıfı ekran kartlarında yüksek VRAM kapasitelerinin hâlâ oldukça yüksek fiyatlarla sunulması, kullanıcıları alternatif yollar aramaya itiyor. Tesla V100 gibi eski ama bellek bant genişliği yüksek kartların modifiye edilerek ev tipi sistemlere kazandırılması, bütçesini kısıtlı tutarak büyük yapay zeka modelleriyle çalışmak isteyenler için ciddi bir alternatif oluşturabilir. Ancak bu tür işlemlerin teknik bilgi, özelleştirilmiş soğutma çözümleri ve sürücü uyarlamaları gerektirdiğini unutmamak gerekiyor. Yine de bu tarz projeler, donanım dünyasındaki sınırların yazılım ihtiyaçlarıyla nasıl esnetilebildiğini net bir şekilde gösteriyor.
Kaynak: ShiftDelete
