Bu hafta içerisinde Cerebras Systems derin öğrenme için 13,5 milyon çekirdekli Andromeda yapay zeka üstün bilgisayarını tanıttı. Cerebras’a nazaran Andromeda, 16 bit yarı hassasiyette birden fazla 1 exaflop (saniyede 1 kentilyon işlem) yapay zeka hesaplama gücü sağlıyor. Andromeda harika bilgisayarı temelinde birbirine bağlanmış 16 adet Cerebras C-2 kümesiyle inşa edilmiş durumda. Her CS-2 bünyesinde 8,5 inç boyutunda ve 850.000 çekirdeğe sahip 2.6 trilyon transistör içeren Wafer Scale Engine çipini (WSE 2) içeriyor.
Tabak boyutunda işlemci
Cerebras, Andromeda’yı California, Santa Clara’daki bir bilgi merkezinde 35 milyon dolara inşa etmiş durumda. Büyük lisan modellerinin eğitimi ve karmaşık yapay zeka temelli akademik ve ticari işlemciler için bu sistem kullanılacak. Cerebras basın açıklamasında “Andromeda, GPT-3, GPT-J ve GPT-NeoX dahil olmak üzere GPT sınıfı büyük lisan modellerinde kolay data paralelliği yoluyla harikaya yakın ölçeklendirme sağlıyor” diye belirtiyor. 
Cerebras’a nazaran “Mükemmele yakın ölçeklendirme” tabiri, Cerebras Andromeda‘ya daha fazla CS-2 bilgisayar ünitesi ekledikçe, hudut ağlarındaki eğitim mühletinin “mükemmele yakın oranda” azaldığı manasına geliyor. Tipik olarak, GPU tabanlı sistemleri temel alan sistemlerde ünite sayısı artıkça getirinin de azaldığı görülmekte. Lakin Cerebras, üstün bilgisayarının GPU tabanlı sistemlerin yapamadığı vazifeleri gerçekleştirebileceğini sav ediyor. Örnek vermek gerekirse, Andromeda’nın, GPT-J’de 2,5 milyar ve 25 milyar parametrede, uzun dizi boyutlarında harikaya yakın ölçekleme elde edebildi. Lakin tıpkı işi, 2.000 Nvidia A100 bulunan GPU tabanlı bir sistem “yetersiz bant genişliği” nedeniyle gerçekleştiremedi. Andromeda’nın başka üstün bilgisayarlara karşı durumu nasıl? Şu anda dünyanın en süratlisi olan Frontier, Oak Ridge Ulusal Laboratuarlarında bulunuyor ve 64 bitlik çift hassasiyette 1.103 exaflop suratında performans gösterebiliyor. Bu bilgisayarın üretimi 600 milyon dolara mal oldu.
