@SentientAGI a fost lansat pentru 1,8 milioane de utilizatori pe lista de așteptare în 24 de ore și a procesat 5,6 milioane de interogări într-o singură săptămână cu o latență constant scăzută pe parcurs.
SentientAGI (Sentient Labs / Sentient Foundation) și-a lansat produsul AI, un asistent de chat multi-agent numit Sentient Chat, alimentat de modelul lor open source Dobby 70B și fluxurile de lucru agentice și a explodat. 1,8 milioane de oameni s-au alăturat listei de așteptare în doar 24 de ore, iar în prima săptămână au gestionat 5,6 milioane de interogări.
Toate acestea s-au întâmplat fără întârzieri majore. Timpul de răspuns a rămas constant rapid.
Ei rulează totul pe platforma de inferență Fireworks AI, care este backend-ul care efectiv rulează modelul AI atunci când utilizatorii conversează cu acesta. Acest sistem folosește noile GPU-uri Blackwell de la NVIDIA, care sunt cele mai recente hardware-uri AI de vârf.
Comparativ cu configurația lor veche, probabil bazată pe GPU-uri NVIDIA Hopper, aceasta oferă o eficiență a costurilor mai bună cu 25 până la 50 la sută. În practică, acest lucru înseamnă că pentru aceeași sumă de bani și hardware pot deservi mult mai mulți utilizatori pe GPU, pot gestiona vârfuri uriașe de trafic fără creșteri majore ale costurilor și mențin performanța lină chiar și în timpul creșterii virale.
Întreaga concluzie este clară. Inteligența artificială open source combinată cu platforme inteligente de inferență și hardware de vârf face posibilă construirea și scalarea unor sisteme AI descentralizate puternice pentru milioane de utilizatori. Aceste sisteme nu sunt blocate în spatele platformelor mari de tehnologie și acum pot concura în performanță și economie. Este un punct de dovadă puternic că ecosistemul AI open este pe cale de a ajunge rapid la scară de producție.
