@SentientAGI uruchomiono dla 1.8 miliona użytkowników na liście oczekujących w ciągu 24 godzin i przetworzono 5.6 miliona zapytań w ciągu jednego tygodnia z konsekwentnie niskim opóźnieniem przez cały czas.
SentientAGI (Sentient Labs / Sentient Foundation) uruchomiło swój produkt AI, wieloagentowego asystenta czatu o nazwie Sentient Chat, zasilanego przez ich model open source Dobby 70B i agentowe przepływy pracy, i to eksplodowało. 1.8 miliona osób dołączyło do listy oczekujących w zaledwie 24 godziny, a w pierwszym tygodniu obsłużyli 5.6 miliona zapytań.
Wszystko to wydarzyło się bez większych spowolnień. Czas odpowiedzi pozostawał konsekwentnie szybki.
Wszystko uruchamiają na platformie wnioskowania Fireworks AI, która jest zapleczem, które rzeczywiście uruchamia model AI, gdy użytkownicy z nim rozmawiają. Ten system wykorzystuje nowe procesory graficzne Blackwell firmy NVIDIA, które są najnowszym sprzętem AI wysokiej klasy.
W porównaniu do ich starej konfiguracji prawdopodobnie opartej na starszych procesorach graficznych NVIDIA Hopper, to zapewnia o 25 do 50 procent lepszą efektywność kosztową. W praktyce oznacza to, że za tę samą kwotę pieniędzy i sprzętu mogą obsługiwać znacznie więcej użytkowników na GPU, radzić sobie z ogromnymi skokami ruchu bez dużych wzrostów kosztów i utrzymywać płynność wydajności nawet podczas wirusowego wzrostu.
Ogólny wniosek jest jasny. Otwarte źródło AI połączone z inteligentnymi platformami wnioskowania oraz nowoczesnym sprzętem umożliwia budowanie i skalowanie potężnych zdecentralizowanych systemów AI dla milionów użytkowników. Te systemy nie są zablokowane za dużymi platformami technologicznymi i mogą teraz konkurować w wydajności i ekonomice. To silny dowód na to, że otwarty ekosystem AI szybko dogania w zakresie skali produkcji.
