Groq prezentuje pierwszy akcelerator AI o mocy 1 PetaOPS'a

Najnowszy akcelerator AI ma zapewnić opóźnienia mniejsze nawet o 320 razy w porównaniu do konkurencyjnych rozwiązań Nvidii.

Groq to mała firma, o której do niedawna prawie nikt nie słyszał. Startup próbuje zbudować jeden z najszybszych akceleratorów AI dostępnych na rynku. Ma to być układ, który przekroczy próg 1 kwadrylionu operacji na sekundę. Oznacza to, że karta jest czterokrotnie szybsza od najmocniejszego rozwiązania tego typu produkowanego przez Nvidia.

Źródło: groq

Źródło: groq

Procesor strumieniowy Groq Tensor (TSP) wymaga do tego aż 300 W prądu na każdy rdzeń. Na szczęście karta ta w przeciwieństwie do konkurentów posiada zaledwie jeden rdzeń. Groq zmienił wadę akceleratorów AI w ich zaletę.

Zaprezentowany TSP został skonstruowany zupełnie inaczej, niż jakiekolwiek konkurencyjne karty graficzne, akceleratory AI i podobne układy. To spory kawałek krzemu, w którym znajdują się jedynie procesory wektorowe i matrycowe oraz pamięć cache. Zabrakło kontrolerów.

TSP podzielono na 20 super linii. Skomplikowany proces, jaki zachodzi wewnątrz super linii przyczynił się do znacznego wzrostu wydajności układu. Całość sprawia, że nowy procesor jest niezastąpiony podczas szkolenia sieci neuronowych. W tego typu zastosowaniach mały startup zmiata z powierzchni ziemi układy Tesla produkowane przez Nvidie.

W specyficznych zastosowaniach Groq Tensor TSP jest nawet dwa razy wydajniejszy od układu Nvidii. Niestety w wielu przypadkach okazuje się jednak, że nietypowa konstrukcja oraz brak oprogramowania, które potrafi ją efektywnie wykorzystać powoduje znaczny spadek wydajności. Dodatkowym problemem jest brak wbudowanej pamięci operacyjnej. Konkurencyjne układy Nivdii oferują nawet 32 GB RAM'u.

Do czego zatem wykorzystać tak specyficzny układ? Procesor firmy Groq w przyszłości może zostać wykorzystany w nowoczesnych samochodach. W autach ilość danych wejściowych i wyjściowych jest przewidywalna, a cały system nie jest rozbudowywany w trakcie jego cyklu życia. Oznacza to, że wykorzystanie procesora TSP w samochodzie może spowodować, że całość będzie znacznie wydajniejsza i zaoferuje opóźnienia mniejsze nawet o 320 razy.

Źródło: techspot.com