Apple Inc. (NASDAQ: AAPL) i Nvidia Corporation (NASDAQ: NVDA) ogłosiły współpracę mającą na celu poprawę wydajności dużych modeli językowych.
Co się wydarzyło: partnerstwo koncentruje się na integracji techniki Apple o nazwie Recurrent Drafter (ReDrafter) z TensorRT-LLM firmy Nvidia, aby zwiększyć szybkość generowania tekstu.
ReDrafter, który Apple udostępnił jako open source na początku tego roku, łączy wyszukiwanie wiązkowe (ang. beam search) z dynamiczną uwagą oparta na strukturze drzewiastej (ang. dynamic tree attention), aby poprawić wydajność dużych modeli językowych (LLM).
Współpraca z Nvidią doprowadziła do integracji ReDraftera z TensorRT-LLM, narzędziem zaprojektowanym do przyspieszania działania LLM na procesorach graficznych Nvidia.
Integracja wymagała dodania nowych operatorów, które poprawiają zdolność TensorRT-LLM do obsługi złożonych modeli i metod dekodowania.
Wyniki testów wydajności pokazują 2,7-krotne zwiększenie szybkości generowania tokenów w przypadku dekodowania zachłannego (ang. greedy decoding) na procesorach Nvidia, co znacząco zmniejsza opóźnienia i zużycie energii.
Badacze zajmujący się uczeniem maszynowym w Apple zauważyli, że ten postęp może obniżyć koszty obliczeniowe i poprawić doświadczenie użytkownika poprzez redukcję opóźnień w aplikacjach produkcyjnych.
Dlaczego jest to ważne: w październiku tego roku Apple ogłosił przychody za czwarty kwartał w wysokości 94,9 mld USD, przewyższając oczekiwania analityków, które wynosiły 94,56 mld USD.
W ubiegłym miesiącu Nvidia ogłosiła przychody za trzeci kwartał w wysokości 35,1 mld USD, co oznacza wzrost o 94% w porównaniu do roku poprzedniego i przekroczenie konsensusu analityków, wynoszącego 33,12 mld USD, zgodnie z danymi Benzinga Pro.
Razem te dwie gigantyczne firmy technologiczne są warte około 7 bln USD, przy czym Apple jest najcenniejszą firmą na świecie, a Nvidia zajmuje trzecie miejsce.