Podczas gdy OpenAI przoduje w rozwoju generatywnej sztucznej inteligencji, wielu zarzuca Google pozostawanie w tyle. Jednak, aby nie dać się prześcignąć, Google uruchomił nowy duży model językowy, PaLM 2, na konferencji Google I/O w 2023 roku.
Nowy LLM firmy Google, który ma być dostępny w czterech różnych rozmiarach dla szeregu aplikacji, najwyraźniej już obsługuje kilka usług Google, a wiele innych ma nadejść.
Co to jest PaLM2?
Podczas konferencji Google I/O 2023, która odbyła się 10 maja, dyrektor generalny Google, Sunda Pichai, ujawnił najnowszą zabawkę Google: PAL 2.
Skrót od Pathways Language Model 2, zaktualizowany LLM firmy Google to druga iteracja PaLM, a pierwsza wersja zostanie uruchomiona w kwietniu 2022 r. Nie pamiętasz PaLM? Cóż, w tamtym czasie była to wielka wiadomość i spotkała się z dużym zainteresowaniem ze względu na jej zdolność do rozmowy, opowiadania podstawowych dowcipów i tak dalej. Przewiń do przodu sześć miesięcy i OpenAI GPT-3.5 zdmuchnął wszystko z wody, w tym PaLM.
od tego czasu OpenAI uruchomiło GPT-4, ogromna aktualizacja GPT-3.5. Jednak podczas gdy nowszy model jest integrowany z wieloma narzędziami, w szczególności Bing AI Chat firmy Microsoft, Google celuje w w OpenAI i GPT-4 z PaLM 2 i ma nadzieję, że jego ulepszony LLM może wypełnić to, co wydawało się znaczącą luką - uruchomienie Google Bard nie było hukiem powodzenie.
Pichai ogłosił, że PaLM 2 będzie dostępny w czterech różnych rozmiarach modeli: Gecko, Otter, Bison i Unicorn.
Gecko jest tak lekki, że może działać na urządzeniach mobilnych i jest wystarczająco szybki dla świetnych interaktywnych aplikacji na urządzeniu, nawet w trybie offline. Ta wszechstronność oznacza, że PaLM 2 można precyzyjnie dostroić, aby obsługiwał całe klasy produktów na więcej sposobów, aby pomóc większej liczbie osób.
Ponieważ Gecko może przetwarzać około 20 tokenów na sekundę — tokeny to wartości przypisane prawdziwym słowom do wykorzystania przez generatywne modele sztucznej inteligencji — wygląda na to, że zmieni zasady gry dla mobilnych narzędzi sztucznej inteligencji.
PaLM 2 Dane treningowe
Google nie był zbyt otwarty na dane szkoleniowe PaLM 2, co jest zrozumiałe, biorąc pod uwagę, że właśnie został wydany. Ale Google PaLM 2 Raport [PDF] powiedział, że chce, aby PaLM 2 miał głębsze zrozumienie matematyki, logiki i nauk ścisłych oraz że duża część jego korpusu szkoleniowego skupiała się na tych tematach.
Mimo to warto zauważyć, że PaLM nie był garbaty. Gdy Google ujawnił PaLM, potwierdził, że został wyszkolony na 540 miliardach parametrów, co w tamtym czasie było kolosalną liczbą.
Przypuszcza się, że GPT-4 OpenAI wykorzystuje ponad bilion parametrów, a niektóre spekulacje szacują, że liczba ta sięga nawet 1,7 biliona. Można bezpiecznie założyć, że ponieważ Google chce, aby PaLM 2 konkurował bezpośrednio z LLM OpenAI, będzie miał co najmniej porównywalną liczbę, jeśli nie więcej.
Kolejnym znaczącym ulepszeniem PaLM 2 są dane dotyczące szkolenia językowego. Google przeszkolił PaLM 2 w ponad 100 językach, aby nadać mu większą głębię i zrozumienie kontekstu oraz zwiększyć możliwości tłumaczenia.
Ale to nie tylko języki mówione. Łącząc się z żądaniem Google, aby PaLM 2 dostarczał lepszego rozumowania naukowego i matematycznego, LLM ma został również przeszkolony w ponad 20 językach programowania, co czyni go fenomenalnym atutem dla programistów.
PaLM 2 już obsługuje usługi Google — ale nadal wymaga dopracowania
Niedługo będziemy mogli zdobyć PaLM 2 i zobaczyć, co potrafi. Przy odrobinie szczęścia uruchomienie jakichkolwiek aplikacji i usług PaLM 2 będzie lepsze niż Bard.
Ale mogłeś już (technicznie!) używać PaLM 2. Google potwierdził, że PaLM 2 jest już wdrożony i używany w 25 swoich produktach, w tym w systemach Android, YouTube, Gmail, Dokumentach Google, Prezentacjach Google, Arkuszach Google i innych.
Ale raport PaLM 2 ujawnia również, że wciąż pozostaje wiele do zrobienia, szczególnie w zakresie reakcji toksycznych w różnych językach.
Na przykład, gdy konkretnie podano toksyczne podpowiedzi, PaLM 2 generuje toksyczne reakcje w ponad 30 procentach przypadków. Co więcej, w określonych językach — angielskim, niemieckim i portugalskim — PaLM 2 dostarczył więcej toksycznych odpowiedzi w ponad 17 procentach przypadków, z podpowiedziami obejmującymi tożsamość rasową i religie, które zwiększają tę liczbę wyższy.
Bez względu na to, jak bardzo badacze próbują oczyścić dane szkoleniowe LLM, nieuniknione jest, że niektórzy się prześlizgną. Następną fazą jest kontynuowanie treningu PaLM 2 w celu zmniejszenia tych toksycznych reakcji.
To okres boomu dla dużych modeli językowych
OpenAI nie był pierwszym, który uruchomił duży model językowy, ale jego modele GPT-3, GPT-3.5 i GPT-4 niewątpliwie rozświetliły niebieski papier dotykowy w generatywnej sztucznej inteligencji.
Google PaLM 2 ma pewne problemy do rozwiązania, ale fakt, że jest już używany w kilku usługach Google, świadczy o zaufaniu, jakie firma ma do swojego najnowszego LLM.
