Google PaLM 2 vs. OpenAI GPT-4: jaka jest różnica?

Firma Google zaprezentowała nową generację modelu Pathways Language Model (PaLM 2) 10 maja 2023 r. na konferencji Google I/O 2023. Jego nowy model dużego języka (LLM) oferuje wiele ulepszeń w stosunku do swojego poprzednika (PaLM) i może wreszcie być gotowy do zmierzenia się z największym rywalem, GPT-4 OpenAI.

Ale jak wiele ulepszeń wprowadziło Google? Czy PaLM 2 jest twórcą różnicy, na który Google ma nadzieję, że tak będzie, a co ważniejsze, przy tak wielu podobnych możliwościach, czym PaLM 2 różni się od GPT-4 OpenAI?

PaLM 2 vs. GPT-4: Przegląd wydajności

PaLM 2 jest pełen nowych i ulepszonych możliwości nad swoim poprzednikiem. Jedną z wyjątkowych zalet PaLM 2 w porównaniu z GPT-4 jest fakt, że jest on dostępny w mniejszych rozmiarach, specyficznych dla niektórych aplikacji, które nie mają tak dużej mocy obliczeniowej na pokładzie.

Wszystkie te różne rozmiary mają swoje własne mniejsze modele zwane Gecko, Wydra, Bizon i Jednorożec, przy czym Gecko jest najmniejszy, a następnie Wydra, Bizon i wreszcie Jednorożec, największy model.

Google twierdzi również, że poprawiła możliwości rozumowania w porównaniu z GPT-4 w WinoGrande i DROP, przy czym ta pierwsza ma wąski margines w ARC-C. Istnieje jednak znacząca poprawa we wszystkich dziedzinach, jeśli chodzi o PaLM i SOTA.

Według 91-stronicowej strony Google PaLM 2 jest również lepszy z matematyki artykuł badawczy PaLM 2 [PDF]. Jednak sposób, w jaki Google i OpenAI ustrukturyzowały swoje wyniki testów, utrudnia bezpośrednie porównanie tych dwóch modeli. Google pominęło również niektóre porównania, prawdopodobnie dlatego, że PaLM 2 nie działał tak dobrze jak GPT-4.

W MMLU GPT-4 zdobył 86,4, a PaLM 2 uzyskał 81,2. To samo dotyczy HellaSwag, gdzie punktował GPT-4 95,3, ale PaLM 2 mógł zebrać tylko 86,8, a ARC-E, gdzie GPT-4 i PaLM 2 uzyskały 96,3 i 89,7, odpowiednio.

Największym modelem z rodziny PaLM 2 jest PaLM 2-L. Chociaż nie znamy jego dokładnego rozmiaru, wiemy, że jest znacznie mniejszy niż największy model PaLM, ale wymaga więcej obliczeń szkoleniowych. Według Google'a, PaLM ma 540 miliardów parametrów, więc „znacznie mniejszy” powinien umieścić PaLM 2 w dowolnym miejscu między 10 a 300 miliardów parametrów. Należy pamiętać, że te liczby to tylko założenia oparte na tym, co Google powiedział w dokumencie PaLM 2.

Jeśli ta liczba jest bliska 100 miliardów lub mniej, PaLM 2 jest najprawdopodobniej mniejszy pod względem parametrów niż GPT-3.5. Biorąc pod uwagę, że model potencjalnie poniżej 100 miliardów może konkurować z GPT-4, a nawet pokonać go w niektórych zadaniach, jest imponujący. GPT-3.5 początkowo zdmuchnął wszystko z wody, w tym PaLM, ale PaLM 2 całkiem się poprawiło.

Różnice w danych treningowych GPT-4 i PaLM 2

Chociaż Google nie ujawnił rozmiaru zestawu danych szkoleniowych PaLM 2, firma informuje w swoim artykule badawczym, że nowy zestaw danych szkoleniowych LLM jest znacznie większy. OpenAI przyjęło to samo podejście, ujawniając GPT-4, nie twierdząc, że rozmiar zestawu danych treningowych.

Jednak Google chciał skupić się na głębszym zrozumieniu matematyki, logiki, rozumowania i nauk ścisłych, co oznacza, że ​​duża część danych szkoleniowych PaLM 2 koncentruje się na wyżej wymienionych tematach. Google twierdzi w swoim artykule, że korpus przedtreningowy PaLM 2 składa się z wielu źródeł, w tym dokumentów internetowych, książki, kod, matematyka i dane konwersacyjne, co zapewnia ulepszenia we wszystkich dziedzinach, przynajmniej w porównaniu do Palma.

Umiejętności konwersacyjne PaLM 2 również powinny być na innym poziomie, biorąc pod uwagę, że model został przeszkolony w ponad 100 językach, aby zapewnić lepsze zrozumienie kontekstu i lepsze tłumaczenie możliwości.

Jeśli dane treningowe GPT-4 zostały potwierdzone, OpenAI poinformowało nas, że wytrenowało model przy użyciu publicznie dostępnych danych i danych, na które uzyskało licencję. Strona badań GPT-4 stwierdza: „Dane to zbiór danych w skali internetowej, zawierający poprawne i niepoprawne rozwiązania problemów matematycznych, słabych i silne rozumowanie, wewnętrznie sprzeczne i spójne stwierdzenia oraz reprezentujące wielką różnorodność ideologii i pomysły”.

Kiedy GPT-4 zadaje pytanie, może generować wiele różnych odpowiedzi, z których nie wszystkie mogą być istotne dla twojego zapytania. Aby dostosować go do intencji użytkownika, OpenAI dostroiło zachowanie modelu za pomocą uczenia się przez wzmacnianie z ludzkimi opiniami.

Chociaż możemy nie znać dokładnych danych treningowych, na których szkolono którykolwiek z tych modeli, wiemy, że cel szkolenia był bardzo różny. Będziemy musieli poczekać i zobaczyć, jak ta różnica w intencjach szkoleniowych różni się między dwoma modelami w rzeczywistym wdrożeniu.

PaLM 2 i GPT-4 Chatboty i usługi

Pierwszym portalem, który umożliwia dostęp do obu LLM, jest użycie odpowiednich chatbotów, Bard PaLM 2 i ChatGPT GPT-4. To powiedziawszy, GPT-4 jest za paywallem z ChatGPT Plus, a darmowi użytkownicy mają dostęp tylko do GPT-3.5. Z drugiej strony Bard jest darmowy dla wszystkich i dostępny w 180 krajach.

Nie oznacza to również, że nie możesz uzyskać dostępu do GPT-4 za darmo. Bing AI Chat firmy Microsoft korzysta z GPT-4 i jest całkowicie bezpłatny, otwarty dla wszystkich i dostępny tuż obok wyszukiwarki Bing, największego rywala Google w tej dziedzinie.

Konferencja Google I/O 2023 wypełniona była ogłoszeniami o tym, jak PaLM 2 i integracja generatywnej sztucznej inteligencji poprawią Google Workspace doświadczenie z funkcjami sztucznej inteligencji dostępnymi w Dokumentach, Arkuszach, Prezentacjach, Gmailu i prawie każdej usłudze oferowanej przez giganta wyszukiwania. Ponadto Google potwierdziło, że PaLM 2 zostało już zintegrowane z ponad 25 produktami Google, w tym Androidem i YouTube.

Dla porównania, Microsoft wprowadził już funkcje sztucznej inteligencji do pakietu programów Microsoft Office i wielu swoich usług. W tej chwili możesz doświadczyć obu LLM w ich własnych wersjach podobnych ofert dwóch rywalizujących ze sobą firm walczących łeb w łeb w bitwie AI.

Jednak odkąd GPT-4 pojawił się wcześnie i był ostrożny, aby uniknąć wielu błędów popełnionych przez Google z oryginalnym Bardem, był to de facto LLM dla zewnętrznych programistów, startupów i prawie każdego, kto chce włączyć zdolny model AI do swoich usług, aby daleko. Mamy lista aplikacji GPT-4, jeśli chcesz je sprawdzić.

Nie oznacza to, że programiści nie przestawią się na PaLM 2 lub przynajmniej go nie wypróbują, ale Google wciąż musi dogonić OpenAI na tym froncie. A fakt, że PaLM 2 jest oprogramowaniem typu open source, zamiast być zablokowanym płatnym interfejsem API, oznacza, że ​​ma potencjał szerszego zastosowania niż GPT-4.

Czy PaLM 2 może zmierzyć się z GPT-4?

PaLM 2 jest wciąż bardzo nowy, więc odpowiedź na pytanie, czy poradzi sobie z GPT-4, pozostaje nieznana. Jednak biorąc pod uwagę wszystko, co Google obiecuje i agresywny sposób, w jaki zdecydował się go propagować, wygląda na to, że PaLM 2 może dać GPT-4 szansę na wygraną.

Jednak GPT-4 jest nadal całkiem sprawnym modelem i, jak wspomniano wcześniej, pokonuje PaLM 2 w kilku porównaniach. To powiedziawszy, wiele mniejszych modeli PaLM 2 daje mu niezaprzeczalną przewagę. Sam Gecko jest tak lekki, że może działać na urządzeniach mobilnych, nawet w trybie offline. Oznacza to, że PaLM 2 może obsługiwać zupełnie inną klasę produktów i urządzeń, które mogą mieć problemy z użyciem GPT-4.

Wyścig AI nabiera tempa

Wraz z premierą PaLM2 wyścig o dominację AI zaostrzył się, ponieważ może to być pierwszy godny przeciwnik, który zmierzy się z GPT-4. Dzięki nowszemu multimodalnemu modelowi sztucznej inteligencji o nazwie „Gemini”, który również jest w trakcie szkolenia, Google nie wykazuje tutaj żadnych oznak spowolnienia.