Duże modele językowe (LLM) to podstawowa technologia, która napędza błyskawiczny rozwój generatywnych chatbotów opartych na sztucznej inteligencji. Wszystkie narzędzia, takie jak ChatGPT, Google Bard i Bing Chat, wykorzystują LLM do generowania ludzkich odpowiedzi na Twoje pytania i podpowiedzi.

Ale czym są LLM i jak działają? Tutaj postanowiliśmy wyjaśnić LLM.

Co to jest duży model językowy?

Mówiąc najprościej, LLM to ogromna baza danych tekstowych, do których można się odwoływać w celu generowania ludzkich odpowiedzi na Twoje podpowiedzi. Tekst pochodzi z różnych źródeł i może zawierać miliardy słów.

Wśród typowych źródeł wykorzystywanych danych tekstowych są:

  • Literatura: LLM często zawierają ogromne ilości literatury współczesnej i klasycznej. Może to obejmować książki, poezję i sztuki teatralne.
  • Zawartość online: LLM najczęściej zawiera duże repozytorium treści online, w tym blogi, treści internetowe, pytania i odpowiedzi na forum oraz inny tekst online.
  • Wiadomości i sprawy bieżące: Niektóre, ale nie wszystkie, LLM mają dostęp do aktualnych tematów wiadomości. Niektóre LLM, takie jak GPT-3.5, są ograniczone w tym sensie.
    instagram viewer
  • Media społecznościowe: Media społecznościowe stanowią ogromny zasób języka naturalnego. LLM używają tekstu z głównych platform, takich jak Facebook, Twitter i Instagram.

Oczywiście posiadanie ogromnej bazy danych tekstu to jedno, ale LLM muszą zostać przeszkoleni, aby nadać mu sens i generować odpowiedzi podobne do ludzkich. Jak to robi, omówimy dalej.

Jak działają LLM?

W jaki sposób LLM używają tych repozytoriów do tworzenia swoich odpowiedzi? Pierwszym krokiem jest analiza danych za pomocą procesu zwanego głębokim uczeniem.

Głębokie uczenie się służy do identyfikacji wzorców i niuansów ludzkiego języka. Obejmuje to zrozumienie gramatyki i składni. Ale co ważne, zawiera również kontekst. Zrozumienie kontekstu jest kluczową częścią LLM.

Przyjrzyjmy się przykładowi, w jaki sposób LLM mogą wykorzystywać kontekst.

Podpowiedź na poniższym obrazku mówi o zobaczeniu nietoperza w nocy. Z tego ChatGPT zrozumiał, że mówimy o zwierzęciu, a nie na przykład o kiju bejsbolowym. Oczywiście inne chatboty lubią Czat Bing lub Google Bard może odpowiedzieć na to pytanie zupełnie inaczej.

Nie jest to jednak nieomylne i jak pokazuje ten przykład, czasami trzeba będzie podać dodatkowe informacje, aby uzyskać pożądaną odpowiedź.

W tym przypadku celowo rzuciliśmy trochę zakrzywioną piłkę, aby pokazać, jak łatwo traci się kontekst. Ale ludzie też mogą źle zrozumieć kontekst pytań i potrzebuje tylko dodatkowej zachęty, aby poprawić odpowiedź.

Aby wygenerować te odpowiedzi, LLM używają techniki zwanej generowaniem języka naturalnego (NLG). Obejmuje to zbadanie danych wejściowych i wykorzystanie wzorców wyuczonych z repozytorium danych w celu wygenerowania kontekstowo poprawnej i odpowiedniej odpowiedzi.

Ale LLM sięgają głębiej. Mogą również dostosowywać odpowiedzi do emocjonalnego tonu danych wejściowych. W połączeniu ze zrozumieniem kontekstowym te dwa aspekty są głównymi czynnikami, które pozwalają LLM na tworzenie reakcji podobnych do ludzkich.

Podsumowując, LLM używają ogromnej tekstowej bazy danych z kombinacją technik głębokiego uczenia się i NLG, aby tworzyć ludzkie odpowiedzi na twoje podpowiedzi. Istnieją jednak ograniczenia tego, co można osiągnąć.

Jakie są ograniczenia LLM?

LLM stanowią imponujące osiągnięcie technologiczne. Ale technologia jest daleka od doskonałości i wciąż istnieje wiele ograniczeń co do tego, co mogą osiągnąć. Niektóre z bardziej znaczących z nich wymieniono poniżej:

  1. Rozumienie kontekstowe: Wspomnieliśmy o tym jako coś, co LLM uwzględniają w swoich odpowiedziach. Jednak nie zawsze rozumieją to dobrze i często nie są w stanie zrozumieć kontekstu, co prowadzi do niewłaściwych lub po prostu błędnych odpowiedzi.
  2. Stronniczość: Wszelkie odchylenia obecne w danych treningowych mogą często występować w odpowiedziach. Obejmuje to uprzedzenia wobec płci, rasy, geografii i kultury.
  3. Zdrowy rozsądek: Zdrowy rozsądek jest trudny do oszacowania, ale ludzie uczą się tego od najmłodszych lat, po prostu obserwując otaczający ich świat. LLM nie mają tego nieodłącznego doświadczenia, na którym można się oprzeć. Rozumieją tylko to, co zostało im dostarczone poprzez dane treningowe, a to nie daje im prawdziwego zrozumienia świata, w którym egzystują.
  4. LLM jest tak dobry, jak jego dane szkoleniowe: Nigdy nie można zagwarantować dokładności. Stare powiedzenie komputerowe „Garbage In, Garbage Out” doskonale podsumowuje to ograniczenie. LLM są tylko tak dobre, jak pozwala im na to jakość i ilość ich danych szkoleniowych.

Istnieje również argument, że kwestie etyczne można uznać za ograniczenie LLM, ale ten temat wykracza poza zakres tego artykułu.

3 Przykłady popularnych LLM

Ciągły postęp sztucznej inteligencji jest obecnie w dużej mierze wspierany przez LLM. Tak więc, chociaż nie są one dokładnie nową technologią, z pewnością osiągnęły punkt krytycznego rozpędu i obecnie istnieje wiele modeli.

Oto niektóre z najczęściej używanych LLM.

1. GPT

Generative Pre-trained Transformer (GPT) jest prawdopodobnie najbardziej znanym LLM. GPT-3.5 zasila platformę ChatGPT używaną w przykładach w tym artykule, podczas gdy najnowsza wersja, GPT-4, jest dostępna poprzez subskrypcję ChatGPT Plus. Microsoft używa również najnowszej wersji na swojej platformie Bing Chat.

2. LaMDA

To jest początkowy LLM używany przez Google Bard, chatbot Google AI. Wersja, z którą Bard została początkowo wdrożona, została opisana jako „lite” wersja LLM. Mocniejsza iteracja PaLM LLM zastąpiła to.

3. BERT

BERT oznacza dwukierunkową reprezentację enkodera z transformatorów. Charakterystyka dwukierunkowa modelu różnicuje BERT z innych LLM, takich jak GPT.

Opracowano znacznie więcej LLM, a odgałęzienia są wspólne dla głównych LLM. W miarę ich rozwoju będą one nadal rosły pod względem złożoności, dokładności i przydatności. Ale co przyniesie przyszłość dla LLM?

Przyszłość LLM

Niewątpliwie będą one kształtować sposób, w jaki będziemy wchodzić w interakcje z technologią w przyszłości. Szybkie upowszechnienie modeli takich jak ChatGPT i Bing Chat jest tego dowodem. W krótkim terminie, Jest mało prawdopodobne, aby sztuczna inteligencja zastąpiła Cię w pracy. Ale wciąż nie ma pewności, jak dużą rolę w naszym życiu będą odgrywać w przyszłości.

Argumenty etyczne mogą jeszcze mieć wpływ na to, jak integrujemy te narzędzia ze społeczeństwem. Jednak odkładając to na bok, niektóre z oczekiwanych zmian LLM obejmują:

  1. Poprawiona wydajność:Dzięki systemom LLM zawierającym setki milionów parametrów są one niezwykle głodne zasobów. Dzięki ulepszeniom sprzętu i algorytmów prawdopodobnie staną się bardziej energooszczędne. Przyspieszy to również czas reakcji.
  2. Poprawiona świadomość kontekstowa:LLM szkolą się sami; im więcej użytkowników i informacji zwrotnych otrzymują, tym lepsi się stają. Co ważne, odbywa się to bez dalszej poważnej inżynierii. Wraz z postępem technologicznym nastąpi poprawa w zakresie możliwości językowych i świadomości kontekstowej.
  3. Wyszkolony do określonych zadań:Narzędzia uniwersalne, które są publiczną twarzą LLM, są podatne na błędy. Jednak w miarę rozwoju i szkolenia użytkowników w zakresie określonych potrzeb LLM mogą odgrywać dużą rolę w takich dziedzinach, jak medycyna, prawo, finanse i edukacja.
  4. Większa integracja: LLM mogą stać się osobistymi asystentami cyfrowymi. Pomyśl o Siri na sterydach i masz pomysł. LLM mogą stać się wirtualnymi asystentami, którzy pomogą Ci we wszystkim, od sugerowania posiłków po zajmowanie się korespondencją.

To tylko kilka obszarów, w których LLM prawdopodobnie staną się większą częścią naszego życia.

LLM Transformacja i edukacja

LLM otwierają ekscytujący świat możliwości. Szybki rozwój chatbotów, takich jak ChatGPT, Bing Chat i Google Bard, jest dowodem na to, że zasoby są wylewane w pole.

Takie rozpowszechnienie zasobów może sprawić, że narzędzia te staną się bardziej wydajne, wszechstronne i dokładne. Potencjalne zastosowania takich narzędzi są ogromne, aw tej chwili dopiero drapiemy powierzchnię niesamowitego nowego zasobu.