Jaki jest limit tokenów ChatGPT i czy można go przekroczyć?

ChatGPT szturmem podbił świat technologii i nie brakuje ulepszeń i aktualizacji. Ale pomimo zastosowania zaawansowanej technologii, w obecnej wersji istnieje sporo czynników ograniczających.

Jednym z takich czynników jest system tokenów, który nadal przerywa cykl ewolucji, sprowadzając użyteczność aplikacji na kolana. Jeśli korzystasz z ChatGPT, możesz chcieć wiedzieć o tokenach ChatGPT i co zrobić, gdy zabraknie tokenów.

Cofnijmy się o krok i dajmy wgląd we wszystko, co trzeba wiedzieć o podstawowych mechanizmach działania aplikacji.

Co to jest token ChatGPT?

Jeśli przejdziesz przez fasadę aplikacji, wszystko, co zobaczysz, to język komputerowy, który wykonuje twoje polecenia i udziela odpowiedzi, których szukasz. Jednak backend to tylko dużo kodu, uczenie się co minutę i nadążanie za pytaniami, na które odpowiada.

ChatGPT konwertuje każde słowo na czytelny token za każdym razem, gdy zadajesz pytanie. Mówiąc dalej, tokeny to fragmenty tekstu, a każdy język programowania używa innego zestawu wartości tokenów, aby zrozumieć wymagania.

Ponieważ komputery nie rozumieją bezpośrednio wartości tekstowych, rozkładają je na kombinację liczb, często nazywaną osadzeniem. Możesz nawet rozważyć osadzenie, takie jak Listy Pythona, które przypominają listę powiązanych liczb, na przykład [1.1,2.1,3.1,4.1…n].

Gdy ChatGPT pobierze początkowe dane wejściowe, próbuje przewidzieć następne możliwe dane wejściowe na podstawie poprzednich informacji. Wybiera całą listę wcześniejszych tokenów i, używając swojej syntezy kodowania, próbuje uprzedzić kolejne dane wprowadzone przez użytkownika. Wykorzystuje i przewiduje jeden token na raz, aby ułatwić językowi zrozumienie użycia.

Aby udoskonalić przewidywania i poprawić dokładność, pobiera całą listę osadzeń i przekazuje ją przez warstwy transformatora w celu ustalenia powiązań między słowami. Na przykład, gdy zadasz pytanie typu „Kim jest Thomas Edison?”, ChatGPT wybiera najcenniejsze słowa z listy: Kto I Edison.

Warstwy transformatora mają swoją rolę do odegrania w całym procesie. Warstwy te są formą architektury sieci neuronowej wyszkolonej do wybierania najbardziej odpowiednich słów kluczowych z ciągu słów. Jednak proces uczenia nie jest tak prosty, jak się wydaje, ponieważ trenowanie warstw transformatora na gigabajtach danych zajmuje dużo czasu.

Chociaż ChatGPT przewiduje tylko jeden token na raz, jego technologia autoregresji jest zaprogramowana do przewidywania i przekazywania informacji zwrotnej do modelu podstawowego w celu uwolnienia danych wyjściowych. Model jest dostrojony do uruchamiania tylko raz dla każdego żetonu, więc wynik jest drukowany po jednym słowie na raz. Dane wyjściowe są zatrzymywane automatycznie, gdy aplikacja napotyka polecenie zatrzymania tokenu.

Na przykład, jeśli spojrzysz na kalkulator tokenów na stronie ChatGPT, możesz obliczyć wykorzystanie tokena na podstawie swoich pytań.

Wprowadźmy przykładowy tekst, na przykład:

Jak wyjaśnić użycie tokenów W ChatGPT?

Według kalkulatora w tym ciągu jest 46 znaków, co pochłonie 13 tokenów. Jeśli podzielisz to na identyfikatory tokenów, wygląda to mniej więcej tak:

[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]

Zgodnie z Kalkulator tokenów OpenAI:

Przydatną praktyczną zasadą jest to, że jeden token generalnie odpowiada ~4 znakom tekstu dla zwykłego tekstu w języku angielskim. Przekłada się to na mniej więcej ¾ słowa (czyli 100 tokenów ~= 75 słów).

Wolny vs. Płatne żetony

Aby dać ci przedsmak tego, co jest w aplikacji ChatGPT, OpenAI oferuje bezpłatną ograniczoną subskrypcję tokenów. Jeśli chcesz poeksperymentować z API ChatGPT, skorzystaj z bezpłatnego kredytu w wysokości 5 USD, który jest ważny przez trzy miesiące. Po wyczerpaniu limitu (lub zakończeniu okresu próbnego) możesz płacić zgodnie z rzeczywistym użyciem, co zwiększa maksymalny limit do 120 USD.

ChatGPT Plus: czy płatna subskrypcja jest tego warta?

Aby podnieść poziom, możesz nawet zarejestrować się w Oferta ChatGPT Plus, co oznacza zwrot o 20 USD miesięcznie. Biorąc pod uwagę szerokie zastosowanie i popularność całego modelu AI, oto najważniejsze cechy modelu płatnej subskrypcji:

• Dostęp do ChatGPT, nawet gdy strona ma przestoje z powodu napływu użytkowników
• Lepsze wskaźniki odpowiedzi
• Bezpośredni dostęp do nowych funkcji i wydań

Jeśli uważasz, że te funkcje są całkowicie tego warte i pasują do Ciebie, możesz zapisać się na płatną subskrypcję i natychmiast z niej skorzystać.

Struktura cen tokenów ChatGPT

Dostępnych jest kilka różnych modeli aplikacji, które można wybrać w zależności od wymagań:

Ada jest najszybsza, a DaVinci jest najpotężniejszym modelem z tej listy modeli. Monit jest pytaniem, podczas gdy uzupełnienie dotyczy odpowiedzi.

Maksymalne limity tokenów

Każdy model pozwala ustawić maksymalną liczbę tokenów w ramach każdego zapytania. Ta metoda kontroluje maksymalną liczbę tokenów generowanych przez aplikację w jednym wywołaniu, ograniczając dane wyjściowe. Funkcja max_token jest bardzo przydatna, zwłaszcza gdy chcesz kontrolować długość danych wyjściowych, unikając jednocześnie nadmiernego wykorzystania tokenów i kredytów. Domyślna długość jest ustalona na 2048 tokenów, podczas gdy maksymalna może być ustawiona na 4096 tokenów.

Ograniczenie użycia tokena może skutkować krótkimi odpowiedziami, które mogą ograniczyć dane wyjściowe i zepsuć wrażenia z użytkowania.

ChatGPT3 ma górny limit 4096; jednak wraz z wprowadzeniem ChatGPT4 limity tokenów zostały zwiększone w następujący sposób:

Jeśli dane wyjściowe są obcięte, musisz zwiększyć określony maksymalny limit z pulpitu nawigacyjnego. Pamiętaj, że suma podpowiedzi i maksymalnej liczby żetonów powinna być zawsze mniejsza niż maksymalna liczba żetonów modelu.

Na przykład w ramach modelu ChatGPT, prompt_tokeny + max_tokeny <= 4096 żetony.

Naucz się kontrolować monity ChatGPT, aby uzyskać najlepsze wyniki

Bez względu na to, jak korzystasz z aplikacji opartej na sztucznej inteligencji, prawdopodobnie będziesz musiał wymyślić sposoby inteligentnej gry z pytaniami i wyrażeniami. W zależności od wzorców użytkowania prawdopodobnie będziesz intensywnie używać ChatGPT do każdego zadania.

Aby uzyskać najlepsze wyniki, musisz nauczyć się pracować z metodologią tokenów i doskonalić swoje umiejętności, aby zapewnić, że limity użytkowania pozostaną nienaruszone, zapewniając jednocześnie najlepsze możliwe odpowiedzi.