Czy powinieneś korzystać z lokalnego LLM? 9 zalet i wad

Od czasu pojawienia się ChatGPT w listopadzie 2022 r. termin model dużego języka (LLM) szybko zmienił się z niszowego określenia dla maniaków sztucznej inteligencji w modne hasło na ustach wszystkich. Największą atrakcją lokalnego LLM jest możliwość odtworzenia możliwości chatbota, takiego jak ChatGPT, na komputerze bez bagażu wersji hostowanej w chmurze.

Istnieją argumenty za i przeciw konfigurowaniu lokalnego LLM na komputerze. Wytniemy szum i przedstawimy fakty. Czy powinieneś korzystać z lokalnego LLM?

Zalety korzystania z lokalnych LLM

Dlaczego ludzie tak chętnie zakładają własne duże modele językowe na swoich komputerach? Oprócz szumu i przechwalania się, jakie są praktyczne korzyści?

1. Mniej cenzury

Kiedy ChatGPT i Bing AI po raz pierwszy pojawiły się w Internecie, to, co oba chatboty chciały powiedzieć i zrobić, było zarówno fascynujące, jak i niepokojące. Bing AI zachowywała się ciepło i uroczo, jakby miała emocje. ChatGPT był skłonny użyć przekleństw, jeśli ładnie poprosiłeś. W tamtym czasie oba chatboty pomagały nawet w zrobieniu bomby, jeśli zastosujesz odpowiednie podpowiedzi. Może to brzmieć jak wiele odcieni zła, ale możliwość zrobienia czegokolwiek była symbolem nieograniczonych możliwości modeli językowych, które je napędzały.

Dziś oba chatboty zostały tak mocno cenzurowane że nie pomogą ci nawet napisać fikcyjnego kryminału ze scenami przemocy. Niektóre chatboty AI nie będą nawet rozmawiać o religii ani polityce. Chociaż LLM, które można skonfigurować lokalnie, nie są całkowicie wolne od cenzury, wiele z nich chętnie wykona dające do myślenia rzeczy, których nie zrobią publiczne chatboty. Jeśli więc nie chcesz, aby robot pouczał Cię o moralności podczas omawiania tematów osobistych, dobrym rozwiązaniem może być prowadzenie lokalnego LLM.

2. Lepsza prywatność danych

Jednym z głównych powodów, dla których ludzie wybierają lokalny LLM, jest zapewnienie, że wszystko, co dzieje się na ich komputerze, pozostanie na nim. Kiedy korzystasz z lokalnego LLM, to tak, jakbyś prowadził prywatną rozmowę w swoim salonie – nikt z zewnątrz nie może jej podsłuchiwać. Niezależnie od tego, czy eksperymentujesz z danymi karty kredytowej, czy prowadzisz poufne rozmowy osobiste z LLM, wszystkie powstałe dane są przechowywane tylko na Twoim komputerze. Alternatywą jest korzystanie z publicznie dostępnych LLM, takich jak GPT-4, które dają firmom odpowiedzialnym dostęp do informacji na czacie.

3. Korzystanie w trybie offline

Ponieważ Internet jest powszechnie dostępny i niedrogi, dostęp offline może wydawać się trywialnym powodem korzystania z lokalnego LLM. Dostęp offline może stać się szczególnie krytyczny w odległych lub odizolowanych lokalizacjach, gdzie usługi internetowe są zawodne lub niedostępne. W takich scenariuszach istotnym narzędziem staje się lokalny LLM działający niezależnie od połączenia internetowego. Dzięki niemu możesz kontynuować robienie tego, co chcesz, bez zakłóceń.

4. Oszczędności

Średnia cena dostępu do zdolnego LLM, takiego jak GPT-4 lub Claude 2, wynosi 20 USD miesięcznie. Chociaż może to nie wydawać się alarmującą ceną, nadal masz kilka irytujących ograniczeń dla tej kwoty. Na przykład w przypadku GPT-4, do którego można uzyskać dostęp za pośrednictwem ChatGPT, utkniesz z 50 wiadomościami na trzy godziny. Możesz przekroczyć te granice tylko poprzez przejście na plan ChatGPT Enterprise, co potencjalnie może kosztować tysiące dolarów. W przypadku lokalnego LLM po skonfigurowaniu oprogramowania nie ma miesięcznej subskrypcji w wysokości 20 USD ani kosztów powtarzających się. To jak kupno samochodu zamiast polegania na usługach wspólnych przejazdów. Na początku jest to drogie, ale z biegiem czasu oszczędzasz pieniądze.

5. Lepsza personalizacja

Publicznie dostępne chatboty AI mają ograniczone możliwości dostosowywania ze względów bezpieczeństwa i cenzury. Dzięki lokalnie hostowanemu asystentowi AI możesz w pełni dostosować model do swoich konkretnych potrzeb. Możesz przeszkolić asystenta na zastrzeżonych danych dostosowanych do Twoich przypadków użycia, poprawiając trafność i dokładność. Na przykład prawnik może zoptymalizować lokalną sztuczną inteligencję, aby generować bardziej precyzyjne informacje prawne. Kluczową korzyścią jest kontrola nad dostosowaniem do Twoich unikalnych wymagań.

Wady korzystania z lokalnych LLM

Zanim dokonasz zmiany, należy wziąć pod uwagę pewne wady korzystania z lokalnego LLM.

1. Zasobochłonne

Aby uruchomić wydajny lokalny LLM, potrzebujesz sprzętu najwyższej klasy. Pomyśl o wydajnych procesorach, dużej ilości pamięci RAM i prawdopodobnie dedykowanej karcie graficznej. Nie oczekuj, że laptop budżetowy za 400 dolarów zapewni dobre wrażenia. Reakcje będą boleśnie powolne, szczególnie w przypadku większych modeli sztucznej inteligencji. To jak uruchamianie najnowocześniejszych gier wideo — potrzebujesz solidnych specyfikacji, aby uzyskać optymalną wydajność. Możesz nawet potrzebować specjalistycznych rozwiązań chłodzących. Konkluzja jest taka, że ​​lokalne LLM wymagają inwestycji w sprzęt najwyższej klasy, aby uzyskać szybkość i responsywność, z których korzystasz w internetowych LLM (lub nawet je ulepszyć). Wymagania obliczeniowe po Twojej stronie będą znaczące w porównaniu z korzystaniem z usług internetowych.

2. Wolniejsze reakcje i gorsza wydajność

Powszechnym ograniczeniem lokalnych LLM jest dłuższy czas reakcji. Dokładna prędkość zależy od konkretnego modelu AI i użytego sprzętu, ale większość konfiguracji pozostaje w tyle za usługami online. Po otrzymaniu natychmiastowych odpowiedzi od ChatGPT, Bard i innych, lokalne LLM mogą czuć się wyjątkowo powolne. Słowa wypływają powoli, a nie szybko wracają. Nie jest to powszechnie prawdą, ponieważ niektóre wdrożenia lokalne osiągają dobrą wydajność. Jednak przeciętni użytkownicy borykają się z gwałtownym spadkiem szybkości korzystania z Internetu. Przygotuj się więc na „szok kulturowy” polegający na przejściu z szybkich systemów internetowych na wolniejsze lokalne odpowiedniki.

W skrócie, chyba że szukasz absolutnie najwyższej klasy konfiguracji (mówimy o AMD Ryzen 5800X3D z Nvidią RTX 4090 i wystarczająco dużo pamięci RAM, aby zatopić statek), ogólna wydajność lokalnego LLM nie będzie porównywalna z internetowymi chatbotami generującymi sztuczną inteligencję, których używasz wykorzystywany do.

3. Złożona konfiguracja

Wdrożenie lokalnego LLM wymaga więcej zaangażowania niż tylko rejestracja w internetowej usłudze AI. Dzięki połączeniu internetowemu Twoje konto ChatGPT, Bard lub Bing AI może być gotowe do rozpoczęcia monitowania w ciągu kilku minut. Skonfigurowanie pełnego lokalnego stosu LLM wymaga pobrania frameworków, skonfigurowania infrastruktury i integracji różnych komponentów. W przypadku większych modeli ten złożony proces może zająć wiele godzin, nawet w przypadku narzędzi, które mają na celu uproszczenie instalacji. Niektóre najnowocześniejsze systemy AI nadal wymagają głębokiej wiedzy technicznej, aby mogły działać lokalnie. Zatem w przeciwieństwie do internetowych modeli sztucznej inteligencji typu plug-and-play zarządzanie własną sztuczną inteligencją wymaga znacznych inwestycji technicznych i czasowych.

4. Ograniczona wiedza

Wiele lokalnych LLM utknęło w przeszłości. Mają ograniczoną wiedzę na temat bieżących wydarzeń. Pamiętasz, kiedy ChatGPT nie mógł uzyskać dostępu do Internetu? Kiedy mógłby udzielić jedynie odpowiedzi na pytania dotyczące wydarzeń, które miały miejsce przed wrześniem 2021 roku? Tak? Cóż, podobnie jak wczesne modele ChatGPT, modele języków hostowanych lokalnie są często trenowane tylko na danych sprzed określonej daty granicznej. W rezultacie od tego momentu brakuje im wiedzy na temat ostatnich wydarzeń.