Jak uruchomić duży model językowy w systemie Linux (i dlaczego powinieneś)

Duże modele językowe mogą zrewolucjonizować sposób, w jaki żyjesz i pracujesz, i mogą prowadzić rozmowy i odpowiadać na pytania ze zmiennym stopniem dokładności.

Aby z niego skorzystać, zwykle potrzebujesz konta u dostawcy LLM i zalogowania się za pośrednictwem strony internetowej lub dedykowanej aplikacji. Ale czy wiesz, że możesz uruchomić swój własny duży model językowy całkowicie offline w systemie Linux?

Po co uruchamiać duży model językowy w systemie Linux?

Duże modele językowe (LLM) są obecnie wszędzie i mogą przetwarzać język naturalny i dawać odpowiednie odpowiedzi, które mogą oszukać cię, myśląc, że odpowiedział człowiek. Microsoft wprowadza nową wersję Bing opartą na sztucznej inteligencji, podczas gdy alfabet Bard jest teraz integralną częścią wyszukiwań Google.

Z dala od wyszukiwarek możesz używać tak zwanych „czatbotów AI”, aby odpowiadać na pytania, komponować poezję, a nawet odrabiać za Ciebie pracę domową.

Ale uzyskując dostęp do LLM online, polegasz na dobrej woli zewnętrznego dostawcy, który można wycofać w dowolnym momencie.

Podlegasz również ograniczeniom użytkowania. Na przykład poproś OpenAI o napisanie erotycznej noweli na 6000 słów, której akcja toczy się w nazistowskich Niemczech, a otrzymasz odpowiedź w stylu „Przepraszam, ale nie będę w stanie wygenerować dla ciebie tej historii”.

Wszystko, co wprowadzasz do internetowych LLM, jest wykorzystywane do dalszego szkolenia ich, a dane, które możesz chcieć zachować jako poufne, mogą zostać wypluwane w przyszłości w ramach odpowiedzi na pytanie innej osoby.

Jesteś również narażony na brak usług, ponieważ system jest zalewany przez użytkowników i nagabywany, aby subskrybować, abyś mógł uzyskać dostęp do platformy, gdy popyt jest wysoki.

Dalai to darmowa i otwarta implementacja LLM LLM Meta i Alpaca Stanforda. Będzie działać wygodnie na skromnym sprzęcie i zapewnia wygodny interfejs sieciowy oraz szereg szablonów monitów — dzięki czemu możesz pytać, o co chcesz, bez obawy, że administrator zamknie Twoje konto, LLM odmówi odpowiedzi lub Twoje połączenie zostanie zerwane upuszczać.

Kiedy instalujesz LLM lokalnie w systemie Linux, jest on twój i możesz go używać w dowolny sposób.

Jak zainstalować Dalai w systemie Linux

Najłatwiejszym sposobem zainstalowania Dalai w systemie Linux jest użycie Docker i Docker Compose. Jeśli jeszcze ich nie masz, zapoznaj się z naszym przewodnikiem, jak to zrobić zainstaluj Dockera i Dockera Compose.

Mając to na uboczu, możesz rozpocząć instalację Dalai. Sklonuj repozytorium Dalai GitHub i użyj polecenia cd, aby się do niego przenieść:

klon gita https://github.com/cocktailpeanut/dalai.git && cd dalej

Aby uruchomić Dalai z interfejsem internetowym, najpierw zbuduj plik Docker Compose:

kompilacja dokera

Docker Compose pobierze i zainstaluje Python 3.11, Node Version Manager (NVM) i Node.js.

Na etapie siódmym z dziewiątym kompilacja wydaje się zawieszać, gdy Docker Compose pobiera Dalai. Nie martw się: sprawdź wykorzystanie przepustowości, aby upewnić się, że coś się dzieje i symuluj ewolucję wirtualnych organizmów w swoim terminalu podczas gdy czekasz.

W końcu powrócisz do wiersza polecenia.

Modele Dalai i LLaMa/Alpaca wymagają dużo pamięci do działania. Chociaż nie ma żadnej oficjalnej specyfikacji, dobrym przybliżonym przewodnikiem jest 4 GB dla modelu 7B, 8 GB dla modelu 13B, 16 GB dla modelu 30B i 32 GB dla modelu 65B.

Modele Alpaca są stosunkowo małe, a model 13B osiąga skromne 7,6 GB, ale wagi LLaMA mogą być ogromne: odpowiednik 13B do pobrania zajmuje 60,21 GB, a model 65B zajmie epickie pół terabajta na dysku twardym dysk.

Zdecyduj, który model jest najbardziej odpowiedni dla Twoich zasobów, i użyj następującego polecenia, aby go zainstalować:

docker-compose uruchom Dalai npx Dalai alpaca install 13B

Lub:

docker-compose uruchom dalai npx dalai lama zainstaluj 13B

Istnieje prawdopodobieństwo, że modele pobrane przez Dalai mogą być uszkodzone. Jeśli tak jest, chwyć je Przytulanie twarzy Zamiast.

Po powrocie do wiersza polecenia uruchom Docker Compose w trybie odłączonym:

tworzenie dokerów -d

Sprawdź, czy kontener działa poprawnie za pomocą:

tworzenie dokerów ps

Jeśli wszystko działa tak, jak powinno, otwórz przeglądarkę internetową i wprowadź lokalny host: 3000 w pasku adresu.

Baw się dobrze z własnym dużym modelem językowym w systemie Linux

Gdy otworzy się interfejs sieciowy, zobaczysz pole tekstowe, w którym możesz wpisać swoje podpowiedzi.

Pisanie skutecznych monitów jest trudne, a programiści Dalai udostępnili szereg szablonów, które pomogą ci uzyskać użyteczną odpowiedź od Dalai.

To są Dialog AI, Chatbot, Domyślny, Instrukcja, Przepisać, Tłumaczyć, I Tweet-sentyment.

Jak można się było spodziewać, tzw Dialog AI I Chatbot szablony są skonstruowane w sposób, który pozwala na prowadzenie pewnego rodzaju rozmowy z LLM. Główna różnica między nimi polega na tym, że chatbot ma być „wysoce inteligentny”, podczas gdy AI-Dialog jest „pomocny, miły, posłuszny, uczciwy i zna własne ograniczenia”.

Oczywiście to jest twoja „AI” i jeśli ci się podoba, możesz zmienić monit, aby chatbot był głupi, a cechy dialogu AI były „sadystyczne” i „nieprzydatne”. To zależy od Ciebie.

Przetestowaliśmy tzw Tłumaczyć kopiując pierwszy akapit wiadomości BBC i prosząc Dalaja o przetłumaczenie go na hiszpański. Tłumaczenie było dobre, a kiedy przepuściliśmy je przez Google Translate, aby zmienić je z powrotem na angielski, okazało się, że jest całkiem czytelne i odzwierciedla fakty i odczucia oryginalnego utworu.

Podobnie Przepisać szablon w przekonujący sposób zamienił tekst na początek nowego artykułu.

The Domyślny I Instrukcja podpowiedzi mają strukturę ułatwiającą zadawanie pytań lub bezpośrednie instruowanie Dalaja.

Dokładność Dalai w odpowiedzi będzie się znacznie różnić w zależności od używanego modelu. Model 30B będzie dużo bardziej użyteczny niż model 7B. Ale nawet wtedy pamiętasz, że LLM to po prostu wyrafinowane systemy do odgadywania następnego słowa w zdaniu.

Ani modele 7B, ani 13B Alpaca nie były w stanie zapewnić dokładnego 200-wyrazowego streszczenia opowiadania „Kot w Rain” Ernesta Hemingwaya, a obie stworzyły całkowicie przekonujące wątki fabularne i szczegóły dotyczące tego, czym jest ta historia zawarte.

I chociaż „pomocny, miły, posłuszny, uczciwy” AI-Dialog, który „zna swoje własne granice” i „wysoce inteligentny” Chatbot będzie się sprzeciwiał kontrowersyjnych monitów, możesz dać Dalajowi prostą Instrukcję lub Domyślną prośbę, a on napisze, co chcesz — jakkolwiek chcesz To.

Duży model językowy na Twojej maszynie z Linuksem należy do Ciebie

Uruchamiając duży model językowy na własnym systemie Linux, nie podlegasz nadzorowi ani wycofaniu usługi. Możesz z niej korzystać w dowolny sposób bez obawy o konsekwencje za naruszenie firmowej polityki treści.

Jeśli masz niewiele zasobów obliczeniowych, możesz nawet lokalnie uruchomić LLM na skromnym Raspberry Pi.