Opracuj i porównaj algorytmy uczenia się przez wzmacnianie za pomocą tego zestawu narzędzi.

Jeśli nie możesz zbudować modelu uczenia maszynowego od podstaw lub brakuje Ci infrastruktury, wystarczy połączyć aplikację z działającym modelem, aby rozwiązać lukę.

Sztuczna inteligencja jest tutaj, aby każdy mógł z niej korzystać w taki czy inny sposób. Jeśli chodzi o OpenAI Gym, istnieje wiele miejsc treningowych, które można eksplorować, aby nakarmić agentów uczenia się wzmacniającego.

Czym jest OpenAI Gym, jak działa i co można z niego zbudować?

Co to jest siłownia OpenAI?

OpenAI Gym to Pythonic API, które zapewnia symulowane środowiska szkoleniowe dla agentów uczenia się przez wzmacnianie, które działają w oparciu o obserwacje środowiskowe; każda akcja wiąże się z dodatnią lub ujemną nagrodą, która jest naliczana na każdym etapie. Podczas gdy agent dąży do maksymalizacji korzyści, zostaje ukarany za każdą nieoczekiwaną decyzję.

Krok czasowy to takt w czasie dyskretnym, aby środowisko przeszło do innego stanu. Dodaje się, gdy działania agenta zmieniają stan środowiska.

instagram viewer

Jak działa siłownia OpenAI?

Środowiska OpenAI Gym są oparte na procesie decyzyjnym Markowa (MDP), dynamicznym modelu podejmowania decyzji używanym w uczeniu się przez wzmacnianie. Wynika z tego, że nagrody pojawiają się tylko wtedy, gdy środowisko zmienia stan. Zdarzenia w następnym stanie zależą tylko od stanu obecnego, ponieważ MDP nie uwzględnia wydarzeń z przeszłości.

Zanim przejdziemy dalej, przyjrzyjmy się przykładowi, aby szybko zrozumieć zastosowanie OpenAI Gym w uczeniu się przez wzmacnianie.

Zakładając, że zamierzasz trenować samochód w grze wyścigowej, możesz rozkręcić tor wyścigowy w OpenAI Gym. W uczeniu się przez wzmacnianie, jeśli pojazd skręci w prawo zamiast w lewo, może otrzymać ujemną nagrodę -1. Tor wyścigowy zmienia się na każdym etapie i może się skomplikować w kolejnych stanach.

Negatywne nagrody lub kary nie są złe dla agenta w uczeniu się przez wzmacnianie. W niektórych przypadkach zachęca go do szybszego osiągnięcia celu. W ten sposób samochód z czasem uczy się trasy i opanowuje nawigację za pomocą serii nagród.

Zainicjowaliśmy np FrozenLake-v1 środowisko, w którym agent zostaje ukarany za wpadnięcie do przerębli lodowych, ale nagrodzony za odzyskanie pudełka z prezentami.

Nasz pierwszy przebieg wygenerował mniej kar bez nagród:

Jednak trzecia iteracja stworzyła bardziej złożone środowisko. Ale agent otrzymał kilka nagród:

Powyższy wynik nie oznacza, że ​​agent poprawi się w następnej iteracji. Chociaż następnym razem może z powodzeniem uniknąć większej liczby dziur, może nie otrzymać nagrody. Ale modyfikacja kilku parametrów może poprawić szybkość uczenia się.

Komponenty OpenAI Gym

API OpenAI Gym obraca się wokół następujących komponentów:

  • The środowiska gdzie szkolisz agenta. Możesz zainicjować jeden za pomocą siłownia.make metoda. OpenAI Gym obsługuje również środowiska wieloagentowe.
  • The opakowania do modyfikowania istniejącego środowiska. Chociaż każde środowisko podstawowe jest domyślnie spakowane, możesz je przeskalować za pomocą parametrów, takich jak max_actions, min_actions i max nagrody.
  • Jakiś działanie; określa, co agent robi, obserwując zmiany w swoim otoczeniu. Każda akcja w środowisku jest krokiem, który określa reakcję agenta na obserwacje. Zakończenie kroku zwraca obserwację, nagrodę, informacje oraz wartość skróconą lub końcową.
  • The obserwacja; definiuje doświadczenie agenta w środowisku. Po dokonaniu obserwacji następuje akcja wraz z informacjami. Parametr info to dziennik wykonania, który jest przydatny do debugowania. Po zakończeniu kroku środowisko resetuje się n razy, w zależności od liczby określonych iteracji.

Co możesz zrobić z OpenAI Gym?

Ponieważ OpenAI Gym umożliwia tworzenie niestandardowych środowisk edukacyjnych, oto kilka sposobów wykorzystania go w scenariuszu z życia wziętego.

1. Symulacja gry

Możesz wykorzystać środowiska gier OpenAI Gym, aby nagradzać pożądane zachowania, tworzyć nagrody w grach i zwiększać złożoność na każdym poziomie gry.

2. Rozpoznawanie obrazu

Tam, gdzie jest ograniczona ilość danych, zasobów i czasu, OpenAI Gym może być przydatne do opracowania systemu rozpoznawania obrazu. Na głębszym poziomie możesz to skalować, aby zbudować system rozpoznawania twarzy, który nagradza agenta za prawidłową identyfikację twarzy.

3. Szkolenie robotów

OpenAI Gym oferuje również intuicyjne modele środowiska do symulacji 3D i 2D, w których można zaimplementować pożądane zachowania w robotach. Roboszkoła to przykład skalowanego oprogramowania do symulacji robotów zbudowanego przy użyciu OpenAI Gym.

4. Marketing

Możesz także tworzyć rozwiązania marketingowe, takie jak serwery reklam, boty giełdowe, boty prognozujące sprzedaż, systemy rekomendacji produktów i wiele innych, korzystając z OpenAI Gym. Na przykład możesz zbudować niestandardowy model OpenAI Gym, który nakłada kary na reklamy na podstawie współczynnika wyświetleń i kliknięć.

5. Przetwarzanie języka naturalnego

Kilka sposobów zastosowania OpenAI Gym w przetwarzanie języka naturalnego to pytania wielokrotnego wyboru obejmujące dokończenie zdania lub budowanie klasyfikatora spamu. Na przykład możesz wyszkolić agenta, aby nauczył się odmian zdań, aby uniknąć stronniczości podczas oceniania uczestników.

Jak zacząć korzystać z siłowni OpenAI

OpenAI Gym obsługuje język Python 3.7 i nowsze wersje. Aby skonfigurować środowisko OpenAI Gym, musisz zainstalować Gimnazjum, rozwidlona, ​​stale podparta wersja gimnastyczna:

pip zainstaluj gimnazjum

Następnie rozkręć środowisko. Możesz jednak stworzyć niestandardowe środowisko. Ale zacznij od zabawy z istniejącym, aby opanować koncepcję OpenAI Gym.

Poniższy kod uruchamia plik FrozenLake-v1. The śr.reset metoda rejestruje wstępną obserwację:

import Gimnazjum Jak siłownia
env = gym.make(„Zamarznięte jezioro-v1”, tryb_renderowania="człowiek")
obserwacja, informacja = env.reset()

Niektóre środowiska wymagają do działania dodatkowych bibliotek. Jeśli musisz zainstalować inną bibliotekę, Python zaleca ją za pomocą komunikatu o wyjątku.

Na przykład zainstalujesz dodatkową bibliotekę (gimnazjum [tekst-zabawki]) uruchomić FrozenLake-v1 środowisko.

Wykorzystaj moc OpenAI Gym

Jedną z przeszkód w rozwoju sztucznej inteligencji i uczenia maszynowego jest brak infrastruktury i zestawów danych szkoleniowych. Ale gdy chcesz zintegrować modele uczenia maszynowego ze swoimi aplikacjami lub urządzeniami, wszystko jest teraz łatwiejsze dzięki gotowym modelom AI latającym po Internecie. Podczas gdy niektóre z tych narzędzi są tanie, inne, w tym OpenAI Gym, są bezpłatne i mają otwarte oprogramowanie.