Co to jest szafa grająca OpenAI i co możesz z nią zrobić?

Generatywna sztuczna inteligencja powoli rozprzestrzenia się na coraz więcej dyscyplin w branży kreatywnej. Zaczęło się od generatorów grafiki AI, a następnie rozprzestrzeniło się na pisanie z tekstem generowanym przez AI. Teraz możemy dodać muzykę do tej listy.

W niedalekiej przyszłości muzyka generowana przez sztuczną inteligencję, zrodzona od podstaw, stanie się rzeczywistością. W rzeczywistości jest to już możliwe dzięki Jukebox, modelowi sztucznej inteligencji OpenAI do tworzenia muzyki. Nie jest jeszcze dostępny w łatwej w użyciu aplikacji i nie brzmi jeszcze wystarczająco dobrze, ale kości algorytmiczne są.

Oto, co musisz wiedzieć o Jukebox OpenAI i co możesz z nim zrobić.

Jukebox: sztuczna inteligencja, która generuje muzykę jako surowy dźwięk

Jukebox to sieć neuronowa, która może generować muzykę w surowej formie audio, gdy podasz jej dane wejściowe, takie jak gatunek, wykonawca lub tekst. Został wydany w kwietniu 2020 roku przez OpenAI, tę samą firmę, która dostarczyła nam generator grafiki AI o nazwie Dall-E oraz chatbota AI o nazwie ChatGPT.

W przeciwieństwie do Dall-E, które szybko rozprzestrzeniło się na całym świecie i sprawiło, że sztuczna inteligencja stała się gorącym tematem wiadomości i mediów, Jukebox nie odnotował szerokiego zainteresowania po wydaniu. Jednym z powodów jest to, że nie ma przyjaznej dla użytkownika aplikacji internetowej — przynajmniej jeszcze nie.

Kod znajdziesz na Witryna OpenAI, wraz z dogłębnym wyjaśnieniem, jak działa proces kodowania i dekodowania.

Innym prawdopodobnym powodem jest to, że zajmuje to ogromną ilość czasu i mocy obliczeniowej. Aby dać ci wyobrażenie, tylko jedna minuta dźwięku może zająć 9 godzin. Będziesz potrzebować chęci do zbadania modelu w jego formie kodu, a także dużo cierpliwości, jeśli chcesz zobaczyć, co model AI może zrobić, aby wygenerować muzykę.

Lub możesz przejść do Eksplorator próbek Jukebox. To tutaj OpenAI opublikowało swoje eksperymenty z generowaniem piosenek na podobieństwo Elli Fitzgerald lub 2Pac.

żeby było jasne, inne narzędzia muzyczne AI istnieją, aby pomóc Ci wygenerować piosenkę, ale nie generują dźwięku od zera. Zamiast tego albo łączą nagrane wcześniej próbki, albo tworzą informacje MIDI, które są przesyłane przez cyfrowy syntezator.

Jak brzmi szafa grająca?

Wyniki Jukebox są rozpoznawalne, ale dziwne. Nietrudno zrozumieć kształt utworu i gatunek, do którego należy, ale jakość wyników sprawia, że ​​brzmi to tak, jakbyś słuchał najwcześniejszej nagranej muzyki: to znaczy przytłumionej dużą ilością hałas.

Można śmiało powiedzieć, że Jukebox nie zapewnia dźwięku o wysokiej wierności, jaki można usłyszeć w dobrych słuchawkach. Bardziej przypomina słuchanie muzyki ze stacji radiowej, która nie jest w pełni dostrojona do właściwej częstotliwości. Niektóre utwory są reedycjami, podczas gdy inne są kontynuacją istniejących utworów. Istnieje również kategoria dla nowatorskich artystów i stylów oraz niepublikowanych tekstów.

Pomimo jakości dźwięku, pierwsi eksperymentatorzy opisują, że są zachwyceni niesamowitym pięknem i dziwaczną naturą muzyki tworzonej przez Jukebox. „Jak ścieżka dźwiękowa do dokumentacji o nieznanym kraju o nieznanej kulturze” – pisze Merzmench na Medium.

Obecnie wyniki są dalekie od wystarczająco dobrych, aby skopiować, a nawet zastąpić muzykę stworzoną przez ludzi, ale technologia szybko się rozwija i wkrótce modele takie jak Jukebox będą w stanie osiągnąć te wyczyny zbyt.

Jak trenowano szafę grającą OpenAI

Częścią tego, jak Jukebox jest w stanie tworzyć muzykę, która nigdy wcześniej nie istniała, jest to, że jest szkolony na muzyce prawdziwych muzyków. OpenAI wyjaśnia, że:

„Aby wytrenować ten model, przeszukaliśmy sieć, aby stworzyć nowy zestaw danych zawierający 1,2 miliona utworów (z czego 600 000 jest w języku angielskim), w połączeniu z odpowiednimi tekstami i metadanymi z LyricWiki”.

Wyszukiwanie danych to praktyka stosowana przez niektóre firmy zajmujące się sztuczną inteligencją do tworzenia zestawu danych, z których model AI może się uczyć i podejmować decyzje podczas generowania obrazu, tekstu — lub w tym przypadku — muzyki. Zbiory danych utworzone przez indeksowanie są kontrowersyjne, ponieważ przede wszystkim nie uzyskuje się zgody właścicieli danych. Chociaż niektóre platformy na to pozwalają zrezygnować z umieszczania treści w zestawach danych.

Można by pomyśleć, że 1,2 miliona piosenek to dużo, ale dla porównania Dall-E 2 został przeszkolony na setkach milionów par obraz-tekst z Internetu. Mając to na uwadze, Jukebox ma swoje ograniczenia.

Jego stosunkowo niewielka pula treningowa nie jest w stanie uchwycić bogactwa i różnorodności ludzkiej muzyki. OpenAI stwierdziło, że jest w dużej mierze przeszkolone w zakresie muzyki zachodniej, co stanowi wyraźne nastawienie do tego, jaką muzykę jest w stanie generować.

Co możesz zrobić z szafą grającą?

Więc, biorąc pod uwagę jego ograniczenia, co możesz zrobić z Jukebox? Szybkim sposobem na odpowiedź na to pytanie jest powiedzenie, czego nie można robić w Jukeboksie.

Ponieważ renderowanie jednej minuty muzyki zajmuje prawie pół dnia, nie jest to zbyt przydatne do tworzenia muzyki. Przynajmniej nie w tradycyjnym tego słowa znaczeniu. Zwykle muzycy poruszają się w tę iz powrotem między grą na instrumencie (improwizacja) a planowaniem struktury utworu. Ten sam rodzaj eksperymentowania nie jest możliwy w przypadku Jukebox.

Ponieważ na tym etapie nie jest łatwo stworzyć piosenkę za pomocą Jukebox, możesz myśleć o tym bardziej jako o nowatorskim sposobie generowania sampli muzycznych. Po wygenerowaniu dźwięku, który Ci się podoba, możesz go używać w swoich kreatywnych projektach, jak zwykle.

Poniższy film jest wynikiem kogoś, kto użył muzyki utworzonej za pomocą Jukebox, aby podkreślić krótki montaż wideo.

Sztuczna inteligencja ma szeroki zakres zastosowań również poza aplikacjami kreatywnymi, dlatego warto zrozumienie, czym jest sztuczna inteligencja i jakie stwarza niebezpieczeństwa.

Czy jesteś poruszony muzyką AI?

Muzyka generowana przez Jukebox nie jest łatwa do odrzucenia, a mimo całej swojej dziwaczności i niesamowitej jakości człowiek-maszyna, w końcu brzmi jak muzyka. Podczas gdy przemysł muzyczny od jakiegoś czasu korzysta z narzędzi AI, możliwość generowania muzyki jako surowego dźwięku jest dopiero teraz rzeczywistością.

Ale chociaż modele takie jak Jukebox istnieją, nie zostały jeszcze umieszczone w komercyjnym narzędziu i nadal nie dorównują możliwościom ludzkich muzyków.