Czy aplikacja do tłumaczenia języka migowego stanie się rzeczywistością?

Reklama

Wyobraź sobie świat, w którym zniknęły bariery między głuchymi a słyszącymi. Świat, w którym rozmowy płyną płynnie między tymi, którzy słyszą dźwięk, a tymi, którzy go nie słyszą. Czy ten świat może stać się rzeczywisty w najbliższej przyszłości?

W czerwcu grupa studentów marketingu w Berghs School of Communication opracowała film koncepcyjny dla fikcyjnego produktu o nazwie Google Gesture. Produkt zawierał poręczną opaskę na nadgarstek i aplikację mobilną, która wykorzystywała elektromiografię do odczytywania ruchów mięśni głuchych osób posługujących się językiem migowym. Następnie system przekazał te sygnały do ​​aplikacji, która przetłumaczyła te sygnały na cyfrowy głos i przemówiła w imieniu osoby.

Oglądanie fałszywego filmu marketingowego było bardzo ekscytujące. W rzeczywistości tak ekscytujące, że główne witryny technologiczne, takie jak Mashable, Slashgear i inni, pierwotnie ogłosiły ten produkt jako prawdziwy, a następnie musiały powtórzyć roszczenie i przeprosić za swój błąd. To był dziwny błąd, biorąc pod uwagę, że tak naprawdę jest

jest produkt Google o nazwie Google Gesture Search [już niedostępny], który umożliwia rysowanie gestów na ekranie telefonu komórkowego w celu wyszukiwania kontaktów, zakładek i innych.

Niezależnie od tego koncepcja studentów Berghsa przedstawiła niezwykły pomysł, prowadzący do pytania - czy można stworzyć taką aplikację naprawdę?

Czy możliwe jest tłumaczenie języka migowego?

Analiza koncepcji marketingowej na poziomie technicznym pokazuje, że technologia wykorzystująca elektromiografię (EMG) do „wyczuwania” języka migowego wcale nie jest tak daleko idąca. Już w 2009 roku naukowcy z University of Washington byli w stanie wykorzystać wiele czujników EMG do dekodowania ruchów mięśni i przekształcania ich w rzeczywiste gesty rąk i dłoni.

Naukowcy zbudowali kompletną „bibliotekę rozpoznawania gestów”, która identyfikuje sygnały mięśni reprezentujące gest. Badanie dowodzi, że tego rodzaju technologia jest dostępna i gotowa do wdrożenia w rodzaju aplikacji przewidzianej przez studentów Berghsa.

Czy ktoś już to osiągnął? Jeśli nie, to dlaczego nikt tego nie robi i nie zapewnia osobom niesłyszącym i niedosłyszącym możliwości komunikowania się z kimkolwiek na świecie za pomocą języka migowego?

Przyszłość technologii tłumaczenia w czasie rzeczywistym

Prawda jest taka, że ​​ktoś faktycznie pracuje nad technologią tłumaczenia języka migowego w czasie rzeczywistym.

Istnieje firma o nazwie SpeechTrans [Broken URL Removed], która przekracza granice technologie tłumaczeniowe Zapomnij o Tłumaczu Google: 3 sposoby na dokładne, szybkie tłumaczenieNiezależnie od tego, czy planujesz ubiegać się o pracę lub mieszkanie za granicą, czy też chcesz przetłumaczyć swoją stronę internetową, musisz wszystko dobrze załatwić nawet w języku obcym. Czytaj więcej w ostatnich latach. SpeechTrans współpracuje z partnerami technologicznymi, aby stworzyć jedne z najbardziej niezwykłych obecnie dostępnych na rynku usług tłumaczeń w czasie rzeczywistym. Są to usługi, które tłumaczą czat tekstowy na czat tekstowy, głos na tekst, a nawet tłumaczenie języka głosowego w czasie rzeczywistym za pośrednictwem telefonu komórkowego i aplikacji komputerowych.

Aby sprawdzić, czy technologia języka migowego może stać się rzeczywistością w najbliższej przyszłości, MakeUseOf spotkał się z dyrektorem generalnym SpeechTrans Johnem Freim i dyrektorem generalnym Yanem Auerbachiem, aby omówić tę przełomową nowość technologia tłumaczenia Zrozumienie dowolnego języka dzięki 5 stronom z tłumaczeniami językowymiTechnologia sprawiła, że ​​świat jest mniejszy. Ludzie z każdej części tej planety używają wielu takich samych narzędzi, odwiedzają niektóre z tych samych stron internetowych i mieszają różne pokoje czatu online. ... Czytaj więcej i jak daleko może być w przyszłości.

Opracowanie aplikacji do tłumaczenia języka migowego

MUO: Czy możliwe jest wykonanie tłumaczenia języka migowego na mowę, które uczniowie Berghsa przedstawili w tym filmie koncepcyjnym Google Gesture?

Jan: Powiedziałbym, że technologia jest dostępna do tego. Obecnie współpracujemy z Microsoftem i Intelem w zakresie badań nad niektórymi technologiami, z których pochodzą, w zakresie sprzętu i oprogramowania. Przewidujemy możliwość użycia tej technologii do rozpoznawania języka migowego, a następnie konwersji go na mowę i dźwięk.

MUO: Czy teraz aktywnie pracujesz nad rozwojem tej technologii?

Yan: Tak więc był klient, który korzystał z naszego oprogramowania i pomyślał, że byłoby cudownie, gdybyśmy mogli go zmodyfikować, aby osoby niedosłyszące mogły go używać do nawiązywać połączenia telefoniczne z naszej aplikacji, aby komunikować się bez potrzeby używania języka migowego, gdy są osobiście, lub bez potrzeby korzystania z usługi typu TTY dla telefonu połączenia. Opracowaliśmy ten produkt, a dzięki środkom finansowym Microsoft i Intel uruchomiliśmy SpeechTrans dla osób niedosłyszących w systemie Windows 8.1, co eliminuje potrzebę używania języka migowego.

MUO: Jak działa aplikacja „osobiście”?

Yan: Jest tryb nasłuchiwania i tryb wprowadzania. Tak więc, gdy ktoś do ciebie mówi, włączasz tryb słuchania i wpisujesz wszystko, co mówi na ekranie w tekście. Następnie, kiedy odpowiadasz, piszesz to, a potem mówi głośno, co piszesz. Za pomocą telefonu wystarczy wybrać numer telefonu dowolnej osoby, a gdy odbierze telefon, stanie się to jak wiadomość błyskawiczna. Cokolwiek mówią, dostaniesz jako komunikator. Cokolwiek wpiszesz, zostanie wypowiedziane na głos przez telefon. To pierwszy etap.

Tłumaczenie języka bliskiego przyszłości

MUO: Jakie technologie mogą spodziewać się w najbliższej przyszłości? Jaki jest następny etap?

Jan: Przewidujemy - dla kogoś, kto ma tylko umiejętność posługiwania się językiem migowym - aby móc to zrobić przed urządzeniem takim jak telefon, komputer stacjonarny lub laptop. Intel ma nowy system kamer, a Microsoft radzi sobie również z Kinect, który rozpoznaje gesty.

MUO: W jaki sposób jest to lepsze niż koncepcja opaski na ramię zaproponowana przez studentów Berghsa?

Yan: Zasadniczo nasz będzie działał w taki sposób, że nie będzie wymagał od ciebie niczego na rękę. Rozpozna 64 punkty na twojej ręce. Korzystamy z wersji beta kamery RealSense Intela. Dzięki temu nie tylko będziemy w stanie rozpoznać cały język migowy i wiele różnych dialektów języka migowego, ale także także w stanie rozpoznać emocje, mimikę i inne małe niuanse, a następnie przekształcić je w słowa mówione jako dobrze.

To nie wymaga noszenia żadnych rękawiczek ani niczego. Koncentrujemy się na tym rynku, ponieważ po prostu lubimy pomagać ludziom w ogóle. Nie chcemy tylko pomagać ludziom, którzy chcą mówić w wielu różnych językach, ale chcemy także pomagać osobom, które nie mówią w żadnym języku. Technologia istnieje i nie ma powodu, dla którego ich jakość życia powinna być inna niż nasza.

Jan: To wykonalna koncepcja. To tylko inne wejście i wyjście. Niektóre rozmowy, które przeprowadziliśmy z Microsoftem na temat niektórych przyszłych technologii, są właśnie tam ktoś może wszczepić mikroczip w szyję, co bezpośrednio odczytuje falę mózgową wzory. Jeśli więc pomagasz ludziom, którzy nie potrafią się komunikować, faktycznie postrzegamy coś takiego jako wdrożenie fazy trzeciej.

W zeszłym roku grupa studentów wyszła z działającym prototypem rękawicy podłączonej do komputera. Gesty wykonane za pomocą rękawicy zostaną wówczas rozpoznane i przekształcone w język migowy. Dzięki temu mają już taką możliwość dzięki obecnej technologii.

Naszą wizją jest to, że tak naprawdę nie chcemy tworzyć akcesoriów, takich jak opaski na ramię, które musisz założyć. To powinno być naturalne i swobodne dla nich [ludzi posługujących się językiem migowym], aby robić to przed kamerą wideo. 90% tego, co ludzie mówią w komunikacji, faktycznie jest w mowie ciała. Będąc w stanie uzyskać dostęp do rozpoznawania twarzy, gestów i emocji, będziemy mogli wykorzystywać te dane jako dobrze, aby upewnić się, że tłumaczenie i to, co próbują przekazać, jest wyrażone po prawej stronie Formularz.

MUO: Czy Intel ma 5 lat na wprowadzenie tej technologii rozpoznawania języka migowego?

Jan: Intel zdecydowanie ma wiele dostępnych zasobów. Ich technologia i oprogramowanie idą w takim tempie, że możemy to zrobić dość szybko.

MUO: Czy masz ramy czasowe, kiedy zamierzasz wprowadzić tę technologię na rynek?

Jan: W przypadku języka migowego jest to około 12–18 miesięcy.

MUO: Czy ktoś jeszcze ma coś takiego do tłumaczenia języka migowego?

Jan: Widziałem film na YouTube, w którym IBM robi prototyp, w którym ktoś posługuje się językiem migowym, ale był to dowód koncepcji i miał tylko trzy lub cztery słowa, które rozpoznał. Mamy ponad pięćset tysięcy słów, które planujemy wprowadzić w życie, więc przeniesie je na zupełnie inny poziom.

Wniosek

Chociaż wizja, o której marzyli studenci Berghs, może nie stać się aplikacją do tłumaczenia języka migowego w przyszłości, nie oznacza to, że taka koncepcja się nie wydarzy. Prace wykonane w SpeechTran, Intel i Microsoft dowodzą, że tłumaczenie języka migowego z pewnością stanie się prawdziwą technologią w ciągu zaledwie kilku lat. Najprawdopodobniej nie będzie to wymagało nieporęcznych opasek na rękę, ale zamiast tego będzie to tylko specjalna kamera wideo i aplikacja mobilna.

Dzięki magii rozpoznawania gestów i twarzy, ta aplikacja do tłumaczenia języka migowego przyszłości całkowicie zrewolucjonizuje komunikację interpersonalną dla setek tysięcy niedosłyszący 5 najlepszych zasobów dla niepełnosprawnych użytkowników komputerów Mac i Apple Czytaj więcej lub niedosłyszących osób na całym świecie.