Sony Udostępnia funkcję tłumaczenia języka migowego w grze

Patent Sony: wbudowany w grę tłumacz języka migowego umożliwia graczom niesłyszącym i niemym granie w gry!

Firma Sony złożyła wniosek patentowy, aby zapewnić lepsze wrażenia z gry osobom niesłyszącym i niemym. Patent demonstruje technologię, która może w czasie rzeczywistym przetłumaczyć jeden język migowy na inny, użyteczny w grze.

Patent Sony: tłumacz w grze z amerykańskiego języka migowego (ASL) na japoński język migowy (JSL)

Planowane jest wykorzystanie sprzętu VR i obsługa poprzez gry w chmurze

Firma Sony złożyła wniosek patentowy, który dodaje funkcję tłumacza języka migowego w czasie rzeczywistym do wykorzystania w grach wideo. Patent zatytułowany „Tłumaczenie języka migowego w środowiskach wirtualnych” opisuje technologię umożliwiającą tłumaczenie amerykańskiego języka migowego (ASL) na japoński język migowy (JSL), zrozumiały dla osób mówiących po japońsku.

Sony twierdzi, że jego celem jest zbudowanie systemu, który pomoże niesłyszącym graczom, tłumacząc język migowy w czasie rzeczywistym podczas rozmów w grze. Technologia opisana w patencie umożliwiłaby wyświetlanie na ekranie wirtualnego wskaźnika lub awatara przekazywania języka migowego w czasie rzeczywistym. System najpierw przetłumaczy gesty języka migowego w jednym języku na tekst, następnie dokona konwersji tekstu na inny określony język, a na koniec przetłumaczy otrzymane dane na gesty języka migowego w innym języku.

„Przykłady wykonania niniejszego ujawnienia dotyczą sposobów i systemów przechwytywania języka migowego jednego użytkownika (np. Japończyka) i tłumaczenia języka migowego innemu użytkownikowi (np. osobie mówiącej po angielsku)” – opisuje Sony w patent. „Ponieważ języki migowe różnią się w zależności od regionu, języki migowe nie są językami uniwersalnymi. Wymaga to odpowiedniego uchwycenia języka migowego jednego użytkownika, zrozumienia jego języka ojczystego i wygenerowania nowego języka migowego dla innego użytkownika w postaci wyjściowej w jego ojczystym języku migowym .”

Sony podało przykład, że jednym ze sposobów wdrożenia tego systemu jest użycie sprzętu VR lub wyświetlaczy montowanych na głowie (HMD). „W niektórych przypadkach HMD łączy się z urządzeniem użytkownika, takim jak komputer osobisty, konsola do gier lub inne urządzenie komputerowe, za pośrednictwem połączenia przewodowego lub bezprzewodowego” – podaje Sony. „W niektórych przykładach urządzenie użytkownika renderuje grafikę wyświetlaną za pośrednictwem HMD, zapewniając użytkownikowi wciągające wrażenia wizualne w środowisku wirtualnym.”

Firma Sony zaproponowała ponadto, aby jedno urządzenie użytkownika mogło bezproblemowo komunikować się z innym urządzeniem użytkownika na serwerze gry za pośrednictwem sieci. „W niektórych przykładach serwer gry wykonuje wspólną sesję gry wideo, utrzymuje stan kanoniczny gry wideo i jej środowiska wirtualnego” – stwierdziła Sony – „a urządzenie użytkownika synchronizuje się z nią pod względem stanu środowiska wirtualnego .”

Dzięki tej konfiguracji użytkownicy mogą udostępniać treści i wchodzić w interakcje ze sobą w tym samym środowisku wirtualnym (tj. w grze) we współdzielonej sieci lub serwerze. Sony stwierdziło również, że w niektórych przykładach systemu serwer gier może stanowić część systemu gier w chmurze, który „renderuje i przesyła strumieniowo wideo” pomiędzy każdym urządzeniem użytkownika.