De in ontwikkeling zijnde Sony PlayStation 5 game console is de afgelopen tijd veel in het nieuws geweest. Eind volgend jaar zal de PS5 worden uitgebracht, zo heeft de fabrikant inmiddels bevestigd. Afgelopen week wist LetsGoDigital ook een nieuwe PlayStation VR headset met ingebouwde camera’s te onthullen, die nauwkeurige tracking mogelijk zal maken. Tijdens onze zoektocht zijn we erachter gekomen dat Sony Interactive Entertainment nóg een headset in ontwikkeling heeft, voor AR (Augmented Reality) gaming.
Allereerst even kort de verschillen tussen Augmented Reality en Virtual Reality. Bij AR worden er beelden aan de werkelijke wereld toegevoegd, Je blijft je dus bewust van de omgeving waarin je je verkeerd. Dit in tegenstelling tot VR, waarbij je een virtuele wereld betreedt en je dus geen erg meer hebt van de werkelijke omgeving. Dan zijn er nog enkele Mixed Reality headsets, deze zijn geschikt voor zowel AR als VR toepassingen.
Sony heeft al geruime ervaring met VR, ook op het gebied van AR is de Japanse fabrikant niet helemaal nieuw. Zo kun je met de PlayStation Vita ook eenvoudige AR spelletjes spelen, net zoals met de Nintendo 3DS overigens. Ook voor de smartphone zijn er verschillende AR spellen ontwikkelt, denk bijvoorbeeld aan Pokémon Go, wat drie zomers terug een bijzonder populaire AR game was.
Hoewel Augmented Reality games nog altijd in de kinderschoenen staat, zijn de verwachtingen voor de toekomst veelbelovend. Uit het volgende patent blijkt dat Sony ook een professionele oplossing in ontwikkeling heeft.
Sony wireless AR headset met stereoscopische camera’s
In thuisland Japan heeft Sony Interactive Entertainment een utility patent ingediend bij de JPO (Japan Patent Office). Op 11 juli 2019 werd het octrooi getiteld ‘Image processing device’ gepubliceerd. Er wordt een headset omschreven die voorzien is van 3 stereoscopische camera’s, oftewel 3×2 camera’s.
De HMD (head mounted display) beschikt zowel aan de voorkant als aan beide zijkanten over 2 camera’s (6 in totaal). Deze stereoscopische camera’s dienen om foto’s te nemen van de omgeving van de gebruiker. Middels deze 3D foto’s wordt de afstand berekend tussen verschillende objecten die zich in de kamer bevinden waarin de gebruiker zich verkeerd. Deze beelden worden vervolgens gebruikt om de ruimte in real-time te visualiseren.
Indien nodig krijgt de gebruiker een zogenaamde ‘guide image’ te zien, waarbij de gebruiker op een spelende wijze geïnstrueerd wordt een bepaalde positie aan te nemen, zodat de camera’s het object juist kunnen fotograferen en een volledige dieptemap van de omgeving gecreëerd kan worden.
Als voorbeeld wordt er een trap getoond, waar de camera onmogelijk in één keer omheen kan kijken. De gebruiker krijgt vervolgens een binocular te zien, waar hij naartoe moet lopen en doorheen dient te kijken (zie patent illustraties). Op dat moment zullen de stereocamera’s extra foto’s nemen om de gehele ruimte in 3D weer te kunnen geven. Middels een motion sensor kunnen de bewegingen van de gebruiker en de headset nauwkeurig in de gaten gehouden worden.
De Sony headset is wireless te gebruiken en kan middels Bluetooth verbonden worden aan een PlayStation console of een computer. De bediening verloopt via de game controller of een toetsenbord, afhankelijk van het medium (console of PC) dat de gamer gebruikt.
Daarnaast wordt in de patentomschrijving vermeld dat de headset ook te gebruiken is in combinatie met een smartphone of tablet. Zo kun je dus ook mobiele AR games spelen via de headset. Door de AR headset draadloos uit te voeren behoudt de gebruiker veel meer bewegingsvrijheid. Verder spreekt het patent over de mogelijke toevoeging van een USB en een HMDI aansluiting.
In dit patent wordt overigens alleen de technologie vastgelegd en dus niet zozeer het ontwerp. De afbeeldingen dienen louter ter illustratie, Sony zou dus voor een totaal ander ontwerp kunnen kiezen. Daarnaast is er in de omschrijving vastgelegd dat het aantal toegepaste stereoscopische camera zou kunnen afwijken. Dit zal onder meer samenhangen met de kostprijs, hoe meer camera’s hoe duurder zo’n AR headset of AR bril wordt.
Sony AR bril prototype & Ghostbuster in the Park AR Project
Of deze technologie ook wordt toegepast in de prototype AR bril die Sony momenteel gebruikt voor haar ‘Ghostbusters in the park’ project is onbekend. Deze week is Sony namelijk begonnen met een omvangrijk AR project dat plaatsvindt in Japan in het Ginza Sony Park.
‘Ghostbusters in the park’ is een op locatie gebaseerde AR game waarbij gamers het opnemen tegen virtuele geesten. Gamers kunnen zich aanmelden via de website. Elke dag vinden er twee tot vier sessies plaats, die elk een uur duren. Per sessie kunnen er 50 tot 160 personen deelnemen aan de AR ervaring.
Het project duurt van 12 oktober 2019 tot en met 8 december 2019. Gelijktijdig heeft Sony dus ook een prototype AR bril bekend gemaakt, die hierbij wordt ingezet. Bovenstaande video toont een trailer van dit bijzondere project. Het ligt voor de hand dat we dergelijke toepassingen in de toekomst ook zullen tegenkomen in pretparken.
De toekomst van AR gaming
AR gaming kan overigens op twee verschillende manieren gerealiseerd worden. Headsets zoals de Microsoft Hololens en de Magic Leap maken gebruik van een transparant scherm. Deze technologie is goedkoper dan het gebruik van stereoscopische camera’s. Bij transparante AR is het echter lastig om donkere materialen of oppervlakken nauwkeurig in beeld te brengen, zo beschrijft Zero Light, een bedrijf dat zich eveneens bezig met real-time 3D visualisaties.
Bovendien hebben stereoscopische camera’s het voordeel dat een extreem lage latentie gerealiseerd kan worden, waardoor gebruikers niet zo snel gedesoriënteerd raken, door de vertraging die optreedt. Er kan zo een veel meeslependere AR beleving gecreëerd worden, waarbij rekening wordt gehouden met alle objecten die zich in de werkelijke omgeving bevinden.
De specificaties omtrent de prototype AR headset van Sony zijn vooralsnog onbekend. De resultaten uit het omvangrijke ‘Ghostbusters in the park’ zullen ongetwijfeld gebruikt worden om de ervaring te verfijnen en de headset te optimaliseren.
Sony is zeker niet de enige fabrikant die toekomst ziet in AR gaming. Zoals genoemd houden ook andere gamefabrikanten zoals Microsoft en Nintendo zich bezig met AR gaming. Maar ook Google en Apple hebben openlijk uitgesproken toekomst te zien in Augmented Reality. Ook Huawei heeft een slimme AR bril in ontwikkeling, zo maakte het bedrijf eerder dit jaar bekend.
Toch zal het zeker nog verscheidene jaren gaan duren alvorens AR gaming algemeen goed wordt. Ten slotte zal deze nieuwe manier van gaming ook een geheel nieuwe manier van game ontwikkeling vereisen. Naarmate meer ontwikkelaars zich hiermee bezig gaan houden en er dus ook meer game content beschikbaar is, zal de populariteit ook gaan toenemen, zo is de algemene verwachting van analisten.
Bekijk hier het patent van Sony Interactive Entertainment.
Advertentie
