VR und „ohh wo sind meine Hände“

um die Immersion in VR Anwendungen/Spielen zu verstärken,
ist es immens von Vorteil, wenn die eigenen Hände, oder gar der eigene Körper
in der VR Welt sichtbar sind.

Dafür gibt es mehrere Ansätze.

Ansatz 1:
ein „Anzug“ nimmt unsere Bewegungen auf und gibt diese an die Software weiter um unseren virtuellen Körper zu bewegen. Die Technik gibt es schon länger, wurde aber bislang nicht in Masse für Endkonsumenten angeboten, zu einem akzeptablen Preis, und von den SDKs unterstützt….

Ansatz 2:
GreenScreen Technik.. eine extra Kamera am Headset nimmt das Bild auf, das wir vor uns sehen würden, wenn wir das Headset nicht tragen würden. Alles was wir nicht in der Anwendung/Game sehen wollen, muss die selbe Farbe haben, zBsp. grün (warum grün -> TV Nachrichten Produktion).
Demzufolge kann man seinen ganzen Körper inkl. Kleidung natürlich, die Füße, Beine, Bauch, Brust, Schultern, Arme und Hände in die VR Welt holen.
Zusätzlich kann man als Rennfahrer sein Lenkrad in die VR Welt mit nehmen,
oder wer will seine Tastatur und Mouse.. die man unter dem Headset bislang nie sehen kann und nur blind ertasten muss, wenn das HMD keinen Spalt halt um durch einen Spalt suchend die Augen zu verdrehen.
Als Pilot nimmt man sein HOSTAS (Hands on throttle and Joystick) mit.

Das Bild dieser Kamera wird an eine Box geschickt, wo das Bild mit dem VR Bild gemixt wird, indem das Kamerabild über das VR Bild gelegt wird. Alles was grün ist, wird transparent..(Farbwert und Range von/bis könnte man in Settings anpassen, nötig für verschiedene Licht/Farbverhältnisse.)
Achja, das Kamerabild ist ohne Linsenkrümmung.. die Linsenkrümung muss natürlich noch für PSVR eingerechnet werden.

Vorgeschmack gefällig.. Achtung! das resultierende Video ensteht per Videoschnitt,
es gibt noch kein inGame-GreenScreen…
https://www.youtube.com/channel/UCMq2WaD78Y3-XTj7HDskkRw

inGame-GreenScreen gibt derzeit bei Steam/HTC Vive, aber noch nicht für Endkunden..

blöd nur, dass man den anderen Teilnehmer dort nicht in die Augen sehen kann, weil diese ja auch ein Headset tragen..
warten wir mal ab, bis die Headsets im Format von Sonnenbrillen auftauchen ( ob jemals Kontaktlinsen als Bildschirme existieren werden? )

PSVR am PC

endlich haben die vrnerds die PSVR am PC testet:

PlayStation VR: PC Spiele mit PSVR spielen

FAZIT: funktioniert mit kleinen Einschränkungen..

die vrnerds verwenden eine Software RivenPhoenix um die PSVR Headset Bewegungen am PC als Mousesteuerung verwenden zu können. Dafür wird ein USB Kabel zwischen PC und PSVR Processing Unit benötigt.

Wer bereits einen anderen Headtracker am PC besitzt (Bsp: Zeiss USB Headtracker) könnte vielleicht auf dieses USB-Kabelverbindung zwischen PC und PSVR Processing Unit verzichten.

Wichtigster Umstand ist, dass vom PC per Software TriDef das Bild im SBS (SideBySide)
ohne LenseCorrection/Adaption, also „flach“ und nicht „warped“ geliefert wird.
Das führt auf der PSVR natürlich zu Verzerungen, die aber laut vrnerds nicht so massiv ins Gewicht fallen, wenn man den vrnerds Bericht so interpretieren darf.

Die vrnerds haben das ganze mit CounterStrike getestet, tja, dabei sind Auto und Flugsimulationen dafür um einiges besser geeignet.

WIE LÖST MAN DAS?
Lösung1:
TrinusVR kommt mit einem PSVR Feature heraus.. denn in TrinusVR kann man Linsen verschiedener Mobile Cardboard VR Halterungen auswählen und eigene definieren, exportieren/importieren.
Aber Trinus VR läuft derzeit als PC-Server plus Smartphone App.. da auf PSVR keine TrinusVR App zu erwarten ist, müsste Trinus VR bereits am PC das Bild SBS ausgeben inklusive Linsenkrümung(„Warp“).
Lösung2:
Nvidia verpasst seinem Experience Center nun das SBS SideBySide Feature plus Linsenkrümmung ala TrinusVR und kann diese Bild per HDMI ausgeben an die PSVR.
Lösung3:
die Community wird diesen Lösungsansatz vor Trinus und vor Nvidia umsetzen..

Die Hürde dafür scheint aktuell sehr gering zu sein, ich rechne in 2017 mit einer Lösung.
Wenn Sony diese aktuelle Feature nicht per Firmware-Updates wieder verschließt.

PS: die Auflösung je Auge ist natürlich so eine Sache..

2D HMD simplified using moonlight

Laptop MSI GS30 + external MSI GTX980-4G
nvidia GTX graphic cards support streaming capabilities
>> http://moonlight-stream.com/ <<

Smartphone Sony Z2
+ USB OTG + USB-RJ45 Network adapter -> Router, where PC is connected to also
+ Moonlight App for Android
+ Lenses, Reading glass, +5.00 dioptrien

Durovis DIVE 7 modified

ZEISS Headtracker USB connected to PC and added to HMD

Moonlight App Settings:
– resolution 1920×1080 with framerate 60
– bandwith begin with low values.. when using higher values the stream will begin to stutter badly..
– sound from PC .. i use PC connected sound/earphones
– no controlls .. i use PC connected devices mouse/keyboard/HOTAS

start PC Geforce Experience Center (games are already set, which should/can be used for streaming)
shut down Windows Firewall for Private Network
start Smartphone App Moonlight
Manualy set IP of PC we connect to … look for it with PC cmd ipconfig . something like 192.168.0.101
successfully connected ? ok… then choose the PC in the App. will display the in Geforce experience center preconfigured games.. choose one ..like WarThunder, War Thunder starts with launcher as normal, you can choose graphic resolution and VSync (btw: will have refreshrate of your configured display settings, for me the display port full HD at 144Hz)

game will start and run at 60Hz on Smartphone nicely !! without artefacts! supersharp crisp..

using  the Smartphone for HMD is better , because to look at corners HUD elements you will not have to move your eyes at extreme positions like it would be with bigger tablet…

what we realy need is a mobile „VR“ Smartphone  HMD .. that has no lenses.. and adjustable distance for smartphone..
so we can use own reading glasses like  normal glass… not adjusting inside lenses

and a further feature wood be.. to buy a used Z2 Smartphone and open it completely to take out the display.. to add a longer ribbon cable between display and smartphone… to put only the thin display in front and the weighty rest of the smartphone put at hmd close to head..

2D HMD – using GTX 980 – Trinus VR – TriDef – Smartphone/Tablet over Ethernet

Laptop MSI GS30 + external MSI GTX980-4G
nvidia GTX graphic cards support streaming capabilities
+ Trinus VR Server
+ TriDef Trial Version

Sony Z3 tablet compact
+ USB OTG + USB-RJ45 Network adapter
+ Trinus VR Client
+ Lenses Reading glass, +5.00 dioptrien

Durovis DIVE 7

ZEISS Headtracker USB

 

howto install and use everything.. you will find in internet..
i will not repeat this here

main info:
Trinus VR using connection setting „Moonlight“!
Thats the streaming protocoll of the nvidia GTX graphic card ?!
Trinus VR is always using 3D side by side,
but with TriDef, we can switch between 2D/3D,
and the streaming is very good.. lagless!!
No lag like PS4 remote play streaming!
But the sound is something laggy.. not important,
because i used sound directly from PC/Laptop.

msi gs30 + gtx980 4g = oculus ready?

http://www.octopusrift.com/pc-for-the-oculus-rift/
Intel i5-4690K

http://www.cinemablend.com/games/Oculus-Rift-System-Requirements-Announced-71938.html
Intel i5-4590

https://support.oculus.com/hc/en-us/articles/214829338-Oculus-Rift-Compatibility-Tool

graphic card (msi gtx 980 4g) – OK

processor (i7-4870HQ) – NOT OK because of lower base clock

memory (16GB DDR3 1600) – OK

operating system – Win10 64bit

usb – OK

– – – – – – –  – –  –

Intel Core i5-4690K vs. i7-4870HQ
http://ark.intel.com/de/compare/80811,83504

i7-4870HQ vs.  i7-5950HQ vs. i7-5700HQ
(MSI GS30 2016 product update – newer cpu? there is a mix of gs30 specs in internet.. ,
https://www.msi.com/product/notebook/GS30-2M-Shadow.html#hero-specification)
http://ark.intel.com/de/compare/87716,87720,80811,83504

i7-4870HQ
http://www.futuremark.com/hardware/cpu/Intel+Core+i7-4870HQ+Processor/review

MSI GS30 2MD + external desktop graphic MSI GTX980 4G

WarThunder max details getting above 200 fps… awesome

using 27″ iyama display with display port with 144 Hz, 1ms,…. looks more awesome… compared with 60Hz…

oculus ready ?  oculus compatibily tool says No, because of lower cpu base clock speed.. but 3Dmark graphic benchmark gives much more points then oculus needs..

while benchmarking cpu is at 50-80%.. in physics test cpu 100%.. (read from taskmanager graphs)

3dmark_firestrike_img1

MSI GS30 + external graphic card

replacement for my 10 years laptop, samsung Q45, 12″, with core 2 duo 1,8 GHz… and SSD…
could be.. strong cpu, laptop only mode good/fast for compiling arduino sketches, compiling mobile apps, maybe playing with VR with unity…

i use the laptop always with plugged in power cord.. no mobile accu usage needed..

http://de.msi.com/product/nb/GS30-2M-Shadow.html#hero-overview
http://www.notebookcheck.com/Test-MSI-GS30-Notebook.142461.0.html

http://www.notebooksbilliger.de/produkte/Msi+Gs30/Kategorie/Notebooks

MSI GS30-2MD16SR2 without dock: 1555,- , 256GB

MSI GS30-2MDC16SR5 with MSI GTX 970: 2000,-  (gtx970-gate!! attention) , 512GB

MSI GS30-2MDE16SR5 with MSI GTX 980: 2240,- , 512GB

 

MSI GS30-2MD16SR2 on amazon for only 1385,- + arlt.com MSI GTX 980 570,-
results 1955,-
Today it costs surprisingly 1629,-! 244 bugs more! from one day to another..

 

Attention:  Grafikkarte: MSI GTX980 GAMING 4G LE (= Light Edition) is inside !!! look http://www.notebooksbilliger.de/msi+gs30+2mde16sr5  Ausstattungdetails…

details of LE version here: http://www.tweaktown.com/reviews/7110/msi-geforce-gtx-980-gaming-4g-le-video-card-review/index.html

finaly bying the laptop +dock only, without graphic card, ensures to get/buy a fully(none LE light edition) of msi gtx 980 4G

 

Preistrends:
http://www.hardwareschotte.de/preisvergleich/Msi-GS30-2MD16SR2-p21933687
http://www.idealo.de/preisvergleich/OffersOfProduct/4698643_-gs30-2md16sr2-13f1-sku3-msi.html
http://www.preistrend.de/Preisvergleich_MSI_Gaming_GS30-2MD16SR2_-_17_Zoll_Gaming_Notebook_0013F1-SKU3__x724974060E7D720E.html

Durovis Dive – 2D-modification

Durovis Dive 7 for tablets

  • removed the original lenses, easy pull out
  • added wooden cubes with borehole, left and right, glued with special plastic glue
  • used brass threaded rods and brass screws and washers
  • some foam styropor
  • wooden stripes with boreholes
  • some rubber gum to prevent slidings..
  • used +5 dioptrien glasses http://www.sehhelfer.de/index.php?searchparam=LUL0486&cl=search&send=Suchen
    magnification x2,25 dioptrien +5.0, ca. 16 Euro
  • ZEISS USB head^tracker at right side  (goes to pc, from there via usb serial to arduino to ps4)
  • USB OTG + USB Ethernet adaptor from „plugable“ + 5 meters high flexible ethernet cable
  • no additional power cord.. but could be done, because sony z3 tablet has an extra power connector

advantages:

  • 2D view HMD is possible

disadvantages:

  • the weight could be less, own 3D printing
  • sometimes fogging from nose breathing, sweating,
  • more comfort would be nice

next steps could be:

get rid of PS4 video compression lag
– use display with direct HDMI input..
– or use PC/Laptop with nvidias GTX grafic card for better video encoding and streaming
– or use PC direct USB thethering ( like seen with Trinus VR)

Durovis Dive 5 for smartphones

 

wp-content/gallery/durovis-dive-7-2d-mods
wp-content/gallery/durovis-dive-5-2d-mods

+5 dioptrien eye glass

these two eye glasses are better than standard reading glasses for our HMD projects,
they have greater magnification (more then +3.0 dioptrien, mostly the max value of standard reading glasses)

http://www.sehhelfer.de/index.php?searchparam=LUL0489&cl=search&send=Suchen
magnification x2, dioptrien +4.0, ca. 16 Euro

http://www.sehhelfer.de/index.php?searchparam=LUL0486&cl=search&send=Suchen
magnification x2,25 dioptrien +5.0, ca. 16 Euro

PS4 remote play OVER ethernet to Smartphone/Tablet

usb ethernet adapter from plugable.com (http://plugable.com/products/usb2-e100) works,
we need an additional otg adapter (micro usb to standard usb female) between smartphone and ethernet adapter, ( but there is too, an new ethernet adapter with micro usb available ).
and at least, we need a ethernet app from appstore https://play.google.com/store/apps/details?id=xda.usbhost.test&hl=de

and then we can stream PS4 games like flight sims (war thunder) to android smartphone, tablet (sonyz2/sonyz3tablet-compact) with full HD resolution in 60Hz.. stable.

attention: the tiny lag is still there… compared with hdmi video output on big screen!
but its usable.. so there is a video enconding in ps4 working, we can see some artefacts from video encoding at certain still standing screens.. but not remarkable in game plays.