Orbbec Astra+ – Windows 11

Orbbec Astra+ – příprava PC (Windows 11)

← Kapitola 10: Technické požadavky · Varianty avatara

Varianta astra1.php (kostra z ~24 kloubů včetně rukou) a astra2.php (digitální silueta z hloubkové mapy) používají 3D kameru Orbbec Astra+ (model ASL0275, USB 3.0). Prohlížeč nemluví se senzorem přímo – mezi kamerou a webovou stránkou běží lokální služba tools/astra-bridge (WebSocket na stejném PC).

Co je ve standardu a co na zakázku

Níže uvedený postup (SDK, Nuitrack, bridge, kiosk) slouží jako technická příprava pro zakázkovou implementaci nebo pro interní vývoj – samotné zapojení kamery USB nespustí sledování kostry ve standardní instalaci.

1. Co potřebujete (hardware)

Astra+ sama o sobě neposílá kostru – depth stream ano, klouby dodá middleware (Nuitrack nebo Orbbec Body Tracking). Pro siluetu (astra2) stačí depth + segmentace v bridge.

3. Software ke stažení – přehled a důvody

Astra+ vyžaduje více vrstev než samotný prohlížeč: ovladač kamery, middleware pro kostru (Nuitrack) a bridge službu pro web. Důležité: model Astra+ používá Orbbec SDK v1, ne novější SDK v2 (v2 Astra+ nepodporuje – viz tabulka kompatibility na GitHubu Orbbec).

4. Dvě varianty z jednoho senzoru

5. Instalace Orbbec SDK v1 (ovladač kamery)

1. Stáhněte z GitHub releases instalátor OrbbecSDK_v*_win64.exe (v1, ne v2).
2. Spusťte instalátor jako správce, nainstalujte SDK i Orbbec Viewer.
3. Připojte Astra+ do USB 3.0 (modrý port), počkejte na rozpoznání.
4. Otevřete Orbbec Viewer → vyberte zařízení → měl by být vidět depth stream.
5. V Správci zařízení zkontrolujte kameru bez žlutého vykřičníku.

Pokud depth nejde: jiný USB port, kabel, firmware (min. 1.0.19), vypněte úsporný režim USB. Orbbec SDK v2 pro Astra+ nepoužívejte – není v seznamu podporovaných zařízení.

6. Instalace Nuitrack (kostra pro astra1)

Nuitrack (výrobce 3DiVi) je middleware, který z depth kamery počítá polohu kloubů těla. Pro astra1.php je to doporučená cesta – Astra+ je v seznamu podporovaných senzorů, typicky 19–25 kloubů včetně rukou. Samotný USB kabel ke kameře nestačí; bez Nuitracku (a zakázkové integrace v AstraBridge) se kostra podle těla nehýbe.

Kde stáhnout instalátor

Postup instalace (Windows 11)

1. Stáhněte nuitrack-windows-x64.exe z GitHub releases.
2. Spusťte instalátor jako správce, dokončete průvodce (Nuitrack Runtime + nástroje).
3. Z nabídky Start spusťte Nuitrack Activation – zadejte licenční klíč z cognitive.3divi.com.
4. Mějte nainstalovaný Orbbec SDK v1 (kapitola 5) a Astra+ v USB 3.0.
5. Otevřete Nuitrack Studio → připojte Astra+ → měla by být vidět pohybující se kostra (návštěvník 1,5–2,5 m od kamery, celé tělo v záběru).
6. Teprve po úspěchu ve Studiu řešíte napojení na AstraBridge a web (zakázková integrace).

Problémy při instalaci: Nuitrack Troubleshooting, fórum community.nuitrack.com. Alternativa Orbbec Body Tracking (SDK 2.x) – horší stabilita a licencování; pro kiosk nedoporučeno.

Nastavení v Nuitrack Trial / Studio (po vložení licence)

Po instalaci spusťte z nabídky Start program Nuitrack Trial nebo Nuitrack Studio (název se liší dle verze; oba slouží k aktivaci senzoru a testu kostry). Toto nastavení je jednorázové – do kiosk .bat nic z toho nepřidáváte (viz kapitola 8).

1. Výběr senzoru (horní rozbalovací seznam)

• Vyberte řádek typu Astra+ (SN: …) [OrbbecSDKDepthProvider] – sériové číslo vaší kamery.
• Pokud je v seznamu víc položek, volte tu s OrbbecSDKDepthProvider (ne starý OpenNI driver).
• Ve spodním logu musí být: Getting a 3D sensor list... found 1 sensors a 3D sensor is activated! – bez toho kostra nebude fungovat.
• Pokud senzor chybí: zkontrolujte USB 3.0, Orbbec SDK v1 (kapitola 5), restart PC, jiný port.

2. Aktivace licence (Enter Activation Key)

• Vložte klíč z cognitive.3divi.com a klikněte Reactivate.
• U trial licence může být u názvu senzoru přípona Trial – to je v pořádku.
• Licence se váže na tento PC + tento senzor; při výměně kamery nebo přeinstalaci Windows aktivujte znovu.
• Alternativa: samostatná aplikace Nuitrack Activation ze Start menu – stejný klíč, stejný účel.

3. Pose Estimation Method (metoda odhadu kostry)

Pro většinu exponátů nechte AI (jako na obrázku v dokumentaci). Při sekání FPS na starším PC zkuste Classical.

4. Volitelné funkce (zaškrtávací políčka pod AI)

5. Fine tuning

• Is the horizon not tilted? – zaškrtněte, pokud je kamera vodorovně (typický montáž nad obrazovkou). Nezaškrtávejte, pokud je kamera nakloněná dolů na návštěvníka.

6. Nahrávání a ladění (obvykle vypnuto)

• CSV Recorder – vyžaduje Nuitrack Online licenci; pro běžný kiosk nepoužívejte.
• Failure Case Recorder – nechte vypnuté; zapíná se jen při řešení problému s podporou 3DiVi.

7. Ověření – tlačítko „Try Nuitrack!“

1. Astra+ zapojená v USB 3.0, v logu 3D sensor is activated!
2. Zvolte senzor, metodu AI, volitelné funkce vypnuté (viz tabulka výše).
3. Klikněte zelené tlačítko Try Nuitrack! – otevře se okno s živým obrazem a kostrou.
4. Postavte se 1,5–2,5 m od kamery, celé tělo v záběru – kostra musí kopírovat pohyb rukou i nohou.
5. Po úspěšném testu okno zavřete – ve veřejném provozu Studio nechte zavřené (jinak drží kameru).

Nuitrack ukládá nastavení do souboru nuitrack.config (složka %NUITRACK_HOME%\data). Při budoucí integraci do AstraBridge se typicky načte stejná konfigurace – nemusíte ji ručně kopírovat do projektu AI-MODE.

7. Sestavení a spuštění AstraBridge

Služba je ve složce tools/astra-bridge. Posílá JSON s joints (kostra) a silhouette (obrys pro astra2) přes WebSocket na portu 8766.

Požadavky pro sestavení: stejné jako u Kinect – .NET Framework 4.8 a .NET SDK.

cd C:\inetpub\wwwroot\AI-MODE\tools\astra-bridge
dotnet build -c Release
.\bin\Release\net48\AstraBridge.exe

Chybí .NET SDK? (No .NET SDKs were found)

Stejná situace jako u Kinect bridge – bez .NET SDK příkaz dotnet build neproběhne. Chybová hláška v PowerShellu: „No .NET SDKs were found“.

Postup instalace .NET SDK (Windows 11, 64 bit)

1. Stáhněte .NET SDK (ne Runtime) z dotnet.microsoft.com/download – verze LTS, Windows x64.
2. Nainstalujte, zavřete PowerShell, otevřete nový.
3. Ověřte: dotnet --version (musí vypsat číslo verze).
4. Znovu:

   cd C:\inetpub\wwwroot\AI-MODE\tools\astra-bridge
   dotnet build -c Release
   .\bin\Release\net48\AstraBridge.exe

Podrobnější tabulka SDK vs. Framework a tipy k PowerShellu: Kinect 360 – instalace .NET SDK. Po sestavení na kiosku stačí hotové AstraBridge.exe – SDK tam nemusí zůstat.

V konzoli by mělo být:

• [WS] Server běží na portu 8766
• [Nuitrack] Senzor Astra+ spuštěn – Nuitrack nainstalovaný, bridge přestavený na tomto PC, Studio zavřené
• [Mock] Nuitrack/Astra senzor nedostupný – chybí Nuitrack, Studio drží kameru, nebo build bez nuitrack.net.dll

Po instalaci Nuitrack vždy znovu: dotnet build -c Release ve složce tools/astra-bridge (před buildem ukončete běžící AstraBridge.exe – Ctrl+C, jinak build selže). V konzoli musí být řádek Nuitrack: C# wrapper sestaven a pak [Nuitrack] Senzor Astra+ spuštěn. U Trial licence viz limit 3 minut a restart bridge.

8. Přesný postup spuštění – co kdy spustit

Níže je kompletní návod od nuly po běžící kiosk – včetně odpovědi, zda do .bat patří Nuitrack. Rozlišujte tři fáze: jednorázová instalace, ruční test a automatický start po přihlášení.

Přehled: co běží samo, co spouštíte vy, co je v .bat

Fáze A – jednorázová příprava PC (před prvním kioskem)

Provádí se jednou na vývojovém nebo servisním PC (část kroků i na kiosku):

1. Windows 11 – zapnutý, kiosk účet vytvořen (bez zbytečných admin práv pro návštěvníka).
2. IIS + AI-MODE – web běží, v prohlížeči otevřete např. http://localhost/admin.php.
3. Orbbec SDK v1 – instalace (kapitola 5), Astra+ v USB 3.0, depth viditelný v Orbbec Viewer.
4. Nuitrack – stažení nuitrack-windows-x64.exe, instalace, Nuitrack Activation s klíčem z cognitive.3divi.com (kapitola 6).
5. Test Nuitrack Studio – spusťte ze Start menu, vyberte Astra+, musí být vidět kostra → pak Studio zavřete.
6. Sestavení AstraBridge – na PC s .NET SDK:

   cd C:\inetpub\wwwroot\AI-MODE\tools\astra-bridge
   dotnet build -c Release

   Výsledek: ...\bin\Release\net48\AstraBridge.exe. Na kiosku pak stačí zkopírované .exe – .NET SDK tam nemusí být.
7. Administrace AI-MODE – Avatary → Orbbec Astra+: WebSocket ws://127.0.0.1:8766; pro demo bez kamery nechte Demo režim zapnutý, pro reálnou kostru (po zakázce) vypněte.
8. Úprava .bat – v tools/kiosk/start-astra-kiosk-chrome.bat (nebo -edge.bat) nastavte EXHIBIT_URL a BRIDGE_EXE.

Fáze B – ruční test (před autostartem)

Ověřte pořadí ručně v PowerShellu / příkazovém řádku – stejné pořadí pak dělá i .bat:

1. Zapněte PC, přihlaste se kiosk účtem. Nespouštějte Nuitrack Studio ani Orbbec Viewer.
2. Připojte Astra+ do USB 3.0 (u demo režimu bez kamery můžete kameru nechat odpojenou).
3. Ověřte, že web odpovídá – v normálním okně prohlížeče otevřete http://localhost/astra1.php (zatím ne kiosk).
4. Spusťte bridge (nechte okno konzole otevřené):

   cd C:\inetpub\wwwroot\AI-MODE\tools\astra-bridge\bin\Release\net48
   .\AstraBridge.exe

   • Demo / standard: v konzoli [Mock] Nuitrack/Astra senzor nedostupný a [WS] Server běží na portu 8766 – OK pro náhled s demo v adminu.
   • Produkce (zakázka): místo Mock očekávejte [Nuitrack] Senzor Astra+ spuštěn – bridge načetl Nuitrack a kameru.
5. V prohlížeči obnovte astra1.php (Ctrl+F5) – badge by měl ukazovat připojený bridge.
6. Pro kiosk test: ukončete prohlížeč, spusťte celý start-astra-kiosk-chrome.bat dvojklikem – měl by naběhnout bridge, zmizet plocha a otevřít se fullscreen exponát.

Fáze C – automatický start (.bat při přihlášení)

Přesné pořadí kroků uvnitř bat (už je v šabloně tools/kiosk/start-astra-kiosk-chrome.bat):

1. timeout /t 10 – počkat na síť, IIS a dokončení přihlášení Windows.
2. start "" /MIN "%BRIDGE_EXE%" – spustit AstraBridge.exe minimalizovaně. Tím se (u zakázkové verze) automaticky inicializuje Nuitrack – nic dalšího pro Nuitrack v bat nepřidávejte.
3. timeout /t 4 – bridge musí otevřít WebSocket na 8766 dřív než prohlížeč.
4. taskkill /f /im explorer.exe – skrýt plochu a hlavní panel.
5. start "" "%CHROME_EXE%" --kiosk ... "%EXHIBIT_URL%" – otevřít exponát na celé obrazovce.

Autostart: zástupce upraveného bat vložte do shell:startup (Win+R → shell:startup) nebo naplánujte v Plánovači úloh při přihlášení uživatele Kiosk.

Trial licence: automatický restart bridge v .bat každé 3 minuty nedoporučujeme (blikání webu). Pro demo testujte ručně (Ctrl+C → spustit znovu); pro kiosk objednejte placenou Nuitrack licenci.

rem ANO – tyto řádky v bat musí být:
timeout /t 10 /nobreak
start "" /MIN "%BRIDGE_EXE%"
timeout /t 4 /nobreak
taskkill /f /im explorer.exe 2>nul
start "" "%CHROME_EXE%" --kiosk ... "%EXHIBIT_URL%"

rem NE – do bat nedávejte (jednorázově / jen při ladění):
rem   Nuitrack Studio.exe
rem   Nuitrack Activation.exe
rem   Orbbec Viewer
rem   dotnet build

astra1.php vs. astra2.php – rozdíl při startu

Pořadí v .bat je pro obě varianty stejné – liší se jen EXHIBIT_URL. U siluety stále spouštíte AstraBridge.exe, ne Orbbec Viewer.

9. Nastavení v AI-MODE

1. Administrace → Avatary → Orbbec Astra+
2. WebSocket: ws://127.0.0.1:8766
3. Pro test bez senzoru nechte Demo režim; s reálnou kamerou vypněte.
4. Otevřete astra1.php nebo astra2.php (Ctrl+F5).

10. Spuštění kiosku přes .bat (Chrome / Edge, skrytí plochy)

Stejný princip jako u Kinectu: bat soubor po přihlášení kiosk účtu spustí AstraBridge, ukončí explorer.exe a otevře astra1.php nebo astra2.php v kiosk režimu. Kompletní vysvětlení pořadí kroků a role Nuitracku: kapitola 8 – Přesný postup spuštění.

Pořadí v bat (důležité):

1. timeout /t 10 – síť, IIS, přihlášení
2. Spustit AstraBridge.exe na pozadí (start "" /MIN)
3. timeout /t 4 – bridge naběhne (port 8766)
4. taskkill /f /im explorer.exe – skrytí plochy
5. Chrome nebo Edge s --kiosk a URL exponátu

Šablony: tools/kiosk/start-astra-kiosk-chrome.bat a start-astra-kiosk-edge.bat. Upravte EXHIBIT_URL (např. http://localhost/astra2.php pro siluetu).

@echo off
set "EXHIBIT_URL=http://localhost/astra1.php"
set "BRIDGE_EXE=C:\inetpub\wwwroot\AI-MODE\tools\astra-bridge\bin\Release\net48\AstraBridge.exe"
set "CHROME_EXE=C:\Program Files\Google\Chrome\Application\chrome.exe"
timeout /t 10 /nobreak
start "" /MIN "%BRIDGE_EXE%"
timeout /t 4 /nobreak
taskkill /f /im explorer.exe 2>nul
start "" "%CHROME_EXE%" --kiosk --no-first-run --disable-infobars --disable-session-crashed-bubble --autoplay-policy=no-user-gesture-required "%EXHIBIT_URL%"

Autostart: zástupce bat do shell:startup nebo Plánovač úloh při přihlášení uživatele Kiosk. Údržba: Správce úloh → explorer.exe. Viz Kinect – kiosk bat (stejná logika) a parametry prohlížeče.

11. Astra+ vs. Kinect 360

12. Řešení problémů

13. Kontrolní seznam před provozem

1. Jednorázově: Orbbec SDK v1 + Nuitrack nainstalované, licence aktivovaná, kostra OK v Nuitrack Studio (pak Studio zavřít)
2. Trial: počítejte s limitem 3 minuty běhu – pak restart AstraBridge.exe (návod); pro kiosk placená licence
3. Orbbec Astra+ v USB 3.0, depth v Orbbec Viewer (při servisu)
4. AstraBridge.exe sestavený – cesta sedí v BRIDGE_EXE v bat
5. start-astra-kiosk-chrome.bat nebo -edge.bat upravený (EXHIBIT_URL) a v shell:startup
6. V bat je jen bridge + prohlížeč – ne Nuitrack Studio / Activation
7. Admin: WebSocket ws://127.0.0.1:8766, demo vypnuto pro produkci se senzorem
8. Po přihlášení: skrytá plocha, astra1/astra2 na celé obrazovce, mikrofon a TTS OK
9. Návštěvník 1,5–2,5 m od kamery

Související: Kinect – kiosk bat, Hardware – autostart, Varianty avatara – Orbbec Astra+.