XR AnimatorXR Animator

【XR Animator】VRM/MMD用AIモーキャプ(日本語UI対応)

「XR Animator」は、AIベース (MediaPipe) の全身モーション キャプチャで、画像、ビデオ、および Webカメラを入力としてサポートします。ブラウザ版とWindows版の両方が利用可能です。 Windows バージョンは、VMCプロトコルをサポートして、リアルタイム モーション データを VSeeFace、Unity、Unreal Engine などの外部アプリに送信できる。ブラウザ版はAndroidのAR（拡張現実）モードに対応。 "XR Animator" is an AI-based (MediaPipe) full-body mocap solution which supports image, video and webcam as input. Both browser and Windows version are available. Windows version supports the VMC-protocol which allows beaming realtime motion data to external apps such as VSeeFace, Unity and Unreal Engine. The browser version supports AR (Augmented Reality) mode on Android.

「ギフトとして贈る」とは

「XR Animator」は、AIベース (MediaPipe) の全身モーション キャプチャで、画像、ビデオ、および Webカメラを入力としてサポートします。ブラウザ版とWindows版の両方が利用可能です。 Windows バージョンは、VMCプロトコルをサポートして、リアルタイム モーション データを VSeeFace、Unity、Unreal Engine などの外部アプリに送信できる。ブラウザ版はAndroidのAR（拡張現実）モードに対応。 "XR Animator" is an AI-based (MediaPipe) full-body mocap solution which supports image, video and webcam as input. Both browser and Windows version are available. Windows version supports the VMC-protocol which allows beaming realtime motion data to external apps such as VSeeFace, Unity and Unreal Engine. The browser version supports AR (Augmented Reality) mode on Android.

対応機能

・Webカメラまたはメディア ファイル (画像/ビデオ) を使用して全身 AIモーション トラッキングをサポート ・「Perfect Sync」/ARKit 互換の 52 ブレンドシェイプをサポート ・MMD/VRMモデルを 3Dアバターとして使用することをサポート ・モーション キャプチャを記録し、VMD/BVHモーション フォーマットにエクスポートします ・VMD/BVH/FBX形式の3Dモーションの読み込みに対応 ・2D 画像/ビデオ、3D パノラマ、および 3D オブジェクト (.x/.glb 形式) を使用して、背景と 3D シーンをカスタマイズします ・VMCプロトコルをサポートして、リアルタイム モーション データを VSeeFace、Unity、Unreal Engine などの外部アプリに送信できる (Windows版だけ) ・OBSなどのビデオ キャプチャ アプリで背景が透明なフレームレス ウィンドウをサポート (Windows版だけ) ・Android Chromeブラウザーで AR (拡張現実) をサポート ・日本語UI対応

Features

・Support full-body AI motion tracking using a single webcam or media file (image/video) ・Support "Perfect Sync"/ARKit-compatible 52 blendshapes for realistic face tracking ・Support using any MMD/VRM model as your 3D avatar ・Record mocap motion and export it to VMD or BVH motion format ・Support loading VMD/BVH/FBX format 3D motions ・Export BVH/FBX motions to VMD format ・Customize the background and 3D scene with 2D image/video , 3D panorama and 3D objects (.x/.glb format) ・Support VMC-protocol to animate a 3D model elsewhere in other VMC-enabled applications such as VSeeFace, Unity and Unreal Engine (Windows version only) ・Support frameless window with transparent background on video capture apps such as OBS (Windows version only) ・Support AR (Augmented Reality) on Android Chrome browser

先行版について / About the early access version

「先行版」のダウンロードは会員特典のひとつです。 私の FANBOX のファンになって XR Animator の開発をサポートし、すべての早期アクセス リリースやその他の特典をお楽しみください。 https://xra.fanbox.cc/ "Early access" version download is one of the perks for members. Join my ko-fi membership to support the development of XR Animator and enjoy all early access releases as well as other perks. https://ko-fi.com/butzyung/tiers

更新履歴 / Update History

XR Animator (v0.22.0): ・ドラッグアンドドロップとホットキーによる VRM モデルの切り替えをサポート ・QuickMagic モーション FBX のインポートをサポート ・インベントリ UI がクリックされるまで入力フォーカスをキャプチャしていた視覚効果コントロール パネルを修正 ・「自動」に設定され、HDRI 背景がオンになっている場合にオンになる「カメラのフェイスロック」の設定を修正 ・誤作動を防ぐために「メディアレコーダー」のホットキーを修正 ・electron 更新 (v30.0.1) ・N8AO 更新 (v1.8.2/modified) ・以前のプロジェクトから継承されたいくつかの廃止された機能を無効にする XR Animator version (v0.22.0): - Add support for swapping VRM avatar model via drag-n-drop and hotkeys - Add support for importing QuickMagic motion FBX - Fix visual effects control panel which captured the input focus until the inventory UI was clicked - Fix face-locking camera and turn it on when set to "Auto" and HDRI background is on - Fix media recorder hotkeys to prevent misactivation - Update electron (v30.0.1) - Update N8AO (v1.8.2/modified) - Disable some obsolete features inherited from previous projects v0.21.0 and before: https://github.com/ButzYung/SystemAnimatorOnline/releases

ウェブアプリ版 / Web app version

https://sao.animetheme.com/XR_Animator.html

Windows版 - 動作環境 / System Requirements

Windows 10/11 CPU: 2.4GHz CPU Quad Core Memory: 4GB Graphics: Geforce GTX 750 注: ラップトップを使用していてフレーム レートが予想より低い場合は、アプリが低速の統合 GPU を使用している可能性があります。これはラップトップ ユーザーにとって非常に一般的な問題です。グラフィックス カードの設定を構成し、より高速な専用 GPU が使用されるようにします。方法が分からない場合は以下の記事をご覧ください。 NOTE: If you are using a laptop but you are experiencing lower-than-expected frame rate, the app may be using the slower integrated GPU. This is a pretty common problem for laptop users. Configure your graphics card settings and make sure that the faster dedicated GPU is used. Check out the article below if you don't know how. https://techcult.com/how-to-force-windows-to-use-dedicated-graphics/