XR AnimatorXR Animator

【XR Animator】VRM/MMD用AIモーキャプ(日本語UI対応)

「XR Animator」は、AIベース (MediaPipe) の全身モーション キャプチャで、画像、ビデオ、および Webカメラを入力としてサポートします。ブラウザ版とWindows/Linux版の両方が利用可能です。 Windows/Linux バージョンは、VMCプロトコルをサポートして、リアルタイム モーション データを VSeeFace、Unity、Unreal Engine などの外部アプリに送信できる。ブラウザ版はAndroidのAR（拡張現実）モードに対応。 "XR Animator" is an AI-based (MediaPipe) full-body mocap solution which supports image, video and webcam as input. Both browser and Windows/Linux version are available. Windows/Linux version supports the VMC-protocol which allows beaming realtime motion data to external apps such as VSeeFace, Unity and Unreal Engine. The browser version supports AR (Augmented Reality) mode on Android.

「ギフトとして贈る」とは

【XR Animator】VRM/MMD用AIモーキャプ(日本語UI対応)
【XR Animator】VRM/MMD用AIモーキャプ(日本語UI対応)
【XR Animator】VRM/MMD用AIモーキャプ(日本語UI対応)
【XR Animator】VRM/MMD用AIモーキャプ(日本語UI対応)
「XR Animator」は、AIベース (MediaPipe) の全身モーション キャプチャで、画像、ビデオ、および Webカメラを入力としてサポートします。ブラウザ版とWindows/Linux版の両方が利用可能です。 Windows/Linux バージョンは、VMCプロトコルをサポートして、リアルタイム モーション データを VSeeFace、Unity、Unreal Engine などの外部アプリに送信できる。ブラウザ版はAndroidのAR（拡張現実）モードに対応。 "XR Animator" is an AI-based (MediaPipe) full-body mocap solution which supports image, video and webcam as input. Both browser and Windows/Linux version are available. Windows/Linux version supports the VMC-protocol which allows beaming realtime motion data to external apps such as VSeeFace, Unity and Unreal Engine. The browser version supports AR (Augmented Reality) mode on Android.

対応機能

・Webカメラまたはメディア ファイル (画像/ビデオ) を使用して全身 AIモーション トラッキングをサポート ・「Perfect Sync」/ARKit 互換の 52 ブレンドシェイプをサポート ・MMD/VRMモデルを 3Dアバターとして使用することをサポート ・モーション キャプチャを記録し、VMD/BVHモーション フォーマットにエクスポートします ・VMD/BVH/FBX形式の3Dモーションの読み込みに対応 ・2D 画像/ビデオ、3D パノラマ、および 3D オブジェクト (.x/.glb 形式) を使用して、背景と 3D シーンをカスタマイズします ・VMCプロトコルをサポートして、リアルタイム モーション データを VSeeFace、Unity、Unreal Engine などの外部アプリに送信できる (Windows/Linux版だけ) ・OBSなどのビデオ キャプチャ アプリで背景が透明なフレームレス ウィンドウをサポート (Windows/Linux版だけ) ・Android Chromeブラウザーで AR (拡張現実) をサポート ・日本語UI対応

Features

・Support full-body AI motion tracking using a single webcam or media file (image/video) ・Support "Perfect Sync"/ARKit-compatible 52 blendshapes for realistic face tracking ・Support using any MMD/VRM model as your 3D avatar ・Record mocap motion and export it to VMD or BVH motion format ・Support loading VMD/BVH/FBX format 3D motions ・Export BVH/FBX motions to VMD format ・Customize the background and 3D scene with 2D image/video , 3D panorama and 3D objects (.x/.glb format) ・Support VMC-protocol to animate a 3D model elsewhere in other VMC-enabled applications such as VSeeFace, Unity and Unreal Engine (Windows/Linux version only) ・Support frameless window with transparent background on video capture apps such as OBS (Windows/Linux version only) ・Support AR (Augmented Reality) on Android Chrome browser

先行版について / About the early access version

「先行版」のダウンロードは会員特典のひとつです。 私の FANBOX のファンになって XR Animator の開発をサポートし、すべての早期アクセス リリースやその他の特典をお楽しみください。 https://xra.fanbox.cc/ "Early access" version download is one of the perks for members. Join my ko-fi membership to support the development of XR Animator and enjoy all early access releases as well as other perks. https://ko-fi.com/butzyung/tiers

更新履歴 / Update History

XR Animator 先行版 (v0.29.1) ・💡ウェブカメラからの縦向きビデオ入力を可能にする「ポートレートモード」オプションを追加 ・💡「腕IK」オプションを追加し、IK を使用してアームの位置を計算し、IK と FK を切り替えるときにアームの動きが揺れるのを防止 ・💡3D 壁紙に「ワーカー スレッドを保持する」オプションを追加し、「いいえ」(デフォルト) に設定すると常駐メモリの使用量が大幅に削減 ・立った状態でカメラに近づいたときに上半身のモーキャプを安定させる ・ターゲットに近づきすぎるときの小道具のアライメントを安定させる ・いくつかのプリセットポーズのパラメータを更新 ・上半身のモーキャプ中の肘の位置を改善 ・上半身のモーキャプ中に腕の位置の調整に影響する回帰バグを修正 ・一部のパラメータが適切にリセットされない小道具の取り外しに関するバグを修正 ・MediaPipe を更新 (v0.10.18) ・electron を更新 (v33.2.0) - 💡Add "Portrait mode" option, which allows vertical video input from webcam - 💡Add "Arm IK" option, enforcing the use of IK to calculate arm position and preventing arm jitter when switching between IK and FK - 💡Add "Keep worker thread" option for 3D wallpaper, which significantly reduces resident memory usage when set to "No" (default) - Stabilize upper body mocap when leaning near the camera while standing - Stabilize prop alignment when getting too close to the target - Update the parameters of some preset poses - Improve elbow positioning during upper body mocap - Fix regression affecting the adjustment of arm position during upper body mocap - Fix bugs concerning the detaching of prop in which some parameters didn't reset properly - Update MediaPipe (v0.10.18) - Update electron (v33.2.0) XR Animator 先行版 (v0.29.0) ・💡ウェブカメラ上の特定の現実世界のオブジェクトを追跡するオブジェクト検出AIのサポートを追加 ・VMCプロトコル経由でWarudoに接続する際のVRM1.0ボーン回転の問題を修正 ・シーンのリセットを修正 ・設定のリセットを修正 ・デスクトップの「2D-to-3D 壁紙」のバグを修正し、最後に使用した画像が存在しなくなった場合にデフォルトの壁紙を使用 ・Transformers.js を更新 (v3.0.0) - 💡Add support for object detection AI, which tracks specific IRL objects on webcam feed - Fix VRM1.0 bone rotation issues when connecting to Warudo via VMC protocol - Fix scene reset - Fix settings reset - Fix bug in "2D-to-3D Wallpaper" for desktop and use default wallpaper when the last used image no longer exists - Update Transformers.js (v3.0.0) XR Animator (v0.28.1): ・💡3D壁紙に「超解像度」オプションを追加し、AIを使用して低解像度の画像入力を拡大 ・💡3D 壁紙用の「3D壁紙のデスクトップショートカットを作成」オプションを追加し、デスクトップで使用するための特別な 3D 壁紙専用モードで XR Animator を起動 ・💡3D深度マップ生成と超解像度のための AI モデルを切り替える 3D 壁紙のオプションを追加 ・アプリ起動後、いつでもどこでもシーンJSON入力を受け入れるためのサポートを追加 ・背景画像オプションの下に「画像入力ハンドラー」設定を追加し、デフォルトですべての画像入力を壁紙として扱うようになる ・3D壁紙の計算の一部をCPUからGPUシェーダーに移動し、リアルタイムの応答性を向上 ・アバターモデルが使用されていないときに未使用のリソースの読み込みを減らす ・デスクトップショートカットを作成するときにエラーメッセージを表示しない ・バグを修正し、3D壁紙が無効になっている場合にのみビデオ壁紙の入力を許可 ・SELECT入力のみが変更されたときに更新に失敗する従来の設定ウィンドウを修正 ・デスクトップの壁紙モードで実行中にファイルのドロップが機能しなくなるという回帰を修正 ・「three-vrm」を更新 (v3.1.2) ・「electron-as-wallpaper」を更新 (v1.0.8) ・「transformers.js」を更新 (v3.0.0-alpha.19) - 💡Add "Super resolution" option for 3D wallpaper, which uses AI to upscale low-res image input - 💡Add "Create 3D desktop wallpaper shortcut" option for 3D wallpaper, which launches XR Animator in a special 3D-wallpaper-only mode for desktop use - 💡Add options for 3D wallpaper to switch AI model for depth map generation and super resolution - Add support for accepting scene JSON input anywhere and anytime after app start - Add "Image input handler" setting under background image options, which allows handling any image input as wallpaper by default - Move some calculations of 3D wallpaper from CPU to GPU shader which improves real-time responsiveness - Reduce unused resource loading when avatar model is not used - Suppress error message when creating desktop shortcut - Fix bug which prevented depth map from being applied to 3D wallpaper when depth map was not transformed - Fix bug and accept video wallpaper only when 3D wallpaper is disabled - Fix legacy settings window which failed to update when only SELECT inputs changed - Fix regression which broke file dropping when running in desktop wallpaper mode - Update three-vrm (v3.1.2) - Update electron-as-wallpaper (v1.0.8) - Update transformers.js (v3.0.0-alpha.19) XR Animator (v0.28.0): ・💡AI生成の深度マップを使用して2D画像を3D背景に変換し、3D壁紙のサポートを追加 ・💡カスタマイズ可能なオプションで「カメラのフェイスロック」機能を強化 ・全身モーションキャプチャ中のアバターの動きの揺れを軽減 ・マウスホバー時にボタンが表示されないオプションを修正 ・マウスを使用してボタン経由でオプション値を変更すると、3D カメラの制御が壊れる可能性があるバグを修正 - 💡Add 3D wallpaper support by turning 2D image into 3D backdrop with AI-generated depth map - 💡Enhance "Camera face-locking" feature with customizable options - Reduce avatar movement jitters during full body mocap - Fix some options with missing buttons on mouse hover - Fix bug when using mouse to change option values via buttons which might break the 3D camera control XR Animator (v0.27.4): ・Warudoに接続したときにプロップのスケーリングの同期をサポート ・キー (⬅️➡️➕➖) で値を変更する必要がある UI オプションの使いやすさを、キーを押す代わりにクリック可能なボタンで改善 ・特に目が中央にないときに、瞬き中の視線追跡を改善 ・キーパッドなしでキーボードから +/- キー入力を許可することで 3D シーン ビルダーを改善 ・値が「中」の場合、最初のクリックで変更できなかった AI モデル品質の「Z-奥行きスケール」オプションを修正 - Support syncing of prop scaling when connected to Warudo - Improve the ease of use of UI options that require keys (namely ⬅️➡️➕➖) to change value with clickable buttons as alternative to key press - Improve eye tracking during blinks, especially when eyes are not centered - Improve 3D scene builder by allowing +/- key input from keyboard without keypad - Fix "Z-depth scale" option of AI model quality which failed to change on first click when the value was "Medium" XR Animator (v0.27.3): ・「カメラ自動ズーム」オプションを追加 ・上半身のモーキャプのさまざまなポーズやモーションのモーションパラメータを調整 ・全身モーキャップ中にボディコライダーモードをオンからオフに切り替えるときのランダムな腕の不具合を修正 ・外部設定JSONからインポートされたときの「VRM関節の剛性」設定を修正 ・MediaPipe Tasks Vision の更新 (v0.10.15) ・electon の更新 (v32.0.1) - Add "Camera auto-zoom" option - Adjust motion parameters of various poses and motions for upper body mocap - Fix random arm glitches when switching body collider mode from on to off during full body mocap - Fix "VRM joint stiffness" setting when imported from external settings JSON - Update MediaPipe Tasks Vision (v0.10.15) - Update electron (v32.0.1) XR Animator (v0.27.2): ・「モーキャプデータ平滑化」オプションを追加し、スムージングを少なくしてモーションの詳細を増やせるようになる ・新しいポーズを追加（Sit 17） ・アプリウィンドウが最小化されているときのバックグラウンドタスク（VMCプロトコルなど）の改善 ・ビデオタイムスタンプの精度を高め、モーキャプとモーション記録の全体的な滑らかさを向上 ・モーション記録中に記録される顔のブレンドシェイプデータの感度を高める ・全身モーキャプ中に腕が画面から外れると歪む可能性があった「手捩」ボーンの回転を修正 ・モーション記録中にデータが適切にリセットされない可能性がある顔のブレンドシェイプ記録を修正 ・記録速度が 1 未満の場合のモーション記録中のデータ フィルターの平滑化係数を修正 ・FBX/glTF モーションをインポートするときに中指の名前のマッピングが壊れるという回帰を修正 ・いくつかの設定をリセットできなかった「すべての設定をリセット」オプションを修正 ・モーション設定のインポートを修正し、モーションがロードされる前に新しいモーションの設定をインポートできるようにする - Add "Mocap data smoothing" option, allowing less smoothing for more motion details - Add new pose (Sit 17) - Improve background tasking (e.g. VMC-protocol) when app window is minimized - Increase the precision of video timestamp, which improves the general smoothness of mocap and motion recording - Increase the sensitivity of blendshape data being recorded during motion recording - Fix "手捩" bone rotation which could be distorted when its arm was out of screen during full body mocap - Fix blendshape recording in which data might not be properly reset during motion recording - Fix the smoothing factor of data filter during motion recording when the recording speed is below 1 - Fix regression which broke the mapping of middle finger naming when importing FBX/glTF motion - Fix "Rest all settings" option which failed to reset a few settings - Fix motion config import to allow config of new motion to be imported before the motion is loaded XR Animator (v0.27.1): ・全身モーキャプに「腰の調整」サポートを追加 ・腰の調整用の「胸部回転オフセット」オプションを追加し、頭の回転に基づいて胸部回転オフセットを適用 ・顔トラッキングに「まばたきの明瞭度」オプションを追加し、目の開閉状態のコントラストを高めて、瞬きを完全に実行しやすくする ・上半身のモーキャプ中に「ヒップカメラ」を使用する場合のヒップオフセット調整 ・腰の調整における各種設定の上限と下限を変更する ・顔トラッキングのキャリブレーション プロセスに眉毛の調整を追加する ・上半身のモーキャプ中にセンターのボーンの位置が失われる場合があるモーション記録を修正 ・「three-vrm」を更新 (v2.1.3) - Add "Hip adjustment" support for full body mocap - Add "Chest rotation offset" option for hip adjustment, which appplies a chest rotation offset based on head rotation - Add "Blink clarity" option for face tracking, which increases the contrast between eye open and close status, making it easier to activate a full blink - Push the lower limit of "VRM joint stiffness" setting down to 10% - Offset hip adjustment when using hip camera during upper body mocap - Change the upper and lower limit of various settings in hip adjustment - Add eyebrow adjustment into the face tracking calibration process - Fix motion recording when the position of the center bone might be missing in some cases during upper body mocap - Update three-vrm (v2.1.3) XR Animator (v0.26.0): ・「腰の調整」オプションの下に「回転」設定を追加 ・ 腰の調整用の「設定セット」オプションを追加し、複数の構設定セット（A-H）を定義して、「ポーズ/モーション」の任意のポーズに適用できるようにする ・スプリングボーンを調整して髪の毛などのパーツを柔らかく見せるための「VRM 関節の剛性」オプションを追加する ・さまざまなポーズのパラメータを更新する ・「悲しい」感情検出を、しかめっ面によってトリガーされるように更新 ・「驚き」感情検出の感度を高める ・腕の位置が脚の位置に依存する場合の上半身のモーキャプ中の腕の静止位置を改善する - Add "Rotation" setting under "Hip adjustment" options - Add "Configuration set" option for hip adjustment, allowing multiple sets of configuration (A-H) to be defined and applied to any pose under "Pose/Motion" - Add "VRM joint stiffness" option to adjust springbones to allow parts like hairs to look softer - Update parameters for various poses - Update "sad" emotion detection to be triggerable by frown - Increase the sensitivity of "surprise" emotion detection - Improve the resting arm positioning during upper body mocap when its position is dependent on the leg's position v0.25.0 and before: https://github.com/ButzYung/SystemAnimatorOnline/releases

ウェブアプリ版 / Web app version

https://sao.animetheme.com/XR_Animator.html

Windows版 - 動作環境 / System Requirements

Windows 10/11 CPU: 2.4GHz CPU Quad Core Memory: 4GB Graphics: Geforce GTX 750 注: ラップトップを使用していてフレーム レートが予想より低い場合は、アプリが低速の統合 GPU を使用している可能性があります。これはラップトップ ユーザーにとって非常に一般的な問題です。グラフィックス カードの設定を構成し、より高速な専用 GPU が使用されるようにします。方法が分からない場合は以下の記事をご覧ください。 NOTE: If you are using a laptop but you are experiencing lower-than-expected frame rate, the app may be using the slower integrated GPU. This is a pretty common problem for laptop users. Configure your graphics card settings and make sure that the faster dedicated GPU is used. Check out the article below if you don't know how. https://techcult.com/how-to-force-windows-to-use-dedicated-graphics/