【XR Animator】VRM/MMD用AIモーキャプ(日本語UI対応)

「XR Animator」は、AIベース (MediaPipe) の全身モーションキャプチャで、画像、ビデオ、および Webカメラを入力としてサポートします。ブラウザ版とWindows/Linux/macOS(*)版の両方が利用可能です。 Windows/Linux/macOS バージョンは、VMCプロトコルをサポートして、リアルタイムモーションデータを VSeeFace、Unity、Unreal Engine などの外部アプリに送信できる。ブラウザ版はAndroidのAR（拡張現実）モードに対応。 (*) - macOS バージョンはまだベータテスト中です。

「ギフトとして贈る」とは

対応機能

・Webカメラまたはメディアファイル (画像/ビデオ) を使用して全身 AIモーショントラッキングをサポート・「Perfect Sync」/ARKit 互換の 52 ブレンドシェイプをサポート・MMD/VRMモデルを 3Dアバターとして使用することをサポート・モーションキャプチャを記録し、VMD/BVHモーションフォーマットにエクスポートします・VMD/BVH/FBX形式の3Dモーションの読み込みに対応・2D 画像/ビデオ、3D パノラマ、および 3D オブジェクト (.x/.glb 形式) を使用して、背景と 3D シーンをカスタマイズします・VMCプロトコルをサポートして、リアルタイムモーションデータを VSeeFace、Unity、Unreal Engine などの外部アプリに送信できる (Windows/Linux/macOS版だけ) ・OBSなどのビデオキャプチャアプリで背景が透明なフレームレスウィンドウをサポート (Windows/Linux/macOS版だけ) ・Android Chromeブラウザーで AR (拡張現実) をサポート・日本語UI対応注: macOS バージョンは現在ベータテスト中です。インストール手順については、付属の readme ファイルを必ずお読みください。バグや問題があれば報告してください。🙏

先行版について / About the early access version

「先行版」のダウンロードは会員特典のひとつです。私の FANBOX のファンになって XR Animator の開発をサポートし、すべての早期アクセスリリースやその他の特典をお楽しみください。 https://xra.fanbox.cc/ For English version, you can join my Ko-fi instead☕ https://ko-fi.com/butzyung/tiers

更新履歴 / Update History

XR Animator 先行版 (v0.33.4b) ・新しい VMC の「遅延」設定が内部的に 500 ミリ秒に固定され、変更できないバグを修正・指の骨が欠落している VRM モデルとフェイスロックカメラ機能を同時に使用した場合のエラーを修正 XR Animator 先行版 (v0.33.4) ・💡オカリナのモーションキャプチャをサポート・💡VMC プロトコルに「遅延」設定を追加し、VRChat や Cluster などのメタバースアプリで一般的に発生する音声遅延をオフセットし、他のユーザーが表示したときにアバターのモーションと音声の同期を実現できるようにする・Cluster などの外部アプリで、固定ボーン (手) に取り付けられた楽器アクセサリの位置合わせを行う際に、バイオリンなどの一部の楽器のモーションキャプチャの安定性が向上・カスタムモーション（MMD、FBXなど）を再生するときに、モーション速度の変更（メディアコントロールの進む/戻るボタン経由）を許可・指の骨が欠損したVRMモデルの互換性を向上・アバターモデルのサイズに合うようにボディコライダーのスケーリングを改善・アバターモデルのサイズに合うように、楽器のモーキャプ（フルート、サックスなど）を改善・アバターモデルを交換するときにスプリングボーンの物理とボディコライダーをリセット・特定のボーン構造の VRM モデルを使用すると失敗する可能性がある BVH/VRMA エクスポーターのバグを修正・VRMアバターモデルで使用される一部の楽器小道具のスケーリングを修正・transformers.js を更新 (v3.3.3) ・electron を更新 (v35.0.2) XR Animator 先行版 (v0.33.3) ・💡最適化されたクラスタ (Cluster) のサポート・💡macOSをサポート（ベータテスト）・異なる 3D オブジェクトを含む新しいシーンがドロップされたときの 3D シーン更新の動作を変更し、追加する前に既存の 3D オブジェクトを削除するようになる・同じモデルの異なる設定の 3D シーンのホットスワップをサポートし、重複した 3D モデルをロードする代わりに新しい設定を適用するだけなので、楽器の小道具の設定を調整する場合などに便利・サポートされているプロップを含む 3D シーンをエクスポートするときにアクセサリのエクスポート情報を追加し、追加の計算なしでこれらの値を直接コピーするだけで、Cluster などのアプリでのアクセサリ変換の調整が容易になる・古くなった/冗長なファイルを削除・アプリウィンドウが最小化されているときにアバターのポーズが変更されると VMC 送信機の速度が低下する可能性があるバグを修正・3D シーンビルダーで 3D オブジェクトを削除するとエラーが返される問題を修正・electron の更新 (v34.2.0) XR Animator 先行版 (v0.33.2) ・💡VRMAアニメーションのインポートとエクスポートをサポート・💡Webカメラのデフォルトの非必須フレームレート設定（30）を適用・無制限の数のWebカメラ入力のリストをサポート・Webカメラ入力のデフォルト以外のフレームレート設定の動作を必須に変更 (注: 必要なフレームレートがサポートされていない場合、Webカメラが読み込まれない可能性があります) ・Webカメラのフレームレート設定が正しく適用されないバグを修正・顔のトラッキングなしで体のトラッキングのみが有効になっている場合に首/頭の回転の計算に影響する回帰バグを修正・MMD 以外のモーション (BVH/FBX/glTF など) のインポートとエクスポートで、ヒップの位置が VRM モデルのサイズに適切に適応しないというバグを修正・特定の名前の脊椎ボーンをスキップする可能性がある BVH モーションインポートのバグを修正・圧縮された MMD モーションセットのアクティベーションを修正し、テンキーだけでなくすべての数字キーを受け入れるようにする・MediaPipe の更新 (v0.10.21) ・electron の更新 (v34.1.1) XR Animator 先行版 (v0.33.1) ・💡VMC受信機のroot姿勢をサポート・💡VMC受信機の「ハンドカメラ」機能をサポート・一部の設定ではアバターがカメラに近づきすぎないように、ヒップ距離トラッキングに制限を追加・「カメラのフェイスロック」オプションの「最小距離」設定の下限を 1 から 0.5 に変更・「ハンドカメラ」の使用中は「カメラのフェイスロック」機能を自動的に無効にする・「カメラのフェイスロック」オプションの「最小距離」設定を誤って適用していた回帰バグを修正・VMC受信機で手首にランダムな不具合が発生するバグを修正・VMC受信機の顔設定が「表情 + 頭 (絶対)」に設定され、アプリ内顔トラッキングが同時に実行されているときに、頭/首の回転が間違ってしまう可能性があるバグを修正・VMC受信機で、設定を変更した後に脚/足の IK が適切にリセットされないことがあるバグを修正・設定のJSONインポートを修正し、必要に応じてVMC受信機を適切に有効にするようになる・electronを更新 (v34.0.1) ・three-vrmを更新 (v3.3.4) XR Animator 先行版 (v0.33.0) ・💡VMC受信機のサポートを追加し、外部モーキャプやその他のトラッキングオプションを可能にする・「カメラのフェイスロック」機能に「垂直制約」オプションを追加して、アバターの頭が画面内で垂直になるように 3D カメラを自動調整・「カメラのフェイスロック」機能を改善し、マウスによるカメラ調整や「カメラの自動ズーム」機能と連携してより適切に動作するようになる・「カメラのフェイスロック」の「ロック率」設定を更新して0%を許可・ARKit ブレンドシェイプにスムージングを追加・全身モーキャプポーズ使用時に、「腰の調整の設定セット」設定の動作をデフォルト構成に固定するように変更・「カメラのフェイスロック」に関連するバグと計算の問題を修正・カメラがアバターに近すぎる場合にマウスカメラのズームアウトがロックされる問題を修正・顔のトラッキングなしでボディトラッキングのみが有効になっている場合、一部のプリセットポーズのアバターの向きを修正・特定のプリセットポーズで「腰の調整」が使用されたときの頭の回転に関連する計算バグを修正・モーション録画中のAI感情検出の更新間隔を修正・「transformers.js」を更新 (v3.2.4) XR Animator 先行版 (v0.32.0) ・💡AI感情検出のサポートを追加・顔追跡中の、特に顔がカメラに非常に近い場合の境界ボックスのスケーリングを改善・オブジェクト追跡オプションの下に画像分類 AI モデルを変更する設定を追加 (楽器などの可視性を追跡できる小道具で使用可能) ・感情追跡オプションに「母音」設定を追加・肩の動きを安定させる・楽器のプロパティを設定する際に、いくつかの操作のヘルパーのサポートを追加・オブジェクト追跡オプションの検出/追跡スコアしきい値設定の下限を10%に変更・MMD モデルの悲しみ/怒りのモーキャプ表現を改善・MMDモデルの3D壁紙のシェーダーモードをサポート・重複したファイルを削除する・ボディトラッキング中に最初に肩が見えなかったエラーを修正・新しいモデルにアイコンが定義されていない場合の VRM モデル交換のエラーを修正・楽器プロップのオブジェクト追跡で、プロップ固有の設定が無視されるバグを修正・ターゲット位置が有効距離を超えたときに逆引き効果を引き起こす平面タイプの位置マグネット (主に楽器の小道具に使用される) のバグを修正・MediaPipe の更新 (v0.10.20) ・three-vrm の更新 (v3.3.1) ・transformers.js の更新 (v3.2.3) XR Animator 先行版 (v0.31.0) ・💡2D ビデオファイルを 3D アニメーション壁紙として使用するサポート・💡繰り返し使用しても深度マップを再計算することなく、画像およびビデオファイルを深度マップが添付された 3D 壁紙形式に事前変換することをサポート・💡一部の楽器プロップのオブジェクトトラッキング（可視性）をサポート・💡「追跡喪失時にアバターを隠す」ボディトラッキングオプションを追加し、トラッキングが失われたときに 3D アバターを非表示にするか、ポーズをフリーズするかを決定・「独立したウェブワーカー」ハンドトラッキングオプションに「並列」モードと「同期」モードを追加・3D壁紙に最適かつ最大の深度AIモデル「depth-anything-v2-large」オプションを追加・脚が部分的にしか見えない場合や、ヒップが画面の下端に近い場合の脚のトラッキングの安定性を向上・手動カメラパンを無視するように「カメラのフェイスロック」機能を改善・「カメラのフェイスロック」の一部の設定の制限を±200%に増加・他のカメラ効果による調整を無視し、手動カメラ調整のみを考慮するように「3Dカメラのロック」(デフォルトでは Ctrl+L)を変更・「3Dカメラのロック」でカメラがロックされているときに 3D 壁紙の位置を更新・VRMの読み込みとパフォーマンス全般の改善・FBXローダーの精度とヒップボーンのデフォルト位置に関する互換性を改善・WebGPUをサポートしていないデバイスでの深度推定とオブジェクト追跡機能の下位互換性を改善・顔トラッキングのみが有効になっている場合の VMD 形式のモーション記録のブレンドシェイプ出力を修正・three-vrmを更新 (v3.3.0) XR Animator 先行版 (v0.30.0) ・💡3D壁紙をglTFモデルにエクスポートする機能をサポート・💡一部のモデルに影響するVRMジョイントの硬直性の問題を完全に修正・顔追跡用の「AIモデル推論装置」オプションを追加し、顔追跡モデルを実行するためにCPUとGPUを切り替えることをサポート・BVHモーションインポーターとエクスポーターを改良し、フォーマット仕様に忠実になるようにする・顔の追跡が時々失われることによって生じる頭の回転のぎくしゃく感を軽減・ボディトラッキングの喪失時の処理を改善し、トラッキングが失われる前にTポーズが表示されないようにする・上半身のモーキャプ中のアイドルアームの肘の回転を改善・3D壁紙のデスクトップモードで画像のアスペクト比に合わせてアニメーションパラメータを変更・足IK が使用されているときにモーションを BVH または glTF にエクスポートするときに足首のフレームが欠落する問題を修正・3D壁紙の読み込み完了メッセージの表示を修正 XR Animator 先行版 (v0.29.1) ・💡ウェブカメラからの縦向きビデオ入力を可能にする「ポートレートモード」オプションを追加・💡「腕IK」オプションを追加し、IK を使用してアームの位置を計算し、IK と FK を切り替えるときにアームの動きが揺れるのを防止・💡3D 壁紙に「ワーカースレッドを保持する」オプションを追加し、「いいえ」(デフォルト) に設定すると常駐メモリの使用量が大幅に削減・立った状態でカメラに近づいたときに上半身のモーキャプを安定させる・ターゲットに近づきすぎるときの小道具のアライメントを安定させる・いくつかのプリセットポーズのパラメータを更新・上半身のモーキャプ中の肘の位置を改善・上半身のモーキャプ中に腕の位置の調整に影響する回帰バグを修正・一部のパラメータが適切にリセットされない小道具の取り外しに関するバグを修正・MediaPipe を更新 (v0.10.18) ・electron を更新 (v33.2.0) XR Animator 先行版 (v0.29.0) ・💡ウェブカメラ上の特定の現実世界のオブジェクトを追跡するオブジェクト検出AIのサポートを追加・VMCプロトコル経由でWarudoに接続する際のVRM1.0ボーン回転の問題を修正・シーンのリセットを修正・設定のリセットを修正・デスクトップの「2D-to-3D 壁紙」のバグを修正し、最後に使用した画像が存在しなくなった場合にデフォルトの壁紙を使用・Transformers.js を更新 (v3.0.0) XR Animator (v0.28.1): ・💡3D壁紙に「超解像度」オプションを追加し、AIを使用して低解像度の画像入力を拡大・💡3D 壁紙用の「3D壁紙のデスクトップショートカットを作成」オプションを追加し、デスクトップで使用するための特別な 3D 壁紙専用モードで XR Animator を起動・💡3D深度マップ生成と超解像度のための AI モデルを切り替える 3D 壁紙のオプションを追加・アプリ起動後、いつでもどこでもシーンJSON入力を受け入れるためのサポートを追加・背景画像オプションの下に「画像入力ハンドラー」設定を追加し、デフォルトですべての画像入力を壁紙として扱うようになる・3D壁紙の計算の一部をCPUからGPUシェーダーに移動し、リアルタイムの応答性を向上・アバターモデルが使用されていないときに未使用のリソースの読み込みを減らす・デスクトップショートカットを作成するときにエラーメッセージを表示しない・バグを修正し、3D壁紙が無効になっている場合にのみビデオ壁紙の入力を許可・SELECT入力のみが変更されたときに更新に失敗する従来の設定ウィンドウを修正・デスクトップの壁紙モードで実行中にファイルのドロップが機能しなくなるという回帰を修正・「three-vrm」を更新 (v3.1.2) ・「electron-as-wallpaper」を更新 (v1.0.8) ・「transformers.js」を更新 (v3.0.0-alpha.19) XR Animator (v0.28.0): ・💡AI生成の深度マップを使用して2D画像を3D背景に変換し、3D壁紙のサポートを追加・💡カスタマイズ可能なオプションで「カメラのフェイスロック」機能を強化・全身モーションキャプチャ中のアバターの動きの揺れを軽減・マウスホバー時にボタンが表示されないオプションを修正・マウスを使用してボタン経由でオプション値を変更すると、3D カメラの制御が壊れる可能性があるバグを修正 v0.27.4以前: https://github.com/ButzYung/SystemAnimatorOnline/releases

ウェブアプリ版 / Web app version

https://sao.animetheme.com/XR_Animator.html

Windows版 - 動作環境 / System Requirements

Windows 10/11 CPU: 2.4GHz CPU Quad Core Memory: 4GB Graphics: Geforce GTX 750 注: ラップトップを使用していてフレームレートが予想より低い場合は、アプリが低速の統合 GPU を使用している可能性があります。これはラップトップユーザーにとって非常に一般的な問題です。グラフィックスカードの設定を構成し、より高速な専用 GPU が使用されるようにします。方法が分からない場合は以下の記事をご覧ください。 NOTE: If you are using a laptop but you are experiencing lower-than-expected frame rate, the app may be using the slower integrated GPU. This is a pretty common problem for laptop users. Configure your graphics card settings and make sure that the faster dedicated GPU is used. Check out the article below if you don't know how. https://techcult.com/how-to-force-windows-to-use-dedicated-graphics/