VRCT v3.6.0
· 8 分間の読み物
VRCT v3.6.0 は、2つの新しい使い方を追加するリリースです。画面上のVRChatチャット吹き出しを読み取るチャット読み取りと、VRの中からVRCTを操作できる**VR UI(β版)**です。あわせて、VADによる音声検出、刷新したアップデート画面、検索できる設定画面、セキュリティと安定性の改善を行いました。この記事は、v3.5.1からの変更点を説明します。
新機能
チャット読み取り(OCR)
- VRChatに表示されるチャット吹き出しを読み取り、通常の翻訳パイプラインで翻訳します。
- 結果はメッセージログとSteamVRオーバーレイに表示されます。VRChatのチャットボックスへは送信されません。
- SteamVRの起動中はSteamVRの画面からVRChatの表示を読み取ります。それ以外の場合は、VRChatのウィンドウを読み取ります。
- メインウィンドウのチャット読み取りトグルスイッチでオン/オフできます。
- 新しいチャット読み取りタブで、次の項目を設定できます。
- 元の言語:自動(日本語、英語、中国語、その他のラテン文字系)、または韓国語、ロシア語、ウクライナ語、タイ語、アラビア語、ヒンディー語。実行中に変更しても、再起動せずに切り替わります。アラビア語の精度は現時点では低めです。
- ウィンドウ名(初期値:
VRChat):ウィンドウタイトルが異なるクライアントを使う場合に変更します。 - キャプチャ間隔(初期値:750ms)、最小信頼度(初期値:0.85)、最小文字数(初期値:2文字)。
- モデルの準備ができていないなどの理由で開始できない場合は、理由を通知します。
VR UI(β版)
- 左手首(右手に変更可能)のランチャーで、翻訳、マイク、聞き取り、チャット読み取りをオン/オフできます。
- フローティングウィンドウで、ログ、言語、VR設定を表示します。
- 各ウィンドウは、コントローラーで移動、押し引き、サイズ変更ができます。
- ワールド、左手、右手、頭のいずれかに固定したり、ロックしたりできます。
- ウィンドウが視界から外れた場合は呼び戻すを使います。
- ログの文字の大きさは14から28の範囲で変更でき、不透明度は100%、80%、60%、40%の順に切り替わります。
- 言語ウィンドウでは、プリセットの切り替え、自分の言語と相手の言語の1つ目の入れ替え、相手の言語の追加と削除(最大3つ)ができます。
- VR設定ウィンドウを開いている間は、翻訳と文字起こしを一時停止します。閉じると再開します。
- VRタブのVR UIを表示するでオンにします。ランチャーが見つからなくなった場合は、ランチャーの位置と大きさを初期に戻すを使います。
音声検出(VAD)
- マイクとスピーカーの感度モードに**VAD(自動)**を追加しました。AIの音声区間検出(Silero VAD)が話し声を見つけ、話し終わるたびに音声を文字起こしに送ります。BGMやゲームの音が流れている場合に役立ちます。
- マイクとスピーカーには、それぞれ個別に設定できます。VAD(自動)、自動、手動から選択します。
アップデート画面の刷新
- アップデート画面を作り直しました。1つの画面で次の項目を選べます。
- リリースチャンネル(安定版またはβ版)
- ビルド(CPU版、またはGPU版(CUDA))
- インストールするバージョン(v3.6.0以降の過去のリリースを含む)
- インストールする前に、現在の構成とインストール後の構成を比較した表で確認できます。ダウングレード、チャンネルの切り替え、GPU版(追加で約5GBのダウンロードが必要)では注意が表示されます。
- ダウンロードしたインストーラーは、公開されているSHA-256チェックサムで検証されます。一致しない場合は、更新を中止します。
- VRCTからインストーラーを起動すると、インストーラーの言語はVRCTの表示言語に合わせて選ばれます。
設定画面
- 検索:コンフィグウィンドウ上部の検索バーで、設定を名前から探せます。
- 翻訳タブ:「AI翻訳(ローカル)」「外部翻訳API」「ローカルLLM・互換サーバー」の3つのセクションに分かれました。
- デバイスタブ:マイクとスピーカーの設定を、それぞれのセクションに分けました。
- 選択中のエンジンに関係する項目だけを表示します。たとえば、Whisper専用の詳細設定は、Whisperを選択しているときだけ表示されます。
- 「認証キー」の表記を「APIキー」に統一しました。
- テキスト入力欄でEnterキーを押すと保存できます。数値入力欄は矢印キーで微調整でき、マウスホイールで値が誤って変わらなくなりました。
- モデルの一覧で、デフォルトのモデルにデフォルトと表示されます。
- ホットキーが他で使われている場合は、黙って失敗せず、エラーを表示します。
改善
- 起動時に、翻訳エンジンと文字起こしエンジンの確認を並列に行い、起動を速くしました。
- 複数の対象言語への翻訳を、並列で行うようにしました。
- 途切れずに話し続けた場合でも、約15秒ごとに音声を区切るため、文字起こしが遅れ続けません。
- VRCTをVRChatより先に起動した場合は、VRChatでアバターを読み込むたびにマイクのミュート状態を同期します。
- マイクの自動選択は、Windowsの既定のデバイスに追従します。仮想オーディオデバイスなどへ勝手に切り替わりません。
- メイン画面上部のVRCマイクミュート同期と最前面表示は、ポップアップなしでそのまま切り替えられます。
- 会話ログや設定ファイルの場所を開いたときに通知を表示します。エラーのトースト通知は、選択してコピーできます。
- ドロップダウンメニューが親要素で切れなくなりました。外側のクリックやEscキーで閉じられます。
- AboutVRCTのドキュメントリンクは、表示中の言語のページを開きます。
- GPU版はPyTorchに依存しなくなりました。
- Google、Bing、Papagoの内蔵翻訳エンジンを作り直しました。オフラインで起動しても、ネットワークが戻れば翻訳できます。
- AIモデルのダウンロードに再試行とタイムアウトを追加しました。一時的な通信の切断で「AIモデルが見つからない」と表示されることがなくなりました。
セキュリティ
- ダウンロードしたアップデートのインストーラーは、SHA-256で検証されます。一致しない場合は更新を中止します。
- WebSocketサーバーはアクセストークンを必要とします。詳細設定タブの**WebSocket URL(クリックでコピー)**で、トークン付きのURLをコピーできます。OBSブラウザソースは、トークンを自動的に使って接続します。
- WebSocketのホストに
0.0.0.0や::のようなワイルドカードアドレスを指定できなくなりました。 - APIキーが、ログや標準出力に平文で出力されないようにしました。
バグ修正
- WebSocketが異常に切断されると、OBSブラウザソースが真っ白になる問題を修正しました。
- 音声デバイスの抜き差しや自動選択の切り替えが重なったときに、録音が止まって復帰しない問題を修正しました。
- マイクにWASAPIのステレオ入力(例:MOTU M Seriesの「In 1-2」)を選ぶと、音量メーターは動くのに文字起こしが出ない問題を修正しました。
- 起動処理が固まったまま終わらない問題、固まったときに終了できない問題を修正しました。
- 起動の完了が、GitHubへの更新確認の応答を待って遅れる問題を修正しました。
- ログ出力が詰まると、アプリ全体が数十秒固まる問題を修正しました。
- クリップボード機能でウィンドウのフォーカスに失敗したときは、通知を表示するようにしました。
- 色の設定で無効な値が保存される問題を修正しました。
- OpenAI互換のURLを空にすると、設定が失われる問題を修正しました。
- 処理デバイスの一覧に選択中のデバイスがない場合に、設定タブが落ちる問題を修正しました。
- 設定画面のスライダーで、目盛りやラベルが表示されない問題を修正しました。
- まれにUIとの通信でパースエラーが起きる問題を修正しました。
削除
- プラグイン機能を廃止しました。プラグインタブとプラグインウィンドウはなくなりました。
- AboutVRCTのポスターセクションとローカライズ項目を削除しました。ローカライズの協力者は、スペシャルサンクスに掲載しています。
リンク
v3.5.1時点のドキュメントは、上部ナビゲーションバーのバージョン切替ドロップダウンから参照できます。