ソニック・ユーサーインターフェース:
非視覚イマージョンの探り

SUI(卒論)

ブラインドアーチャーでの空間オーディオとHMDヘッドトラッキングの経験をもとに、オーディオのみの限界を探ることが目標になりました。具体的には、ユーザーインターフェイス(メニューナビゲーション、ボイスオーバー、メタフィードバック)という、新しいソリューションが必要なため、これまでプロジェクトから除外されていた分野に取り組むことです。
没入感のあるソニックユーザーインターフェースを作るために、私はインスピレーションを求め、関連する分野ですでに達成されていることに目を向けました。私の研究に基づき、バーチャルリアリティにおける没入型かつ排他的な音響触覚フィードバックシステムの開発が実現しました。このVRプロトタイプの舞台は、デジタル聴覚強化室であることから「DARC」と名付けられた。人間の聴覚の全帯域を使い、聞き分けられないようなノイズを発生させることなく、プレイヤーが無意識のうちに音の質で異なる音を認識できるよう、いくつかのデザインルールを設定しました。以下のような対照的なフィードバックを経験することができます。

  • 環境 (360°シミュレートされた実世界の雰囲気)| 自然で、邪魔にならず、一定に
  • オブジェクト (インターアクタブル、オーナメント)| 空間化、エセリアル、リアル、ダイナミック
  • メタ (スコア、AIナレーション、テレポート)| 非空間的ステレオ、シンセティック、アキュート
  • コントローラ (手の位置、入力)| ハプティックフィードバック(+補間レーダー音)

このほかにも、「ダイナミック・オーブ・フィードバック」や「キーロック・ジェスチャー入力」など、いくつかの興味深い設計上の決定が、新しくユニークなインタラクションシステムの構築につながったのですが、これらについては論文で詳しく説明しています。今後のVRやARの開発に役立てば幸いです。私の盛んなプレイテストの結果から、インタラクティブオーディオが見直され、より複雑な音のユーザーインターフェイスが、まもなく期待される標準になると信じています。オーディオ革命は必然なのです

抄録
本論文は、ユーザーインターフェースデザイン、オーディオゲーム、視覚障害者向け技術の各分野から、効果的な実践を同化させたものである。従来のユーザーインターフェースの要素を、主にサウンドベースのアプリケーション用に変換することを意図し、特に没入感のある体験に焦点を当てた既存のアプローチの組み合わせによって試みられています。その結果、バーチャルリアリティにおける音によるユーザインタフェースを提案します。また、その有効性を検証するため、音声のみのプロトタイプを作成し、その正確性を確認しました。
キーワード :VRオーディオ、空間化、UIデザイン、オーディオゲーム、視覚障害者

  • 2020年2月
  • BA:デジタルゲーム (デザイン)

監修者

論文の構成

理論編(20%)

  1. SUIの紹介
  2. 人間の聴覚の条件
  3. オーディオゲーム解析
  4. 視覚障がい者向けインタフェイス
  5. VR SUIデザイン・テイクアウェイ

実技編(80%)D.A.R.C

  1. ダイナミックオーブ・インタラクション・システム
  2. キーロック・ジェスチャー入力
  3. アンビソニック アンビエンス
  4. ヴォーカルフィードバック
  5. 物理的にリアルな物体音のシム
  6. 触覚フィードバックシステム
  7. フィードバックのコントラスト