著者: Katie Washabaugh（NVIDIA AVシミュレーション プロダクトマーケティングマネージャー）、Ohad Schwarzberg（Foretellix VP プロダクト＆AI）
Foretellixは、NVIDIA Omniverse Blueprint for AV Simulationとの統合を拡張し、NVIDIA Cosmos Transfer World Foundation ModelおよびVideo Data Searchを追加しました。これにより、Foretellix Foretifyの行動シナリオ生成が強化され、天候・照明・地理的条件の多様性がさらに広がります。加えて、Foretifyの高度な行動検索は、Cosmosのセンサードメイン検索機能によって拡張されました。これらの強化により、AI駆動AVの学習・バリデーションが加速し、開発・展開を加速します。
ForetellixはNVIDIA Omniverseと統合した最初期のAVツールチェーンプロバイダーの一つであり、今回新たにCosmos Transferを採用し、AVシミュレーションをさらに進化させています
AV業界で起きている変化
AV業界は今、ルールベースのアーキテクチャから、AI駆動とルールベースの安全対策を融合させたハイブリッド型AVスタックへの移行期にあります。これはディープラーニングと計算能力の進歩、および従来のソフトウェアベース開発にかかるコストと時間の制約によって推進されています。
エンドツーエンドモデルは、カメラ・LiDAR・レーダーといったセンサー入力を深層ニューラルネットワークで直接ドライビングアクションにマッピングします。このアプローチは、適応性向上・遅延低減・新しいシナリオへの汎化を実現し、大規模走行データを活用できます。
しかし、実走データ収集だけでは、全ての物理的バリエーション（天候、照明、速度、距離など）、希少なエッジケース、そしてODD全体のシナリオを網羅することは困難です。これらのデータは安全なAV展開を加速させるために不可欠であり、大規模かつ現実的なデータを効率的に自動生成する必要があります。
Foretellixは、NVIDIA Omniverse Blueprint for AV SimulationにNVIDIA Cosmos Transferを統合することで、AI駆動AVスタックの学習・バリデーションにおけるデータの多様性とスケーラビリティをさらに拡大しました。
この統合ソリューションにより、ユーザーは以下を実現できます：
- Foretifyのビヘイビヤーレイヤー：シナリオ評価と生成
- NVIDIA Omniverse & Cosmos Transfer：高忠実度センサーシミュレーション
NVIDIA Cosmos Transferは、自律走行車やロボットといった物理AIシステム開発を加速するために構築された、最先端の生成型ワールド基盤モデル（WFM）、高度なトークナイザー、ガードレール、加速化されたデータ処理・キュレーションパイプラインで構成されるCosmosプラットフォームの一部です。
Cosmos TransferはOmniverseに接続し、Foretifyが生成した様々な走行シナリオを物理ベースの仮想環境内で数百の現実的バリエーションに変換します。
Foretifyは、実車走行データと高度な仮想シミュレーションを組み合わせ、トレーニングとバリデーションの双方に活用するデータ自動化ツールチェーンです。そのEvaluate >> Generateアプローチは4段階に整理されます：
- 実車走行ログやシミュレーションデータの統合・整理・クレンジング
- 定義済みKPIに基づきデータを評価し、性能と品質を検証
- 実車走行シナリオを変化生成し、OmniverseとCosmos Transferの物理ベースレンダリングで超写実的センサーデータを生成 → AVスタック学習用
全走行データを再評価し、ODDカバレッジ測定、安全性報告用データ、ギャップ特定、抽象シナリオ生成によるシステム検証
Omniverse Blueprintは、AV開発のためのリッチな3D世界を作成するリファレンスワークフローです。
- Sensor RTX APIによるセンサーシミュレーション
- 実車走行センサーデータからのデジタルツイン強化
- 動的オブジェクトの物理と行動モデリング
- 物理的に正確で多様なセンサーデータ生成
このAPIベース設計により、Foretifyのような既存ワークフローとシームレスに統合され、走行データのリプレイ、新しいグラウンドトゥルースデータ生成、クローズドループテストを可能にします。
Cosmos Transferにより、ForetifyはSensor RTXで生成されたセンサーデータの多様性を増幅可能です。天候、落書き、レンズの汚れ、新しいODDまで、シーンの外観を自在に変化させます。さらにCosmos Transfer Video Data Searchはプレゼンテーションレベルの動画検索と高忠実度レンダリングを提供します。Foretifyの行動検索機能と自然に補完し、トレーニングとバリデーションのデータスケーラビリティを実現します。
今後の展望
AVスタックがますますAI駆動となる中、制御可能・予測可能・反復可能なデータ自動化ツールチェーンの必要性は高まります。Cosmos TransferをNVIDIA Omniverse Blueprintに統合することで、Foretellixは意味のある現実的なデータを開発者に提供し、堅牢かつ安全なAI駆動AVソリューションの迅速な開発・学習・バリデーションを支援します。
シナリオベース学習と高忠実度シミュレーションの橋渡しにより、自律モビリティの未来に道を拓く重要な一歩です。
イノベーションを体感
Foretify開発ツールチェーンと高忠実度センサシミュレーションを体験しませんか？
2024年3月18～21日にNVIDIA GTC サンノゼ、ブース1543でForetellixをご訪問ください。またはForetellixのWebサイトで、この画期的統合がどのように自動運転開発を加速し、自信を持って市場投入を可能にするかをご覧ください。
