ニューラルリコンストラクションとは
ニューラルリコンストラクションは有望な技術として注目されており、実走行データから現実的な3Dシミュレーションを生成し、希少なエッジケースを含む膨大なシナリオにわたり、開発スケジュールを守りながら安全性を損なうことなく、複雑化するシステムの検証を可能にします。
本ブログでは、Foretellixが提供する強力なソリューションを紹介します。Foretifyのオープンアーキテクチャプラットフォームを活用し、NVIDIA NuRecやParallel Domain Replicaといったニューラルリコンストラクション技術をAV開発者が統合できるように設計されています。さらに、Foretellixのシナリオベース検証・自動化ツールチェーン、特にSmart Replay技術と組み合わせることで、開発者は再構築されたシーンを大規模に生成・再生・変化させることができます。
ニューラルリコンストラクションが不可欠になる理由
AV開発において、エンド・ツー・エンドモデルやAIを活用した自律走行がこれまで以上に多様で豊富なデータを要求する時代に突入しました。しかし、実車走行テストだけではこのニーズを満たせません。希少な状況や危険なケースを検証するには、時間がかかりすぎ、費用も高すぎます。
ニューラルリコンストラクションは、生のセンサーログを完全にレンダリングされたシミュレーション対応環境に変換し、高リアリティ、条件変更の柔軟性、そして開発・テストパイプライン全体での再利用性を提供します。
ニューラルリコンストラクションにおける一般的な問題
多くのAVチームが直面している典型的な問題は以下の通りです：
- スニペット探索：膨大なログデータから特定のイベント（例：時速30～40マイルで対向車が接近してくる状況で自車が左折する）を探す作業は依然として時間のかかる手作業
- テストケースの定義と保守：再構築されたシーンを基に堅牢なテストを定義・検証・保守するのは困難
- 動的なシナリオ変更：再構築されたシーンでアクターの挙動や環境パラメータを変更する作業は、手間がかかり、エラーの温床
- ハイブリッドシナリオの作成：実世界のスニペットに合成されたアクター（例：割り込み車両）を追加するには精緻な制御が必要
カバレッジの可視化：再構築シナリオがカバレッジ目標を満たしているのか、あるいは安全性の欠落を残しているのか、チームが把握困難
Foretifyによる統合ワークフロー ログからセーフティドリブン・シミュレーション
こうした問題に対応するため、Foretellixのデータ自動化プラットフォームForetifyは、イベント検出からシナリオ変更・シミュレーションまでを一貫して行えるクローズドループの統合ワークフローを提供します。
ワークフローの概要
スニペット探索と選択
Foretify Evaluateを用いて、大規模シナリオデータからシナリオの意図（例：右側から一定速度で出現する歩行者横断）に基づいて関連する実走行イベントを検索し、再構築・修正・リプレイ用のスニペットを抽出
シーン再構築
抽出したスニペットをNVIDIA NuRecやParallel Domain Replicaに渡し、センサーレベルの精度を持つ3Dデジタルツインを生成し、修正や新しいシーンのレンダリングが可能
A reconstructed scene with Parallel Domain
シーン変更とシナリオ作成
Foretellixツールチェーンを用いて、再構築シーンを変更し、タイミング、アクター挙動、環境条件を調整
- Smart Replayにより、各アクターを以下のように制御可能：
- 実走イベントの軌跡・挙動をそのまま再現
- 軌跡をわずかに修正し、バリエーションを探る
- リアクティブな行動モデルを使用し、シナリオ内で動的に応答
- 特定アクターを削除して、相互作用を単純化
さらに、V-Suiteライブラリを活用して：
- 新しいアクターを挿入（他シーンから抽出したものや合成アクター）
- 挿入アクターを用いた新規シナリオ作成
- オリジナルから大きく逸脱した挙動を試し、仮定条件やエッジケースを検証
検証とカバレッジフィードバック
Foretify Evaluateは再構築シナリオと既存ログを取り込み、安全性KPIとODDカバレッジメトリクスに統合し、ダッシュボードを通じてギャップを可視化し、検証の完了度を保証
ユースケースと応用例
この統合ワークフローにより、以下の活用が可能になります：
- AIモデル学習：MLエンジニアは、希少なシナリオを再構築し、安全なバリエーションを生成して多様な学習データセットを構築
- クローズドループシミュレーション：V&Vチームが実走のエッジケースを再生し、新しいアクター挙動を追加して安全性応答を評価
- ハイブリッドシナリオ作成：既存シーンに新しいエージェントを追加し、複雑な相互作用下での堅牢性を検証
- 安全性証拠の生成：各テストをシナリオカバレッジダッシュボードやKPIにリンクし、自動で安全証拠を確立
AVチームが得られるメリット
ForetellixとNVIDIA、Parallel Domainの統合ソリューションにより、以下が可能になります：
- 実走ログからのシナリオ生成を劇的に高速化
- 再構築データの再利用性向上で物理テスト依存を削減
- エッジケースの大規模変化により堅牢なAI学習と安全性検証を実現
- カバレッジ追跡を改善し、希少シナリオから日常的ケースまで信頼性を確保
より安全なAI自動運転の基盤へ
AVスタックがAI駆動型へ移行する中、開発のペースと複雑性に合致するシミュレーションワークフローが求められています。Foretellixのデータ自動化プラットフォームと、NVIDIAおよびParallel Domainのニューラルリコンストラクション技術を組み合わせることで、実走行ログから検証済みシナリオまでをかつてないスピードと制御で実現できます。
これは、安全で効率的なAI自動運転開発への大きな一歩です。
👉 この統合を実際にご覧になりたい方は、ぜひお問い合わせください。
