シンセティックセンサーデータ生成のための「優先通行違反（Right-of-Way Violator）」シナリオ作成

エンドツーエンドの計画モデルを備えたAI駆動AVスタックを学習させるには、現実的で信頼性の高い走行データが不可欠です。しかし、実世界データには多様性と規模の面で限界があります。解決策は、スケーラブルかつ制御可能な合成データの生成です。

本ブログでは、ForetellixのForetify開発ツールチェーンをCARLAおよびNVIDIA Cosmosと統合し、合成センサーデータ生成を目的として高品質な「優先通行違反」シナリオを作成・選定・レンダリングしたプロセスを概説します。このデータはエンドツーエンドAVスタック向けの模倣学習パイプラインへ投入され、多様性・意図の保持・スケーラビリティを兼ね備えた学習シナリオにより、性能と安全性の向上に寄与します。

動機：重要なデータギャップへの対応

この取り組みは、バリデーション中にAVスタックの性能ギャップが特定されたことに端を発します。システムが苦手としていたのは、**「交差点での優先通行違反」**という特定の交通シナリオでした。

分析の結果：

• 実走行ログにはこのシナリオの十分な事例が存在せず、特にEGO（被試験自動運転車）が適切に応答しているケースが不足
• とりわけ安全クリティカルなシナリオにおけるデータ不足により、記録されたフリートデータだけでは学習・評価が不可能

そこで、こうした相互作用を表す合成センサーデータを生成するプロセスを実行。もっともらしいが稀な違反を系統的にシミュレーションし、高品質・多様・意図整合な合成データで模倣学習させることを目標としました。

1. 要求分析

まず自然言語の要求ドキュメントで「優先通行違反」シナリオクラスを記述します。

内容は：

• シナリオの機能目的
• EGOの期待挙動（減速、停止、回避操作など）
• 違反アクターの行動（停止／譲れの無視・違反 など）

ここからシナリオの意図、アクターの役割・挙動、期待される結果を抽出します。人が読める要求を形式シナリオ化の土台にしました。

2. Foretify Developer と V-Suite ライブラリによる抽象シナリオの形式化と実装

OpenSCENARIO DSLを用い、英語要求を地図非依存の形式シナリオへ翻訳：

• 宣言的なアクター役割（例：「違反者」「被害者」「その他アクター」）
• 時間関係・制約（例：「違反者がEGOより0.5秒早く進入」）
• 望ましいEGOの反応（例：「TTCが閾値未満なら減速度 X で制動」）

Foretify V-Suites（再利用可能なシナリオライブラリ）を活用：

• 交差点系シナリオを出発点に
• それらを優先通行違反へ合わせて改変・合成
• 検証済みパターンの再利用で、開発を加速し一貫性を確保

ドメインモデルに基づく制約で正しさ・物理的妥当性を保証：

• 交通規則、幾何制約、アクター能力などの基礎制約を適用
• 様々なマップでも生成バリエーションが有効で現実的となるよう担保

抽象表現により、ロジックと地理レイアウトを分離し、柔軟でスケーラブルな再利用を可能にしました。

実装にはForetify Developerツールを使用します。キーとなったのは制御可能なドライバーモデルです。EGOには衝突回避の適切な行動（減速・譲る等）を行う構成を、違反アクターには交差点ルール無視（停止／譲れ標識を無視）を設定します。二重ドライバー構成で、機能的忠実度と表現力を両立しました。

（動画参照リンク：省略）

Click here to watch the entire video

3. CARLA＋Foretify によるランタイム実行

ランタイムでは、CARLA（オープンソースAVシミュレータ）と統合し、車両ダイナミクスをコシミュレーションに追加しました。構成は：

• Foretifyがランタイム中のシナリオ実行をオーケストレーション
• CARLAが車両物理、路面摩擦、慣性、微細な運動をシミュレート

このハイブリッド実行により、意図を保持しつつ、現実的なダイナミクスと物理制約を付与し、指定シナリオロジックの下で、合成センサーデータが実世界の走行挙動に整合するようにしました。

4. 制約充足と大規模生成

Foretellixの制約ソルバーを用い、意図を保持した6,000件超の有効インスタンスを生成：

• 違反アクターは常に優先通行権へ挑戦
• EGOは常に時間的プレッシャーの下で評価・行動を強いられる
• 他交通条件・マップ要素（交差点形状差）・タイミングは定義境界内でランダム化

これにより、意味的一貫性を損なわずに多様性を確保しました。

（動画参照リンク：省略）

Click here to watch the entire video

5. 多様性分析と実行選定

ビッグデータ分析基盤で生成群を詳細分析：

• 主要メトリクスの分布（違反者速度、EGO反応時間、衝突率 など）を検証
• コーナーケースやエッジ条件への広範なカバレッジを確認
• シナリオ意図を最適に満たし、かつ代表的で・多様性の高い実行を模倣学習のベースとして選定

このデータ駆動アプローチにより、過学習を避けつつ、下流モデルの汎化性能を最大化しました。

6. NVIDIA Cosmos によるセンサーシミュレーション

選択された実行は、 ” Cosmos Transfer（multicontrol WFM）” を通じて処理され、物理ベースで超写実的なセンサーシミュレーションシナリオを生成します。プロンプト・アップサンプリング技術を用いて、下記の要素にわたってデータセットを拡張：

• 天候（霧、雨、グレア など）
• 地理（都市グリッド状道路、郊外道路、高速道路のランプ）
• 照明（薄明、夜間、黎明 など）

（動画参照リンク：省略）

Click here to watch the entire video

（動画参照リンク：省略）