エンドツーエンドの計画モデルを備えたAI駆動AVスタックを学習させるには、現実的で信頼性の高い走行データが不可欠です。しかし、実世界データには多様性と規模の面で限界があります。解決策は、スケーラブルかつ制御可能な合成データの生成です。
本ブログでは、ForetellixのForetify開発ツールチェーンをCARLAおよびNVIDIA Cosmosと統合し、合成センサーデータ生成を目的として高品質な「優先通行違反」シナリオを作成・選定・レンダリングしたプロセスを概説します。このデータはエンドツーエンドAVスタック向けの模倣学習パイプラインへ投入され、多様性・意図の保持・スケーラビリティを兼ね備えた学習シナリオにより、性能と安全性の向上に寄与します。
動機：重要なデータギャップへの対応
この取り組みは、バリデーション中にAVスタックの性能ギャップが特定されたことに端を発します。システムが苦手としていたのは、**「交差点での優先通行違反」**という特定の交通シナリオでした。
分析の結果：
- 実走行ログにはこのシナリオの十分な事例が存在せず、特にEGO（被試験自動運転車）が適切に応答しているケースが不足
- とりわけ安全クリティカルなシナリオにおけるデータ不足により、記録されたフリートデータだけでは学習・評価が不可能
そこで、こうした相互作用を表す合成センサーデータを生成するプロセスを実行。もっともらしいが稀な違反を系統的にシミュレーションし、高品質・多様・意図整合な合成データで模倣学習させることを目標としました。
1. 要求分析
まず自然言語の要求ドキュメントで「優先通行違反」シナリオクラスを記述します。
内容は：
- シナリオの機能目的
- EGOの期待挙動（減速、停止、回避操作など）
- 違反アクターの行動（停止／譲れの無視・違反 など）
ここからシナリオの意図、アクターの役割・挙動、期待される結果を抽出します。人が読める要求を形式シナリオ化の土台にしました。
2. Foretify Developer と V-Suite ライブラリによる抽象シナリオの形式化と実装
OpenSCENARIO DSLを用い、英語要求を地図非依存の形式シナリオへ翻訳：
- 宣言的なアクター役割（例：「違反者」「被害者」「その他アクター」）
- 時間関係・制約（例：「違反者がEGOより0.5秒早く進入」）
- 望ましいEGOの反応（例：「TTCが閾値未満なら減速度 X で制動」）
Foretify V-Suites（再利用可能なシナリオライブラリ）を活用：
- 交差点系シナリオを出発点に
- それらを優先通行違反へ合わせて改変・合成
- 検証済みパターンの再利用で、開発を加速し一貫性を確保
ドメインモデルに基づく制約で正しさ・物理的妥当性を保証：
- 交通規則、幾何制約、アクター能力などの基礎制約を適用
- 様々なマップでも生成バリエーションが有効で現実的となるよう担保
抽象表現により、ロジックと地理レイアウトを分離し、柔軟でスケーラブルな再利用を可能にしました。
実装にはForetify Developerツールを使用します。キーとなったのは制御可能なドライバーモデルです。EGOには衝突回避の適切な行動（減速・譲る等）を行う構成を、違反アクターには交差点ルール無視（停止／譲れ標識を無視）を設定します。二重ドライバー構成で、機能的忠実度と表現力を両立しました。
（動画参照リンク：省略）
Click here to watch the entire video
3. CARLA＋Foretify によるランタイム実行
ランタイムでは、CARLA（オープンソースAVシミュレータ）と統合し、車両ダイナミクスをコシミュレーションに追加しました。構成は：
- Foretifyがランタイム中のシナリオ実行をオーケストレーション
- CARLAが車両物理、路面摩擦、慣性、微細な運動をシミュレート
このハイブリッド実行により、意図を保持しつつ、現実的なダイナミクスと物理制約を付与し、指定シナリオロジックの下で、合成センサーデータが実世界の走行挙動に整合するようにしました。
4. 制約充足と大規模生成
Foretellixの制約ソルバーを用い、意図を保持した6,000件超の有効インスタンスを生成：
- 違反アクターは常に優先通行権へ挑戦
- EGOは常に時間的プレッシャーの下で評価・行動を強いられる
- 他交通条件・マップ要素（交差点形状差）・タイミングは定義境界内でランダム化
これにより、意味的一貫性を損なわずに多様性を確保しました。
（動画参照リンク：省略）
Click here to watch the entire video
5. 多様性分析と実行選定
ビッグデータ分析基盤で生成群を詳細分析：
- 主要メトリクスの分布（違反者速度、EGO反応時間、衝突率 など）を検証
- コーナーケースやエッジ条件への広範なカバレッジを確認
- シナリオ意図を最適に満たし、かつ代表的で・多様性の高い実行を模倣学習のベースとして選定
このデータ駆動アプローチにより、過学習を避けつつ、下流モデルの汎化性能を最大化しました。
6. NVIDIA Cosmos によるセンサーシミュレーション
選択された実行は、 ” Cosmos Transfer（multicontrol WFM）” を通じて処理され、物理ベースで超写実的なセンサーシミュレーションシナリオを生成します。プロンプト・アップサンプリング技術を用いて、下記の要素にわたってデータセットを拡張：
- 天候（霧、雨、グレア など）
- 地理（都市グリッド状道路、郊外道路、高速道路のランプ）
- 照明（薄明、夜間、黎明 など）
（動画参照リンク：省略）
Click here to watch the entire video
（動画参照リンク：省略）
