本ブログの目的

本ブログでは、AIベースの自律システムの近未来について、以下を取り上げます。

  • AIベース自律システムのトレンド(例:「エンドツーエンド」への移行)
  • 自律システムにおけるV&Vの役割拡大 ― AIベースシステムの「実装」と「V&V」の双方に共通して使えるツールの必要性
  • AIがV&Vをどう支援するか ― センサーシミュレーション、行動モデル、テキスト→シナリオ生成、AIアシスタント等
  • V&Vにおける抽象化が常に必要な理由 ― それをどう表現すべきか

その前に、「近未来」「AIベース自律」「抽象化」「V&V」の意味を明確にしておきます。これは学術論文ではなくブログです。多少のくだけた表現はご容赦ください。

定義

「近未来」:最近は未来の到来が非常に速く、タイムラインの確実性は低いですが、ここでは今後5年程度(ただし多くは今後2年で起こると想定)を指します。

「AIベース自律システム」:ここでの「自律システム」は、安全クリティカルで具現化(物理実体)を持つ自律を指します。自動(半自動)車両、ロボット、船舶、ドローン等。例としてはADS(自動運転システム)、特にAV(自動運転車)を用いますが、議論は上記すべてに当てはまります。安全クリティカルな非具現化の自律システムにも当てはまる点はありますが、ここでは扱いません。
「AIベース自律システム」は、機械学習の比重が高まる自律システム全般を指し、完全エンドツーエンドのシステムも、複合AI(Compound AI Systems)のようにMLが主要役割を担うアーキテクチャも含みます。

「抽象化(アブストラクション)」:ここでは形式的抽象化を意味します。数学・物理・交通ルール等の人間の知識を明示かつ正確に定義/符号化したものです。たとえば「衝突までの時間(TTC)」や「四方向一時停止(four-way stop)」は形式的抽象化です。
一方で非形式的抽象化も存在し、これは後で別途扱います。

「V&V」(Verification & Validation):システムの安全性・品質に対する信頼を獲得し、バグを発見・修正する反復プロセスです。以下で述べるデータ自動化機能を用います。

「データ自動化」:V&Vで用いる “仕組み(装置・手法・コンテンツ)” を指します。カバレッジ空間・KPI・チェックの定義、シナリオ生成/マッチング、メトリクス評価、要求管理、トリアージ、バグ修正などを含みます。
「V&Vのための機能」に留まらず、実装(例:ML学習の指針)にも極めて有用であるため、ここではデータ自動化機能と呼びます。

予想されるトレンド

今後数年で、次のような傾向が見られると考えます(詳細は後述):

  • 自律はますますAIベースになる
  • 完全エンドツーエンドか、よりML比重が高まるのかは不明確
  • 自律の市場は急速に拡大
    • 汎用・マルチタスクのFMベースのロボティクス基盤に取り組む動きは既にある
  • デプロイの努力はデータ自動化中心
  • AIはデータ自動化そのものにもますます寄与
  • ただし、データ自動化には透明性と抽象化が不可欠

いずれの時点でも、開発者は目標安全度を最も効率よく達成する手段を選びます。そのため、実装におけるAIデータ自動化におけるAI非AI要素の「その時点に最適な組み合わせ」が用いられます。

AIベース自律システムにおけるデータ自動化の役割拡大

古くから「開発とはV&Vである。空っぽのシステムから始め、V&Vが“何も動かない”バグを見つける」と冗談があるほど、V&Vは中心的です。
安全クリティカルなAIベース自律システムでは、データ自動化の重要性がさらに高まります。AIは複雑なシステムを作りやすくしますが、不具合が入りやすく(LLMのハルシネーションなど)、かつブラックボックスのため検証が困難です。結果として求められるV&V比率(実装に対するV&Vの比重)は増加します。

さらに、実装プロセス自体もデータ自動化機能を必要とします。AIベース自律システムの設計の多くはML学習であり、対象となる「空間」全体を探索して、良い/悪い挙動を明確に規定しなければなりません。これはカバレッジとチェックに非常に近い概念です。
バグ修正や機能追加は、主に学習データへの(是正・否定的)事例追加で行われ、探索・バグ事例発見にはV&Vとほぼ同じデータ自動化機能が要ります(AI訓練の世界ではデータ・フライホイールと呼ばれる部分)。

端的に言えば、こうしたシステムの構築・展開の大半はデータ自動化に関わると言っても過言ではありません。

Data-Automation for AI-Centric AVs

Data Automation for AI Autonomy

実装プロセスでのデータ自動化の使い方

エンドツーエンドAVを例にします。機能させ、十分に安全にするための多くはML学習であり、データ自動化は二つの側面で関わります:

  1. 「領域」を列挙し、その事例で学習
  2. 現行システムのバグを発見し、追加学習で修正

まず2)(実務では後段になることも)から:

  • 現行の学習済みシステムを用意
  • 高品質なV&Vを実施
  • ODDに適合した**詳細なVPlan(検証計画)**を使用
  • 実走ログ評価+合成テスト生成でカバレッジを充足
  • チェック、失敗トリアージ等を実施
  • バグを見つけたら
    • 問題領域へ一般化
    • 十分な事例を収集/生成
    • 是正・否定例として学習データに反映
  • 安全・合法性・快適性等の目標に達するまで反復

同時に1)も必要です。2)だけでは非効率だからです:

  • 思いつく限りの「領域」(難所を含む)を列挙
    • 例:「他アクターの違法行為を扱う」
  • それに応じたVPlanを作成
  • 実走ログ評価+合成生成で「十分な」事例を作成
  • 学習に用いる

実際には両手法を反復的に用い、必要とするデータ自動化機能はほぼ同じです。

V&Vと実装に共通のデータ自動化機能

両者に必要な共通機能の例:

  • 実走行ログからの事例探索(シナリオマッチング)
  • 実走行ログの拡張(スマートリプレイ+バリエーション)
  • 完全シンセティックシナリオ生成(抽象シナリオに基づく制約付きランダム)
  • 形式的抽象言語でシナリオ定義・カバレッジ目標・KPIを表現
    • 標準DSL(例:OpenSCENARIO DSL)による抽象定義・評価・生成
  • トリアージとデバッグ

データ自動化におけるAIの役割拡大

AIベース自律システムはデータ自動化の巧拙に依存しますが、幸いAIはデータ自動化そのものにも大いに役立ちます:

  • AIベースの高度なセンサーシミュレーション(ニューラルリコン等)
  • AIベースの行動モデル(より自然な挙動)
  • テキスト→シナリオ/テキスト→マッチング事例(しばしば視覚言語FMに基づく)
  • AIベースのV&Vアシスタント

特に、マルチモーダルFMベースのV&Vアシスタントには大きな期待があります。完全ではなくとも、例えば8割超で正答できるタスク集合に対しては非常に有用になります。
例:トリアージ&分析アシスタントが夜間の大規模テスト実行と並走し、異常ランを停止・是正、トリアージを自動実施。誤りうるため、以下が重要:

  • 何をなぜ行ったかの詳細で構造化されたログを残す
  • ログの任意の詳細について対話できる
  • その「決定」(失敗クラスタリング・分類等)が取り消し可能(例:Gitで管理しリバート可)

時間と共に、アシスタントはテスト自動生成等も行えるようになります。

V&VはAIだけで完結するか? ― 答えはNo。
「AIがOKと言ったからOK」では人々は納得しません。規制当局や健全な常識は、人間が定めたルール(シナリオ、カバレッジ定義、チェック等)に基づく検証を要求します。ここで抽象化が本質になります。

アセッサ(評価者)が必要とするもの

AIベース自律もAIアシストV&Vも段階的に進化します。どの段階でも、人が「正しく行われたか」を確認する必要があります。
ここでは広義のアセッサ(評価者)を想定します:

  • 規制当局
  • AV事故訴訟の陪審
  • フリート事業者(AVベンダー選定前)
  • OEM(外部AVスタック採用前)
  • AV企業の経営陣(デプロイ判断前)
  • AV企業のV&Vチーム(変更受け入れ前) など

アセスの要諦:

  • 必要な状況を十分に**テスト(カバレッジ)**したか
  • 状況に応じた**適切な基準(チェック)**を適用したか
  • 結果が目標安全度を満たすほど十分か

良い出発点は安全ケースであり、そこには対象状況(カバレッジ)、行ったチェック、結果が示されます。
情報(安全ケース、VPlan/カバレッジ結果、KPI/チェック、トリアージ結果等)を任意の深さまで掘り下げ、信頼性を確認できる必要があります。AIアシスタントによるディベート(賛否両論)支援も有用でしょう。
最終的には、透明性、人間の用語、明確な抽象化が不可欠です。

抽象化(アブストラクション)の役割

アセスには抽象化が必要です。状況・チェック・結果を直感的だが形式的に定義された用語で表す必要があります(例:TTC、無保護右左折、ローリングストップ、左側通行国、最小リスク操作)。
実装がこれらの抽象に限定される必要はありません(曖昧なケースも扱えるため望ましい)。ただし挙動の評価や、学習への影響には抽象化が必要です。
非形式的抽象化(例:テキスト→シナリオ)も有用ですが、精密ではないため、形式的抽象化の代替にはなりません。

カバレッジ抽象化

ODDのカバレッジマップを定義するには、操舵・天候・故障など多くを考慮します。
例えば操舵空間をシナリオ(無保護右左折、四方向停止等)に分割し、さらにケース(カバレッジビン)に細分化します(例:左/右の無保護右左折、黄信号から進入までの時間レンジ、交差時の最接近車両速度レンジ、PET<N秒のニアミス等)。
これらの用語(無保護左折、PET等)は全て厳密定義が必要です。さらに、他の抽象(「パンク」「センサー無効」「緊急車両進入」等)と合成する場合もあります。
したがって、どのシナリオが起きたかの評価、どのビンに分類するか、PET等の測定を行う形式言語が必要で、解釈の齟齬がない透明性が求められます。

チェックとKPIの抽象化

チェックはさらに複雑で、より多くの抽象化を必要とします:

  • 各種KPIの計算(PET、TTC等)
  • ルール/慣行の遵守(例:ローリングストップ禁止)
  • 文脈依存のチェック(例:実行必須の場合を除き実線越え禁止) → 文脈シナリオの定義が必要
  • 国・ODD依存(例:四方向停止がない国、雨非対応時の最小リスク操作の確認)

**未知の危険(SOTIF)**発見も抽象化が不要に見えるかもしれませんが、実際には:

  • 既知の抽象次元を賢く混合しつつ、パラメータをランダム化した新データ生成が有効
  • ランダム化しても妥当性を保つには抽象化が必要(例:PET<3秒の無保護左折)
  • 悪化兆候(低TTC等)を抽象的に指標化 → データ駆動探索で問題に迫る → 未知を既知化

非形式的抽象化の役割

非形式的(マルチモーダルFMベース等)抽象化は極めて有用です。重要なのは使い所と形式的抽象化との組み合わせとなります。

  • テキスト→生成シナリオ:厳密な制御は難しくても、迅速で直観的な誘導に有用。形式的抽象化で結果を評価できることが前提
  • テキスト→マッチング事例:やや曖昧な概念(「譲るべき」「歩行者に配慮」等)が必要な場合に有効

多くの状況で、「正しさ」は非形式的抽象化に部分的に依存します。しばしば、抽象には明確な形式的サブセットがあり(単純なルールで判定)、その周囲に曖昧な領域が存在します(違反しても警告に留める等)。

まとめ ― 4つの要点

  1. AIベース自律は急速に前進している
  2. その結果、V&Vの相対的重要性が上昇している
  3. 実装とV&Vの双方でデータ自動化の重要性が高まっている

     4.形式的抽象化はその中心的要素である

Additional content for you

Why High-Fidelity Sensor Simulation Is Critical for AV Development and Testing

Automated Map Construction from Vehicle Perception Data

Beyond NCAP: Achieving ADAS Safety in the Real World

Register to receive ALKS scenarios verification code examples

AI, Autonomy, V&V and Abstractions – Automating at Hyper Speed

Subscribe to our newsletter

Ziv Binyamini

CEO & Co-Founder

Ziv is a verification visionary and a passionate leader. Previously, Ziv served as Corporate VP at Cadence running the simulation and verification business. Through his career at Cadence, Verisity and Intel, Ziv led the development of verification businesses including chip simulation and Verification IP, industry first Coverage Driven Verification solutions and test bench products including Specman for chip verification and Perspec for SoC HW/SW verification.

Yoav Hollander

CTO & Founder

Yoav is a world expert and leader in complex systems expert verification and validation. he Invented the “e” verification language and related methodology (later followed by the UVM methodology). Yoav founded Verisity to deliver “e” and related tools. Verisity was acquired by Cadence Design Systems. In the last few years, Yoav has been researching complex-system verification.

Gil Amid

Chief Regulatory Affairs Officer, VP Operations & Co-founder

Gil is a former Vice President of Intel Corp. Gil has 30 years of experience working for Intel , in which he led the development of EDA and CAD tools in all design domains as well as leading VLSI design projects. In his recent years he was in charge of (among others) the verification tools development organization within Intel.

Jeni Osternik

Jeni Osternik

VP Product & Execution

Jeni is a versatile leader with over 17 years of experience spanning product management, operations, engineering, and business leadership. He leads the company’s product and delivery execution, ensuring the successful alignment of business, technology, and customer value. Before joining Foretellix, Jeni held management roles in the defense and homeland security sectors, where he led multidisciplinary teams and large-scale international programs, driving growth and innovation across complex technology ecosystems.

Vicky Revzin

HR & Global Employee Operations Director

Vicky Revzin – HR & Global Employee Operations Director

Ron Grossberg

VP R&D

Ron is an experienced manager and a passionate software engineer with more than 20 years of experience. Previously Ron managed a group in Algotec (now a Philips subsidiary), fully in charge of the development of complex medical imaging software used by radiologists in thousands of hospitals around the globe. Ron started his way in the IDF programming academy and technological units.

Roger Ordman

VP Marketing

Roger has over 20 years of global experience managing product, marketing and business development teams. Roger’s experience spans the networking, mobile and automotive industries previously serving as EVP of Marketing at Aurora Labs, and Marketing and Product Director at HARMAN. Roger is a frequent speaker on emerging trends in automotive software and holds an engineering degree in Industrial Management from Tel Aviv University.

Udi Jacobi

Udi Jacobi

Chief Commercial Officer

Udi has over 20 years of commercial leadership experience, managing and growing businesses throughout the USA, Europe, and APAC. His experience spans a broad range of industries and disciplines, including Automotive, New Media, and Digital Transformation. Prior to joining Foretellix, Udi founded and successfully grew Brightcom Media into a multi-million-dollar profitable business.

Doron Ilan

CFO

Doron is an experienced CFO with over 20 years in corporate finance, in various private and public companies. As the CFO of 012 Smile Telecom [Nasdaq: BCOM], he led the company’s successful NASDAQ IPO, and later, as the CFO of SuperCom [SPCB] executed an M&A process and a public offering on NASDAQ. In recent years he was the CFO of Xfone, an Israeli telecom provider.

Sharon Rosenberg

Solution Architect & Chief Methodologist

Sharon has over two decades of experience in the verification and validation of highly complex systems. He is the author of two landmark verification & validation textbooks and a key contributor to ASAM OpenSCENARIO® 2.0.

Mike Stellfox

Head of Methodology

Mike is a world expert in advanced verification methodologies and solutions. He has spent more than twenty-five years working with customers around the world on solutions to address their verification challenges in a wide range of industries from Automotive and Autonomous Transport, to Mobile and Hyperscale Computing, to Aerospace and Defense. Before joining Foretellix, Mike was a Fellow at Cadence where he helped transform the semiconductor industry’s approach to verification, based on the automated verification solutions he helped pioneer at Verisity in the early 2000s. Mike started his career at IBM as a VLSI Chip Designer.

Alex Hitzinger

CEO & Co-Founder

Alex started his automotive career at Toyota Motorsport before joining Cosworth and Red Bull Technology. Hitzinger then joined Porsche as Technical Director and Chief Engineer of Porsche 919, which won the 24 Hours of Le Mans in 2015. He spent three years at Apple as Head of Product Design for Project Titan. Most recently, Hitzinger served as Senior Vice President of Autonomous Driving at VW Group and Member of the Executive Board VWN, where he was involved in developing the ID Buzz. He also served as Chief Executive Officer of Artemis GmbH, where he was the Chief Architect of the revolutionary new vehicle concept for next-generation autonomous mobility for their flagship-product Audi Landjet.

Moshe Gavrielov

Chairman of the Board

Moshe Gavrielov last served as the President and CEO of Xilinx from 2008-2018, during which the company delivered three successive generations of technology leadership. These yielded revenue growth to over $2.5B, significantly increased profitability, and market share expansion. As a result market capitalization quadrupled during his tenure and approached $20B. Prior to that Moshe was the CEO of Verisity, delivered revenue growth to over $70M while leading its successful IPO in 2001 and led its sale to Cadence for $315M in 2005. Prior to Verisity, Moshe served in numerous executive management roles in LSI Logic, Digital Equipment and National Semiconductor.

Boaz Schwartz

Chairman of the Board

Boaz Schwartz is a seasoned finance professional and a tech investor. Dr. Schwartz has founded and managed Deutsche Bank Israel for 24 years and until December 2020. Following his retirement from Deutsche Bank, Boaz has become an active tech investor in both early and late-stage companies. Dr. Schwartz is a board member of IDC Herzliya, iArgento Ltd and the vice-Chairman of Zabar Solar Ltd. He earned a Ph.D in Finance from the University of Chicago; MBA with Distinction from the Wharton School at the University of Pennsylvania; MSc and BSc in Electrical Engineering from the University of Tel Aviv.

Gil Goren

CEO & Co-Founder

Gil Goren joined 83North in 2016, after more than a decade at EMC in a variety of roles in Boston and Tel Aviv. At his last role as SVP & Managing Partner at EMC Ventures he managed strategic partnerships Investments and M&A internationally. Prior investments include Anobit (acquired by Apple), XtremIO & ScaleIO (both acquired by EMC), Cyvera & Secdo (both acquired by Palo Alto Networks), Adallom (acquired by Microsoft), CloudEndure (acquired by Amazon) Jfrog, RedisLabs, Guardicore and VastData among others. Currently on the boards of VDOO, Foretellix, and IBEX. He has B.SC in Electrical Engineering from the Technion and MBA from Boston University.

Glen De Vos

Mr. De Vos has over 30 years of senior leadership experience in automotive and industrial technology sectors, particularly around autonomy and mobility. In his career he has held a number of leadership roles at Aptiv and its predecessor Delphi Automotive. Positions included Chief Technology Officer and President of the Advanced Safety and User Experience business unit. He currently serves as the CEO of MicroVision, Inc.

Mark Mohr

VP Global Sales & Business Development

Since March 2021 Mark is SVP of Vehicle Technology at Volvo Group Truck Technology. Before he was Head of Development Commercial Vehicle Division at ZF Friedrichshafen AG. In this role, Mark’s main was on driver assistance systems automation, new hardware, and software architectures besides the classical driveline and chassis business. Since his Ph.D. in Mechanical Engineering from the Technical University Kaiserslautern, Germany, he has a long experience in simulation and digital engineering.

Carl-Peter Forster

VP Global Sales & Business Development

Carl-Peter Forster started his career at McKinsey & Company as a management consultant in 1982. After four years there, he joined BMW in Munich, where he became a member of the Executive Board in 1999 as head of global manufacturing. In 2001, he joined the European division of General Motors and became Managing Director of Opel and Vice President of GM Europe. In 2006 he became CEO and President of GM Europe and joined the parent company’s Global Automotive Strategy Board. After leaving General Motors, he became Group CEO at Tata Motors, where he was responsible for the Jaguar and Land Rover brands. In 2013, he joined the boards of Geely Automotive Holdings and Volvo Cars.

Eran Sandhaus

Eran recently led Delphi Automotive’s (now Aptiv) Autonomous Driving and Connected Services business unit, overseeing global engineering teams, business staff and wholly owned subsidiaries focused on providing hardware, software, algorithms and cloud services to transform future mobility. Prior to Delphi, Eran was a senior executive for over 20 years in Fortune 500 companies including Qualcomm, Cypress, Texas Instruments and Marvell. During this period Eran led global businesses, operations and M&A focused on server communications, storage, mobile handsets and Internet-of-Things (IoT) for consumer, automotive and industrial applications.

Benny Schnaider

Benny Schnaider is a high-tech serial entrepreneur. Benny co-founded Ravello Systems and served as its President and Chairman. The company has developed an over-the-top cloud services. Since Ravello acquisition by Oracle in 2016, Benny serves as VP SW development for Oracle-Ravello. Previously, Benny co-founded and was the CEO Qumranet (KVM), acquired by Red Hat in 2008. Co-founded P-Cube, acquired by Cisco in 2004. Benny was the CEO and Founder of PentaCom Ltd., acquired by Cisco in 2000. Benny invests and serves as a board member in several startups like: Traffix Systems (acquired by F5 in 2012) and B-Hive (acquired by VMware in 2008), ScyllaDB, Otonomo, Colabo, CathWorks.

Book A Meeting