NVIDIA、安全の仕組みをAIの外に——新たな枠組みにAI開発企業や金融機関など100超が参加
半導体大手の米NVIDIAは9月28日、AIエージェントが任された範囲を越えて動くのを防ぐ安全技術の枠組みを公開した。AI開発企業やIT企業、金融機関など100を超える組織が参加する。
NVIDIAが9月28日に公開した安全技術の枠組み「NVIDIA Open Agent Safety Platform」は、AIエージェントの外に置く二つのソフトウエアを柱とする。
縛る役を担う「OpenShell」は、AIエージェントが見たり操作したりできるファイルやツールの範囲を限り、実行した処理をすべて記録する。誰でも使えるオープンソースのため、NVIDIAのCPUだけでなく、ArmやIntelなど他社のCPUでも動くよう広げられる。
見張る役を担う「Sentry」は、エージェントから切り離したNVIDIAの半導体（DPU）で動き、エージェントが決められた範囲を越えようとすれば、ミリ秒単位で隔離して止める。
二つのソフトウエアの開発や導入には、100を超える組織が参画する。AIモデル自身の安全対策に加え、AIの外側にも備えを置く動きが、作り手と使い手の双方に広がる。
AI開発企業ではAnthropicやCognition、Hugging Face、Perplexity、Scale AI、SpaceXAIなどが名を連ね、IT大手からもMicrosoftやIBM、Dell Technologies、Cisco、Salesforceなどが加わる。JPモルガン・チェースやシティグループといった金融機関、アクセンチュアやデロイトなどのコンサルティング会社も参加し、セキュリティー大手のトレンドマイクロや、日立製作所傘下で送配電網を手がける日立エナジーも続く。
NVIDIAは開発者向けの公式ブログで、エージェントは指示があいまいなときや何日も動き続けるときに本来の作業から外れることがあり、エージェント自身が行動を律するだけでは足りないとした。
同社はエージェントの開発速度をめぐる議論にも触れ、「AIの安全に関する研究と技術開発のペースを上げる必要がある」とする。インターネットの例を挙げ、安心して使えるのはブラウザーがページのプログラムを信用せず、勝手な動きを封じているからだと説明。エージェントにも自らの判断に任せきりにせず外から確かめる仕組みが要ると説く。
