政策一覧にもどるデジタル・IT・DX
デジタル・IT・DX成立・施行済み---
AI安全性評価・人工知能安全研究所（AI Safety Institute）の創設と安全基準
暴走するAIに歯止めを。フロンティアAIモデルの安全性評価と、悪用・偽情報・サイバー攻撃防止の国家基準策定
施行時期: 2024年2月日本版AISI設立・運用指針策定
3
これだけ押さえる！3つのポイント
- 1生成AIやAGI（汎用人工知能）の爆発的進化に伴い、生物兵器の設計支援、国家インフラへの高度なサイバー攻撃、大規模偽情報による民主主義の攪乱などの破滅的リスク（破局的リスク）を防止するため、政府が「AIセーフティ・インスティテュート（AISI）」を創設し、安全性評価基準を策定しました。
- 2最先端の「フロンティアAIモデル」を開発する巨大テック企業に対し、リリース前の客観的な安全性評価（レッドチーミング試験）の実施と脆弱性情報の共有を求めるガイドラインを制定しました。
- 3広島AIプロセス（G7合意）を主導した日本として、米英のAISIと連携した国際相互運用性のある安全性テスト基準の策定を推進します。
政策の背景とねらい
GPT-4等の登場により、AIが人類の管理能力を超える実存的脅威（X-Risk）が現実の政策課題となりました。2023年5月のG7広島サミットで採択された『広島AIプロセス』に基づき、国際的な行動規範が合意されたことを受け、経済産業省・情報処理推進機構（IPA）の主導により2024年2月に日本版AISIが正式発足し、安全評価基準の策定に乗り出しました。
4つの主な注目ポイント
ひと目でわかる重要ポイント注目
専門機関
AIセーフティ・インスティテュート
現行
専門機関
注目
検証手法
第三者レッドチーミング
現行
検証手法
注目
国際枠組み
広島AIプロセス準拠
現行
国際枠組み
両論の整理（メリットと検討課題）
どちらか一方を正解と決めつけず、どんな意見や論点があるのかを市民目線でまとめました。
期待・推進側の主な視点2つの視点
AISI初代所長・慶応義塾大学教授
「広島プロセスの精神に基づき、オープンで透明性の高い安全性評価の国際標準を日本から発信する」
国産大規模言語モデル（LLM）開発企業CTO
「開発指針に沿ったガバナンス体制を敷くことで、海外テックに対する安全・倫理面での差別化要素になる」
期待される主な効果期待される効果（賛成側の主な論点）
慎重・検討課題の主な視点2つの視点
サイバー法専門の弁護士
「ソフトローのアプローチは平時のみ有効。ハイリスクAIに対する実効的な規制法の法制化を急ぐべきだ」
AI倫理を研究する若手学者
「形だけの組織新設に終わらせず、最先端のモデルを解析できる世界水準のコンピューティングリソースを投じるべきだ」
主な検討課題・論点指摘されている課題・懸念点（慎重側の主な論点）
制度変更の詳細、海外主要国のルール、根拠法、一次情報を確認したいですか？
新旧対照（ビフォーアフター）、海外主要国のルール比較、国会での決定経緯タイムライン、根拠法、官公庁の公式一次資料をご覧いただけます。
議論・専門知識・補足情報スレッド
この政策に関する背景知識、一次資料のURL、最新の制度変更、現場の実情などをご自由にお寄せください（GitHubアカウントで投稿可能）。
知見の公式採用について：スレッドに寄せられた有益な情報や前提知識・法改正の動きは、中立性とファクトチェックを確認の上、政策の公式本文（図鑑データ）に正式に反映・加筆させていただきます。 荒らしやデマのない信頼できる情報基盤をコミュニティと共に作っていきます。