RTF
レッドチーミング基盤（RTF）
RTFは、開発者が持ち込んだ生成モデルのミスアライメントを、多様な攻撃を用いて検出・評価するための基盤です。 攻撃の適用から評価・可視化までを一貫して行い、評価者は専門的な環境構築なしにリスクを把握できます。
外部から持ち込まれたLLMを、専門的な環境構築なしに、多様なミスアライメントの観点から評価できます。 ローカルにホストするモデルとAPI経由のモデルの双方を扱えます。
攻撃の適用・評価・可視化を一貫して行うことで、これまで統一的に比較しづらかったミスアライメントのリスクを、 共通の土台の上で把握・比較できるようになります。
概念図
処理の流れ
- 選択：評価者が検証対象モデルと評価条件を指定します。
- 攻撃：評価データ基盤のプロンプトや敵対的プロンプトを対象モデルへ適用します。
- 評価：応答をミスアライメントの観点で判定します。
- 可視化：結果をダッシュボードで類型別に閲覧します。
研究開発の柱
本プロジェクトは、5 つの目標を連携させて安全性の技術基盤を構築します。
- 安全性研究のための計算環境の構築
最先端のLLMを学習・評価できるGPU計算環境を整備・維持します。 - ミスアライメントの検出・評価技術の確立
多様な類型を対象に、自動評価・検出モデルを構築します。 - 敵対的環境における脆弱性評価技術の確立
攻撃の意図がある状況での脆弱性を評価する敵対的データ基盤を整備します。 - ミスアライメントの防止・抑制・制御技術の確立
生成の安全性を制御し、安全性の高いLLMの構築を目指します。 - ミスアライメントの発生機序の解明
検知モデルから発生要因を分析する方法論を開発します。