![Profile
髙尾 哲朗
•システム構築のプロセス評価、改善、策定、開発フレーム
ワークの設計、実装管理、プリセールスやプロジェクトの立
ち上げなど
•ブログ ： http://blog.processtune.com
•プロフィール ： Tetsuro Takao on
Facebook, Twitter or
http://mvp.microsoft.com
•コミュニティ ： .NET ラボの運営スタッフ
https://dotnetlab.connpass.com/
•Microsoft MVP ： Developer Technologies
[July 2010 – June 2024]](https://image.slidesharecdn.com/dataforai-250127024935-bfd6c72b/85/Data-for-AI-and-AI-Agent-Routing-of-Multi-AI-Agent-2-320.jpg)
![[Developers Festa Sapporo 2018] Azure AI ～Microsoft AzureでのAI開発のイマ～](https://cdn.slidesharecdn.com/ss_thumbnails/20181117devfestasapporoazureaipublic-181119035506-thumbnail.jpg?width=560&fit=bounds)
![[第50回 Machine Learning 15minutes! Broadcast] Azure Machine Learning - Ignite ...](https://cdn.slidesharecdn.com/ss_thumbnails/20201205ml15minazuremlignite-201205101214-thumbnail.jpg?width=560&fit=bounds)
Ad
More Related Content
Similar to Data for AI and AI Agent Routing of Multi AI Agent (20)
More from Takao Tetsuro (20)
Ad
Data for AI and AI Agent Routing of Multi AI Agent
- 1. AI and Data データから生成される情報は、 AI 利用のソリューション性能にいかに作用するか？
- 2. Profile 髙尾 哲朗 •システム構築のプロセス評価、改善、策定、開発フレーム ワークの設計、実装管理、プリセールスやプロジェクトの立 ち上げなど •ブログ ： http://blog.processtune.com •プロフィール ： Tetsuro Takao on Facebook, Twitter or http://mvp.microsoft.com •コミュニティ ： .NET ラボの運営スタッフ https://dotnetlab.connpass.com/ •Microsoft MVP ： Developer Technologies [July 2010 – June 2024]
- 3. Presentati on Overview • AI agent の役割 • データ→タスク→情報 • Agent ルーティング • AI service & AI agent services • マルチ Agent • 制御のバリエーション
- 4. Role of AI Agents AI agent の役割（≒ Goal ） AI Agents in the Market 現在の AI 市場トレンドは、 Mixture of Experts の Multi-Model 版と もいえる AI エージェントの効果を生かしたソリューション・サービス の構築。 Amazon Bedrock Agents + Multi-Agent Orchestrator Framework 、 Azure AI Foundry 、 Google Agentspace などは AI エージェントの開発を省力化するサービス。 Operational Efficiency これらのエージェントがタスク固有の機能を提供し、組み合わせるこ とでカスタムソリューションを作成できる。このようなソリューショ ンは、これまでの「製品に合わせた運用における製品固有の学習コス ト」が排除され、運用効率が高い企業経営が可能。 Challenges in designing AI agents サービスのパフォーマンスはデータへの効率的なアクセスに依存する ため、 AI エージェントは効率的かつ正確な結果を提供するために、関 連するデータソースにユビキタスかつセキュアにアクセスできなくて はならない。 AI agents select model and data ユーザーまたはセンシングにより提供される入力から適切なモデルを 選択する自律的なエージェントが各モデルの協調により高品質な生成 を行うため、モデルが参照するデータは、タスクにより異なる情報を 生成するよう設計する。
- 6. Agent ルーティン グ 入力からマルチターン 【入力】 ユーザーの質問 ユーザーの追加回答 センシング 【調整】 何を聞いているか？を判断し てゴールを明確にする ガード処理を適用する ガード処理（ AI Search プ ロンプトシールドなど） タスク共有・固有の前処理 入力の補正・修正、ゴール設 定 プレフィックス・サフィック ス辞書 スペルミス・タイプミス辞書 用語・代名詞辞書 【タスク選択】 ゴールに不足している情報を 再取得する（マルチターン） アクセス権制御 ガバナンス・コンプライアン ス適用 タスクに必要なアクション実 施 クエリ・テンプレート活用 ガバナンス（ AI Search コ ンテンツフィルター※ など） アクション固有のデータ Web RAG タスクに必要なアクション実 施 クエリ・テンプレート活用 セキュリティ適用（ Graph など） コンプライアンス適用 （ Purview データ損失防止 など） アクション固有のデータ オンプレミス DB ラベル付き SharePoint 、 OneDrive コ ンテンツ 【事後処理】 画像・音声追加 追加情報 参照ソース追加 コンテンツ資格情報埋め込み ストリーミング制御 生成の補正 生成メディアへのコンテンツ 資格情報埋め込み 生成 （システムによっては生成 結果の辞書を更新） 入力のゴール ゴールの生成 追加の質問（マルチターンの場合） フロー Agent タスク タスク特化の永続化層 ※Microsoft Purview Data Security Posture Management for AI の使用により 「 gemini.google.com 」「 anthropic.com 」「 aws.amazon.com 」「 chatgpt.com 」 「 meta.ai 」「 meta.ai 」等の有名 AI サイトを含む 386 の生成 AI サイトで生成されたコンテンツに組 織が設定済みの保護が適用されます。
- 7. Agent ルーティン グ タスクの選択 【タスク選択】 ゴールに不足している情報 を再取得する（マルチター ン） アクセス権制御 ガバナンス・コンプライア ンス適用 タスクに必要なアクション 実施 クエリ・テンプレート活用 ガバナンス（ AI Search コ ンテンツフィルター※な ど） アクション固有のデータ Web RAG タスクに必要なアクション 実施 クエリ・テンプレート活用 セキュリティ適用（ Graph など） コンプライアンス適用 （ Purview データ損失防止 など） アクション固有のデータ オンプレミス DB ラベル付き SharePoint 、 OneDrive コ ンテンツ ※Microsoft Purview Data Security Posture Management for AI の使用により 「 gemini.google.com 」「 anthropic.com 」「 aws.amazon.com 」「 chatgpt.com 」 「 meta.ai 」「 meta.ai 」等の有名 AI サイトを含む 386 の生成 AI サイトで生成されたコンテンツに組 織が設定済みの保護が適用されます。 Azure AI Foundry ではモデルカタログのモデル比較を使って各タスクに最適 なモデルをコストを検証しながら検討することができる タスク特化型のエージェントを作成する場合、ルーティングの順番やマルチ ターンの可否を AI に任せることになり（自律型 AI エージェントの場 合）、 AI エージェントを活用したソリューション全体のパフォーマンスに影 響する部分としてそのタスクに適したモデルを選択する必要がある。 Azure AI Foundry は質問応答、分類、取得、クラスタリング、 Bitext マイニ ング、テキスト生成、ペア分類、再ランク付け、 STS 、要約といった作業ご とにコストとパフォーマンスを比較検討することができる
- 9. service & AI agent services のサービスとモデルが参照するデータのサービス、それらをオーケストレーションするエージェントのサービ Copilot Studio Microsoft 365 Copilot Microsoft 365 On-premise data ServiceNow Salesforce Azure AI Foundry Salesforce account Entra ID account ServiceNow account Entra ID account Salesforce account 外部アカウントでの接続 Entra ID での接続 【 Copilot Studio がサポートするデータソース Power Platform connector actions Azure AI Search Azure DevOps Wiki Azure SQL Server Salesforce ServiceNow Knowledge ZenDesk ADLS Gen2 MediaWiki File share SharePoint Server SAP Ado Git CSV Jira Oracle SQL database Microsoft SQL server(New) ServiceNow Catalog Confluence ServiceNow Tickets Custom Connector 赤字は AI Search によるリアルタイム Connectors Salesforce Security control - object-level - field-level - record-level SAML Azure AI Search ServiceNow account Entra ID account Custom RAG data Projects Management Azure AI Services ※ 出典： Phi open models: https://azure.microsoft.com/en-us/products/phi#phi-video Open AI Models GPT4o O1 text-embedding-3 ... Meta Llama 3 Microsoft Google DeepMind Gemma 2 Mistral AI21 Databricks Cohere … …1826 models Phi-4 Phi-3-vision Phi-3-mini … アイコン * Purview DSPM for AI
- 10. Azure AI Foundry プロジェクト管理 Azure AI Foundry は、推論、学習、人間との対話 ができるインテリジェントなアプリケーションを 構築、展開、管理するための包括的なツールと サービスを提供する PaaS 。 チーム開発が可能で、コネクター群をセットにし てプロジェクト固有または、複数プロジェクトで 共有が可能。 Copilot Studio Agent Builder とす み分け Azure AI Foundry は、 Microsoft 365 内のデータ に対して Azure AI Search を経由したアクセスに よって既設のセキュリティ、コンプライアンスを そのまま利用し、かつ Azure AI Service の既設の モデルを利用したカスタマイズが可能であり、コ ネクタを使った外部への直接接続も可能。 Microsoft 365 に特化したタスクであれば Copilot Studio Agent Builder を使った構築を行い、セ キュリティグループでの共有のみ可能。 Copilot Studio Agent Builder のエージェントに Microsoft 365 Agents SDK を使った接続を構築可 Google Agentspace Gemini 単一のモデルでマルチモーダルなので、 1 つのト ランザクションがアクセスできるデータを設計し、 必要に応じて複数のプロセスを Agentspace で組 み合わせ自動化可能。 Imagen 、 Veo NotebookLM を使った AI オーケストレーションの プランニングや、 RAG 設計を行い、データのアッ プロードや整理、分類、管理を行って画像や音声、 テキストを使った AI カスタムサービスを構築する。 コネクター SharePoint や Slack 、 GitHub や Box 、 Confluence などともコネクション可能なの で、どのようなアカウントで接続するかを設計す る。 Google 側のアカウント（ Gemini と NotebookLM API への Cloud NotebookLM Viewer アクセス）とそれぞれのリソースに対する アカウント（ Entra ID や Okta ）を SSO 設定（ま たは Workforce Identity Federation※ ）する必 要がある。 マルチ Agent AI agent サービスの特徴 Amazon Bedrock Agents + Multi-Agent Orchestrator Framework 基本機能 Amazon Bedrock Agents + Multi-Agent Orchestrator Framework は、 AI エージェントの 作成を可能にするフレームワークで、分散型マル チエージェントシステムを作成するためのツール セットと実行環境を提供、自動意思決定や最適化 に使用可能。 自動化 Python または TypeScript を使って複数の AI Agent を連携させて動的に実行させることが可能。 自動的に Agent ルーティング。 Agent ごとにスト リーミングを制御可能。 コンテキスト 複数のエージェント間で会話コンテキストを維持 および活用して、一貫性のある対話が可能 ローカル、クラウド実行 任意のクラウドサービスを利用可能 Google Cloud Directory Sync でアトリビュート Sync も可能
- 11. 制御のバリエー ション Entra ID の一貫したアクセスコントロールを利用する Azure AI Foundry でマルチエージェントを構成する場合、様々なデータ ソースに対してそれぞれの ID や API キーを管理しても、データソースの スコープを管理するためにはそれなりの工数が必要となる。 Sales force にデータソースがあり営業部 1 課のソースは営業部部長と 1 課 の課員のみがアクセスできる場合、 Sales force ユーザーと Entra ID ユー ザーを SCIM で同期させない限り、営業部 2 課の課員のプロンプトに対し て 1 課のソースを使った生成を行う可能性がある。 このようなアイデンティティ・フェデレーションは Azure AI Search を 使った制御を行うことで Sales force 側の Security 制御を Azure AI Search のフィルターで賄うことができる。 複数の部署（場合によっては複数の組織）の連携が必要なこのような環境 を構築する場合、 Sales force 側の Security 制御担当、 Azure AI Search のフィルター設定担当は少しの情報共有で（ Azure AI Foundry でエー ジェントを構築するメンバーはセキュリティに関する情報を意識せ ず） Agent のデータソース統合が可能。 サイロ化によるアクセスコントロール Microsoft 365 のエージェントは Microsoft 365 Copilot によってセキュリ ティ、コンプライアンスが適用された状態で Graph によるアクセスコント ロールが行われるため、 Azure AI Foundry 側にサイロ化させる必要は無 く、 Azure AI Search による Microsoft 365 Copilot 活用また は、 Microsoft 365 Agent SDK を使った Azure AI との統合が可能。 このような統合ができない場合、 Azure AI Foundry は API キーでの外部 接続が可能なので、接続先のデータを限定的なデータのみにしてエージェ ントが不必要なデータにアクセスしないように注意する。
- 12. Conclusion AI agent の役割 データ→タスク→情報 Agent ルーティング AI service & AI agent services マルチ Agent 制御のバリエーション
- 13. Reference Salesforce Data Security Model — Explained Visually https://developer.salesforce.com/blogs/developer-relations/2017/04/salesforce-data-security-model-explained- visually Azure AI Foundry ポータルでの接続 https://learn.microsoft.com/ja-jp/azure/ai-studio/concepts/connections Microsoft Purview Data Security Posture Management for AI でサポートされている AI サイトの一 覧 https://learn.microsoft.com/ja-jp/purview/ai-microsoft-purview-supported-sites Microsoft 365 Agents SDK: GitHub https://github.com/microsoft/agents Azure AI Foundry SDK: Microsoft Learn https://containers.dev/features Azure AI Foundry ポータルでの接続 https://learn.microsoft.com/ja-jp/azure/ai-studio/concepts/connections Azure AI Foundry アーキテクチャ https://learn.microsoft.com/ja-jp/azure/ai-studio/concepts/architecture 生成 AI アプリ向け、 Microsoft Purview のデータセキュリティおよびコンプライアンス保護 https://learn.microsoft.com/ja-jp/purview/ai-microsoft-purview Multi-Agent Orchestrator framework https://awslabs.github.io/multi-agent-orchestrator/
- 14. Reference コンテンツのフィルター処理 https://learn.microsoft.com/ja-jp/azure/ai-services/openai/concepts/content-filter?tabs=warning%2Cuser-prompt %2Cpython-new How Amazon Bedrock Agents works https://docs.aws.amazon.com/bedrock/latest/userguide/agents-how.html Copilot Studio エージェント ビルダーを使用してエージェントをビルドする : Microsoft Learn https://learn.microsoft.com/ja-jp/microsoft-365-copilot/extensibility/copilot-studio-agent-builder-build Amazon Bedrock のマルチエージェントコラボレーション機能の紹介 ( プレビュー ) https://aws.amazon.com/jp/blogs/news/introducing-multi-agent-collaboration-capability-for-amazon-bedrock/ Google Agentspace https://cloud.google.com/products/agentspace
Editor's Notes
- #2: 自己紹介をよむ 【クリック】
- #3: 【読む】
- #4: AIはAGIとタスク特化型のAIに2極化してきていることは依存お話しした通りです。AGIはGoogle、Open AI、Microsoftなどの企業にお任せするとして、業界向け、業務向けのタスク特化型のAIは市場ニーズが非常に高く、そのようなAIを丸ごと作りこむのではなく、さらに細かなタスクに詳細化して、それらの組合せによって何千何万の業界向け、業務向けのタスクフローをAI Agentで構築する手法が必要であり、その補助ツールとしてCopilot Studio Agent BuilderやAmazon Bedrock AgentsのようなAI Agentサービスが提供されています。また、Azure AI FoundryやGoogle Agentspaceのようなチーム開発の機能が充実したサービスも提供されています。それらサービスの画面操作の話ではなく、それらサービスを使う上でデータがどのようにAIの性能に作用するかという設計のお話しをします。
- #5: データがシステムにどのように作用するかは、これまでの皆さんの経験と同じで「AIでデータ設計は要らない」などということはありません。重要なことは「AIにはどのように作用するか」です。DDDでいうところのドメイン、バウンダリーコンテキスト、UMLであればユースケース図、シーケンス図で表現される「登場人物とアクティビティの関係（ペルソナとかユーザーストーリーとか）」によってコンテキストが変化することを明示することで、タスクに特化したAIに設定するRAGはどのようなものかが明確になります。
- #6: この図では、事前処理、事後処理と2つに分類したタスク特化型AIを表現しており、タスク数ではありません。実際は複数のVertical AI Agentで構成されます。ポイントを抑えてください。事前の調整では必ず最初にAI Search プロンプトシールドなどを使ってガード処理を行います。自作してもかまいませんが、ユーザーが入力するであろうプロンプトを想定するのはかなり困難ですので、そのようなサービス（Azure AI Search プロンプトシールド、Amazon Bedrock ガードレール、Vertex AI safety filters）に任せた方が自作するよりコスト効果が高いと考えられます。事前処理では様々な辞書を使って入力を修正しながらゴールを特定します。また、タスクの共通、固有の前処理を行います。グラウンディングとして、2～4つ程度のレベルで処理を分割します。たとえば、最も初期段階のタスクは質問された時刻や場所、質問者情報からプロンプトに情報を追加するタスクです。このタスクはタスクに関係なく必要な情報ですので、タスク共通の前処理として実施します。最も最後のタスク固有の処理はそのタスクを対象とした、固有の用語、専門用語、略語、代名詞等を置き換えたプロンプトを作成することです。プレフィックス・サフィックス辞書、スペルミス・タイプミス辞書を設定したプロンプト修正はタスク共通と固有の中間に位置します。「Aさん」→「A取締役」に修正したり、「M365」→「Microsoft 365」に修正したりする処理はタスク共通に近く、一方「HR」は学校業務では「ホームルーム」に置き換えた方が良く、企業向けAIの場合は「人事」に置き換えた方がグラウンディングされます。これは、モデルをファインチューニングするのではないため安全な手法といえます。
- #7: 各Vertical AI Agentは分類によって必須の処理が異なります。Webや一般に公開されている情報などを使ってRAGを行う場合は、ガバナンスに則って生成コンテンツをフィルタリングする処理が必須となります。医療関連のタスクであれば医療情報ネットの用語解説が厚生労働省から提供（https://www.mhlw.go.jp/content/10800000/001239485.pdf）されていますので特にガバナンスに抵触するような生成は行いませんが、スコープの広い用語を扱うサイトを参照するRAGを行う場合は生成コンテンツをフィルタリングする処理を行います。このような特定のWeb URLの指定はCopilot Studio Agent Builderではできません。 一方、オンプレミスのデータソースを扱う場合、ガバナンスに則ったデータしか保持されていないと考えると、生成コンテンツのフィルタリングは必要ありませんが、機密データ等のデータソースをAIが参照しないように制御する必要があります。Microsoftのアーキテクチャを使う場合は、Graphを使ったセキュリティ・アクセス制御やPurviewを使ったデータ損失防止、データセキュリティ体制管理が可能です。