フェイルオーバー

AI(企業向け)

【AgentOps・カオスエンジニアリング編】”設計したはず”を壊して確かめる——エージェントの障害注入とゲームデーの運用規律|ツールのタイムアウト・429・壊れたツール応答・モデルの劣化・RAGの空振り・提供元のダウンを意図的に起こし、リトライ規律・フェイルオーバー・デグレード・キルスイッチが”本番で本当に効くか”を定期的に確かめる回復力テストの設計

連載ではこれまで、リトライ規律、提供元をまたぐフェイルオーバー、キルスイッチ、自動復旧(AI-SOAR)といった「壊れたときに効くはずの仕組み」を一通り作ってきた。だが、ここに一つ大きな穴がある。それらの仕組みが本番で本当に効くかを、誰も...
AI(企業向け)

【AgentOps・キャパシティ運用編】”動くのに、混むと止まる”を越える——エージェントのレート制限・クォータ・同時実行の運用規律|提供元のTPM/RPM上限をエージェント間でどう配分するか、429ストームとリトライの増幅、優先度つきキューイング、ピーク予測、提供元をまたぐフェイルオーバーで”成功率が負荷に比例して落ちる”を防ぐキャパシティ設計

PromptOps編("指示資産")、ナレッジ運用編("参照資産")、ツール運用編("能力資産")、そしてモデル運用編("頭脳")と、エージェントを構成する資産の運用を一通り扱ってきた。だが本番で起きる障害の多くは、資産そのものの不具合で...
タイトルとURLをコピーしました