この回の動画
ナレーションは AI 合成音声です。 動画の章・文字起こし・出典
文字起こし
文字起こし
知行の問い
ロボットは、ときどき危険な動作を計算しちゃう。出す前に、こっそり直せないかな?今回は、安全フィルターを作ります。AIが出した動作とモーターのあいだに入り、安全な動作は通し、危険な動作は止めます。
危険な動作と安全フィルター
まずは例を見ましょう。今回のノートブックの場面です。平面の上の点ロボットが、スタートからゴールへ向かいます。ところが、正面に丸い障害物があります。制御器はゴールへ突き進むことしか考えません。そのまま、ぶつかってしまいます。この突き進むだけの制御器を、ノミナル制御器と呼びます。悪いわけではありません。安全をまったく気にしていないだけです。これがどれほどよくあることか、考えてみましょう。学習した方策は、ほとんどの場合正しい。でも、その一パーセントが事故を起こすかもしれません。なぜ、決して間違えないモデルを学習しないのか、と思うかもしれません。世界が複雑すぎるからです。あらゆる危険を、学習に詰め込むことはできません。そこで発想を変えます。安全と知能を、分けて扱うのです。賢い部分が考え、信頼できる部分が最後を受け止めます。この分担には、大きな利点があります。方策は大胆に学び、探索できます。どのみち、下に安全網があるからです。具体的にはどうするのか。方策とモーターのあいだに、フィルターを入れます。そして一歩ごとに問います。この動作は安全か?安全なら、そのまま通します。安全でなければ、いちばん近い安全な動作に変えます。変える量は、小さいほどよいのです。モデルを学習し直さなくていいんだ!最後の瞬間に、動作を安全な範囲へ引き戻せばいい。二つの軌道を比べてください。突き進むだけの軌道は、障害物にぶつかります。フィルター付きの軌道は、滑らかに回り込みます。
安全を関数で書く
大事なのは、安全を一つの数で書くことです。障害物までの距離から、安全半径を引く。この数を、エイチと名づけます。論文が決めているのは、エイチがゼロ以上なら安全、ということだけです。わたしたちが選んだこのエイチには、よい性質があります。安全なら正の値、危険なら負の値、境界ではちょうどゼロになります。論文では、エイチがゼロ以上の領域を、安全集合と呼びます。安全とは、要するに、この領域の中にずっといることです。論文は、きれいな条件を示しています。一歩ごとに一つの不等式を満たしていれば、この安全集合からは決して出られません。この考え方を、もう一度強調します。タスクの目標は変えません。その上に、安全の制約を一つ加えるだけです。この不等式は何を言っているのか。安全の余裕が減る速さは、急すぎてはいけない。境界に近づくほど、控えめにしなさい、ということです。この点ロボットでは、この条件がちょうど動作について線形になります。線形なら、解きやすい。これはとても大事です。こうして安全フィルターは、小さな最適化問題になります。目標は、ノミナルの動作にいちばん近いこと。制約は、あの不等式を満たすことです。この種の問題には名前があります。二次計画です。とても小さく、制約は一つだけ。まばたきする間に解けます。ちなみに、このエイチはどこから来るのでしょう。手で書くこともできるし、データから学ぶこともできます。学んだものは、ニューラルバリア関数と呼ばれます。もう一つ。ここでの安全は、モデルに対するものです。モデルが安全だと判断するだけでは、足りません。モデルが正確で、はじめてロボットは本当に安全です。安全って、祈るものじゃないんだ!一歩ごとに、小さな問題をちゃんと解くことなんだ。
いちばん速いループへ
この種の小さな問題は、どれほど速く解けるのか。手のひらほどのボードで、ある論文が、別の二次計画の制御器を実測しました。平均で、約零点四ミリ秒です。この桁なら、十分速い。安全フィルターは、いちばん速いループに入れることをおすすめします。あるロボットアームの論文によれば、リアルタイム制御には一秒に千回が必要です。なぜ、そこまで速くないといけないのか。危険は、たいてい突然あらわれるからです。一歩遅れたら、もう止められません。しかも、やさしいのです。障害物から遠いときは、動作にほとんど手を出しません。境界に近づいたときだけ、そっと引き戻します。これを、最小介入と呼びます。動かさずに済むなら、動かさない。出るべきときだけ、手を出します。もう一つの利点は、説明できることです。なぜこの動作を変えたのか、一つずつ確かめられます。安全では、これがとても重要です。よくできた安全層ほど、ふだんは、いることすら気づかないんだ!その立ち位置をはっきりさせましょう。モデルの代わりに決めるのではありません。線を越えるその瞬間だけ手を出し、それ以外はモデルに任せます。いくつものルールも扱えます。壁にぶつからない、速度を出しすぎない、倒れない。すべて不等式で書いて、同じ問題に入れます。ルールどうしが、ぶつかることもあります。障害物は避けたい、でも急停止はしたくない。この問題が、折り合いのつく動作を見つけてくれます。でも、万能の保険だと思ってはいけません。こうした保証は、すべて一つの前提の上にあります。モデルが十分に正確であることです。距離も、ダイナミクスも、勾配も、正確でなければなりません。一つでもずれていれば、安全の保証は割り引かれます。もっと手ごわい場合もあります。速度ではなく加速度を制御するなら、相対次数が高くなり、高い次数に対応した方法が必要です。アクチュエーターは飽和もします。モーターの力には、必ず上限があります。止めたくても、本当に止められないことがあるのです。だから、その限界は正直に伝えましょう。多くの事故は防げます。でも、絶対に安全だという保証ではありません。今回のノートブックを開いて、一緒にやってみましょう。まずフィルターを切って、ぶつかるのを見る。次に入れて、なめらかに回り込むのを見ます。次に、エイチの曲線を見てください。フィルターなしでは、ゼロの線より下に落ちます。フィルターありでは、ずっとゼロの線の上にとどまります。アルファというパラメータも調整できます。フィルターがどれだけ思い切りよく動くかを決めます。大きいほど機敏に、小さいほど慎重になります。あの線が、ずっとゼロより上にあるのを、自分の目で見て。それが安全なんだ!ふりかえりです。ポイントは三つ。一つ、安全をエイチで書く。安全とは、エイチがゼロを下回らないこと。二つ、フィルターは小さな二次計画で、最小介入。三つ、いちばん速いループに入れ、しかもモデルが正確であること。安全フィルターは、ロボットを賢くはしない。約束するのは一つだけ。どんなに急いでも、あの線は越えない!でも、これが本当に効くって、どうやって分かるの?次回は、評価の話。また次回!
根拠と出典
練習とセルフチェック
小テストは公開で、回答するとすぐ解説が出ます。読み物の練習問題の答えはログイン会員向けです。

第 2.7 回の動画は安全フィルターを扱います。安全フィルターは方策とモーターのあいだに入り、一歩ごとに動作を一度確かめ、安全ならそのまま通し、安全でなければいちばん近い安全な動作に変えます。動画は三つのことを説明します。安全を関数 h で書けば安全集合は h(x) ≥ 0 となり、一歩ごとに一つの不等式を満たせば安全集合は前方不変になること。安全フィルターはとても小さな二次計画で、ノミナルの動作にいちばん近く、しかも安全制約を満たす動作を求める、つまり最小介入であること。いちばん速いループに入れる必要があり、保証はすべてモデルが十分に正確であることを前提とし、高い相対次数やアクチュエーターの飽和はどちらも保証を弱めること。動画の三枚の数字カードは、二本の公開論文から取られています。Ames らのサーベイ Control Barrier Functions: Theory and Applications(arXiv 1903.11199)は「h ≥ 0 の領域を安全集合とする」という約束事を示しています。同じ論文は Segway の実験で、BeagleBone Black ボード上の CLF-QP の平均計算時間を 0.4 ms と報告しています。multipanda_ros2 の論文(arXiv 2602.02269)は、1 kHz の制御周波数を維持することが自らのリアルタイム制御に不可欠で、安全規格が求める最低の周波数でもあるとしています。このページはこの回の解説と練習です。文字起こしは繰り返さず、動画が触れるだけにとどめた三つのことを行います。Ames らによる安全集合、前方不変、制御バリア関数の定義を読み、動画の「一つの不等式」が正確には何で、なぜ動作について線形なのかをはっきりさせます。仮想の点ロボットで、安全フィルターの一歩を最後まで手で計算します。そして、フィルターをどのループに入れるか、二回の確認のあいだに安全の余裕がどれだけ使われるか、どの前提が崩れると保証が割り引かれるかを計算します。全体を通じたルールは一つです。CBF の保証はモデルに対するものであり、計算時間や周波数は、それを測った、または提案したシステムのものです。
この回の動画、文字起こし、出典はこのページの上部にあります。シーズン全体の構成は講座の概要をご覧ください。前回のフィジカルAIラボ 2.6:エッジへ――遅延のログから制御周波数の上限を求め、量子化で減るのが容量か時間かを見分け、動作チャンクの長さを決めるは、最後に「モデルが危険な動作を計算してしまったら、誰が止めるのか」と問いかけました。この回はその答えです。multipanda_ros2 の 1 kHz の原文、論文の表 I に並ぶ各ロボットの指令周波数、「周波数の上限は一周期の遅延の逆数」は 2.6 で、周波数を周期に直す計算はフィジカルAIラボ 1.2:PIDと制御周波数――3 つの項を手で計算し、周波数を周期に直すで、シミュレーションのモデルが実機と合わない理由はフィジカルAIラボ 2.5:sim2real のドメインランダム化とシステム同定――二本の論文の数字を元の設定に戻し、コップを押した一本の軌跡から摩擦を手で求めるで、すでに扱いました。この回ではそれらを繰り返さず、CBF そのものと、それをループに組み込むときに計算しておくべきことだけを扱います。次回 2.8 は、くり返し実験と信頼区間による再現できる評価です。
公開小テストの 5 問には詳しい解説が付いています。ログインすると、三つの練習に取り組めます。架空の点ロボットの四つの状態で安全フィルターを手で計算し、パラメータ a を変えるとどの修正が消えるかを見る。架空の移動台車でフィルターを入れるループを決め、周期・遅延・測距誤差から安全半径に残すべき余裕を求める。架空の安全計画を審査し、各文を二本の論文の元の条件に戻し、ループの周期に照らして a の値を確かめる。いずれにも段階的な解答例、よくある誤り、20 点満点の採点基準が付いています。
1. 二本の論文はそれぞれ何を述べているか
Ames ら、Control Barrier Functions: Theory and Applications(arXiv 1903.11199。この回が読んだのは HTML v1)。要旨によれば、この論文は制御バリア関数に関する最近の研究の紹介と概観で、最適化に基づく安全重視の制御器のなかで安全性を検証し、強制するための使い方を論じています。本講座の区分では R レベルです。動画の「h ≥ 0」の数字カードは、序論の次の一文に対応します。
Dually, invariance can be seen as an example of a safety property in the sense that any trajectory starting inside an invariant set will never reach the complement of the set, describing the locus where bad things happen.
論文の第 II 節は、この一文を定義として書き直しています。
- 安全集合。連続微分可能な関数 h をとり、安全集合 𝒞 を h(x) ≥ 0 となるすべての状態、境界を h(x) = 0、内部を h(x) > 0 とします(式 5)。論文が示すのはこの約束事だけです。動画の「障害物までの距離から安全半径を引く」は、この講座が自分で選んだ h です。
- 前方不変と安全。定義 1:𝒞 のどの点から出発しても、閉ループ系の解がその存在区間全体で 𝒞 にとどまるなら、𝒞 は前方不変です。系が 𝒞 について安全であるとは、𝒞 が前方不変であることです。ここでの「系」は論文が書き下した閉ループのモデル
ẋ = f(x) + g(x)k(x)で、局所リプシッツであると仮定されています。 - 制御バリア関数。論文は系が制御アフィンであること、
ẋ = f(x) + g(x)uを仮定します。定義 2:拡張クラス 𝒦∞ 関数 α(狭義単調増加で α(0) = 0)があって、すべての x についてsup_u [L_f h(x) + L_g h(x) u] ≥ −α(h(x))となるなら、h は制御バリア関数です。角かっこの中は、系に沿った h の変化率 ḣ そのものです。 - なぜ「最小介入」なのか。序論によれば、「ḣ(x, u) ≥ −α(h(x)) となる u が存在する」という条件は(コンパクト集合について)必要十分であり、したがって制限が最も少ないものです。また 𝒞 全体で成り立つので、最適化に基づく制御の方法で安全な制御器を合成でき、望ましい制御器を最小介入のかたちで修正できます。
- 論文自身が挙げる難しさ。概要の節によれば、第 III 節はアクチュエーターの制約がある系、第 IV 節はより高い相対次数をもつ制約を扱います。動画の最後に出てくる「アクチュエーターの飽和」と「相対次数が高い」は、この二つの節に対応します。この回は、その二つの節の具体的な方法は読んでいません。
動画の「0.4 ミリ秒」の数字カードは、論文の第 V 節の Segway の実験から取られています。原文は次のとおりです。
the CLF-QP was solved onboard the hardware on a BeagleBone Black with an average computation time of 0.4 ms
この一文は前後の文脈と一緒に読みます。
- 何を安全とするか。Segway の安全制約は倒れないこと、つまり振り子の角度 ϕ を [−π/12, π/12] rad の中に保つことです。ノミナル制御器は、望ましい信号を追従する標準的な PD 制御器です。
- h は手で書いた二つの上下限ではない。論文によれば、振り子の角度の上限と下限についての簡単な制御バリア関数を二つ使いたくなるかもしれず、それらは CBF-QP で実装もできるものの、実験での実装に必要な追加の制約をすべて強制することはできません。そこで著者らは Hamilton-Jacobi の方法を使い、状態空間の 75×75×75 の格子で到達可能性解析を行って、それらの制約を満たす安全集合を求め、さらに多項式回帰で、安全フィルターに使える解析的な式を得ました。
- 0.4 ms とは何か。これは平均計算時間で、この文で解かれている対象は CLF-QP と書かれており、得られた信号 u_act はモーター制御器に渡されます。同じ段落は「ASIF あり」を「CLF-QP が有効」と言い換えており、CBF の部分を別に計時してはいません。最悪値も示していません。動画は「別の二次計画の制御器」という扱いで引用し、桁の目安にとどめています。この回の CBF フィルターの実測ではありません。
- 論文が報告する結果。望ましい振り子の角度は振幅が π/12 を超える正弦波で、著者らは ASIF なしとありで一回ずつ実験し、CBF を実装した安全フィルターが有効なときだけ系が安全に保たれたと報告しています。さらに外乱として蹴りを加えると、CBF ありでは倒れず、なしでは失敗しました。いずれも著者の報告で、本サイトは再現していません。
multipanda_ros2(Škerlj ら、arXiv 2602.02269。ページには ICRA 2026 で発表済みと記されています。R レベル)。動画の「1 kHz」の数字カードは、要旨の次の一文に対応します。
A central focus of this work is sustaining a 1kHz control frequency, a necessity for real-time control and a minimum frequency required by safety standards.
この一文は、2.6 ですでにそのトルク制御のフレームワークに戻して読みました。この回に関係するのは、論文の第 II 節の二つの記述だけです。ISO 10218 などの安全規格は衝突検知のために 1 kHz の測定周波数を定めていること。協働ロボットはしばしばカスケード構造を使い、外側のループがタスクの水準の指令を生成し、内側のループがモーターのトルクや速度を調整して、精度と外乱への強さを高めながら速い安全応答を保つこと。論文は制御バリア関数を論じていません。「フィルターをいちばん速いループに入れる」は本講座の設計上の助言です。
| 動画の数字 | 出典 | 原文の条件 | 原文が述べていないこと | レベル |
|---|---|---|---|---|
| h ≥ 0 | Ames ら、序論と第 II 節 | 安全集合は h ≥ 0 の状態。安全とは、安全集合が閉ループのモデルについて前方不変であること | h の選び方は決めていない。「距離 − 安全半径」は本講座の選び方 | R |
| 0.4 ミリ秒 | Ames ら、第 V 節の Segway の実験 | CLF-QP を BeagleBone Black 上で解いたときの平均計算時間 | この回のフィルターの実測ではない。最悪値はない。ほかのハードウェアやほかの問題の速さは何も言っていない | R(著者の報告) |
| 1 kHz | multipanda_ros2、要旨と第 II 節 | そのフレームワークのリアルタイムのトルク制御。論文は ISO 10218 などが衝突検知に 1 kHz の測定周波数を定めているとする | CBF には触れておらず、安全フィルターの周波数も定めていない。この回は ISO 10218 の原文を確認していない | R(著者の記述) |
ログインすると、このレッスンの続きと確認問題、解答を読めます。
制約と注意点
- Ames ら(arXiv 1903.11199、HTML v1)は R レベルのサーベイです。この回が読んだのは、要旨、序論、第 II 節の Remark 3 まで、そして第 V 節の Segway の実験の段落です。第 III 節と第 IV 節の具体的な方法は読んでいません。第 2 節の閉じた形の解、第 3 節の上限、第 4 節の導出は、この回が論文の定義から導いたもので、論文にそう書かれているわけではありません。
- 0.4 ms は著者が報告した平均計算時間で、原文が解いた対象として挙げているのは CLF-QP です。読んだ段落には最悪値がなく、ASIF の正式名称も書かれていません。動画は「別の二次計画の制御器」という扱いで、桁の目安としてだけ引用しています。
- multipanda_ros2(arXiv 2602.02269)は R レベルで、ページには ICRA 2026 で発表済みと記されています。1 kHz と ISO 10218 についての記述は著者の主張で、この回は ISO 10218 の原文を確認していません。論文は制御バリア関数を論じていません。
- 次はこの回の選び方、助言、推論です。h = 距離 − 安全半径。α(h) = a·h。速度を制御する点ロボットのモデル。二回の確認のあいだの減少の上限。a·T ≤ 1 という一次近似。「u を送るいちばん速いループにフィルターを入れる」「チャンクの実行中は一歩ごとに確かめる」「解なしや時間超過のときの動きを決める」などの助言。中心へまっすぐ向かうロボットは減速するだけで回り込まない、という現象。
- 第 2〜5 節の障害物、半径、位置、速度、a の値、周波数、遅延、測距誤差、減速度、移動台車、プランナー V、チーム Z はすべて架空です。0.30、0.28、0.032 m、0.052 m、1.5 などは、これらの仮定のもとでだけ成り立ちます。
- この回は動画の Notebook を実行しておらず、そのスタートとゴール、パラメータ、保存された結果も確認していません。
- 紙の上の計算とシミュレーションの結果は、ハードウェアの安全性の検証ではありません。実機での試験には別に安全の準備が必要で、フィルターとは別の独立した安全手段を残しておく必要があります。
リンク
- フィジカルAIラボ:すべての数字を確認できるフィジカルAI講座(講座の概要)
- フィジカルAIラボ 2.6:エッジへ――遅延のログから制御周波数の上限を求め、量子化で減るのが容量か時間かを見分け、動作チャンクの長さを決める
- フィジカルAIラボ 2.5:sim2real のドメインランダム化とシステム同定――二本の論文の数字を元の設定に戻し、コップを押した一本の軌跡から摩擦を手で求める
- フィジカルAIラボ 1.2:PIDと制御周波数――3 つの項を手で計算し、周波数を周期に直す
- Ames ら:Control Barrier Functions: Theory and Applications(arXiv 1903.11199、HTML v1)
- Bridging the Sim-to-Real Gap with multipanda_ros2: A Real-Time ROS 2 Framework for Multimanual Systems(arXiv 2602.02269)



