**关键词：** 强化学习；非正规性；瞬态放大；动作平滑；Koopman
surrogate；Lyapunov 证书；安全控制

# 引言

连续控制策略即使取得较高回报，也可能生成抖动动作、密集约束裕度损失，并频繁触发安全层修正。常见处理方式是惩罚动作方差、动作差分或执行器粗糙度。这些惩罚有用，但它们不能解释为什么同样大小的残差动作噪声在一个闭环中无害、在另一个闭环中却显著放大。

本文的核心判断是：关键问题不是动作在欧氏范数下是否平滑，而是残差动作协方差是否被注入了一个非正规闭环
surrogate 的高放大方向。残差动作是 source，闭环动力学是
amplifier，状态协方差、约束裕度损失、后验 Bellman-Lyapunov
残差和投影修正负担是 downstream consequence。

因此，本文不是宽泛的 safe RL
benchmark，也不是全局非线性安全证明，而是一个问题优先的诊断/控制框架。CG-RVC
在这里仅作为该 source-amplifier 视角的一种响应方案：它结合局部
surrogate、Lyapunov 加权、残差协方差控制、平滑、rate limiting
和安全投影。

# 非正规闭环放大器

考虑局部 lifted surrogate
``` math
z_{t+1}=Kz_t+\Phi_u r_t+w_t ,
\label{eq:local_zh}
```
其中 $`z_t=\psi(x_t)`$ 是 lifted state，$`r_t`$
是残差动作或命令扰动，$`\Phi_u`$ 是输入通道，$`w_t`$
表示扰动或模型误差。若 source covariance 为 $`\Sigma_r`$，扰动协方差为
$`W`$，则局部平稳协方差满足
``` math
\Sigma_z=\sum_{i=0}^{\infty}K^i(\Phi_u\Sigma_r\Phi_u^\top+W)(K^i)^\top .
\label{eq:covprop_zh}
```
式 <a href="#eq:covprop_zh" data-reference-type="eqref"
data-reference="eq:covprop_zh">[eq:covprop_zh]</a>
表明：动作方差不是状态方差本身；动作方差只有经过闭环放大器传播后才成为状态协方差。

谱半径稳定 $`\rho(K)<1`$ 并不能排除短时能量增长。如果
$`K=V\Lambda V^{-1}`$
高度非正规，即使特征值位于单位圆内，特征向量也可能病态。因此，$`\kappa(V)`$、峰值瞬态增益
$`G_{\mathrm{peak}}=\max_{t\le H}\|K^t\|_2`$、resolvent norm 和
Kreiss-like proxy 都应进入强化学习闭环评估。

<figure id="fig:source_amp_zh">
<img src="source_amplifier_layers.png" />
<figcaption>Source-amplifier
视角。残差动作、探索噪声、执行噪声和扰动通过输入通道 <span
class="math inline"><em>Φ</em><sub><em>u</em></sub></span>
进入非正规闭环放大器 <span
class="math inline"><em>K</em></span>，并在下游表现为状态协方差、安全裕度损失、后验
Bellman-Lyapunov 残差和投影修正负担。</figcaption>
</figure>

# 为什么普通动作平滑不够

标量动作方差惩罚
``` math
R_{\mathrm{var}}=\mathrm{tr}(\Sigma_u)
```
只度量 source 总能量，不知道这些能量进入了哪些输入方向。时间粗糙度惩罚
``` math
R_{\Delta u}=\mathbb{E}\|u_t-u_{t-1}\|^2
```
主要抑制快速变化，但不判断剩余残差协方差是否对齐了高放大方向。

若存在局部 Lyapunov 度量 $`P`$ 和测得的收缩系数 $`\gamma_P`$，
``` math
K^\top P K \preceq \gamma_P^2P,
```
则残差输入方向可以被
``` math
M=\Phi_u^\top P\Phi_u
```
加权。相应的 P-weighted action Lyapunov energy 为
``` math
R_{\mathrm{P\text{-}ALE}}=
\frac{\mathrm{tr}(M\Sigma_r)}{1-\gamma_P^2}.
\label{eq:pale_zh}
```
动作平滑是时间正则性；P-ALE
是放大器感知的残差协方差控制。二者相关，但并不等价。

<div id="tab:diagnostics_zh">

| 层次 | 诊断量 | 含义 |
|:---|:---|:---|
| Source | $`\mathrm{tr}(\Sigma_r)`$、applied variance、diff MSE | 注入了多少残差或执行动作抖动。 |
| Amplifier | $`\rho(K)`$、$`\kappa(V)`$、$`G_{\mathrm{peak}}`$、resolvent norm | 稳定外观下是否仍可能短时放大。 |
| Certificate | $`P`$、$`\gamma_P`$、$`M=\Phi_u^\top P\Phi_u`$ | 哪些动作方向在局部证书下能量更高。 |
| Consequence | 状态协方差 trace、dense violation、B-L residual | source 抖动是否变成状态扩散或安全裕度损失。 |
| Execution | projection trigger rate、normalized correction | 安全层需要多少修正。 |

source-amplifier 论文应报告的诊断量。

</div>

# 最小证书引导响应

响应框架包含五步。第一，使用局部线性化、EDMDc 回归或 replay-buffer
局部模型拟合
$`z_{t+1}=K_0z_t+\Phi_u u_t+w_t`$。第二，构造名义或投影闭环矩阵，例如
$`K_{\mathrm{raw}}=K_0-\Phi_u L`$，再得到
$`K_{\mathrm{proj}}=\Pi_\beta(K_{\mathrm{raw}})`$。第三，求解 Lyapunov
方程或不等式得到 $`P`$。第四，在 actor objective
中加入式 <a href="#eq:pale_zh" data-reference-type="eqref"
data-reference="eq:pale_zh">[eq:pale_zh]</a> 的 P-ALE
惩罚。第五，在执行层加入平滑、rate limiting 和安全投影。

这里必须区分 $`\beta`$ 与 $`\gamma_P`$。$`\beta`$ 是谱半径目标，不是
P-metric contraction guarantee。理论界限和经验诊断应使用测得的
$`\gamma_P`$。此外，平滑与投影使执行层变成非线性操作，因此证书应被理解为局部设计和诊断对象，而不是全局非线性
plant 证书。

如果残差策略依赖状态，则残差不再是纯外生 source。局部诊断应估计
``` math
K_\theta=K+\Phi_u J_r ,
\label{eq:ktheta_zh}
```
其中 $`J_r`$ 是有限差分 actor-Jacobian proxy。当 $`J_r`$
很大时，feedback component 必须被纳入 amplifier。

# 证据

实验设计应分离 source、amplifier 和 safety
repair。图 <a href="#fig:ci_zh" data-reference-type="ref"
data-reference="fig:ci_zh">2</a> 汇总了两个 controlled
interventions。CI-1 固定特征值、谱半径、输入通道和 source
covariance，只改变特征向量几何。在已归档结果中，$`\kappa(V)`$ 从约
$`1.0`$ 增至 $`20.05`$，状态协方差 trace 从约 $`0.37`$ 增至
$`15.66`$，峰值瞬态增益从约 $`1.0`$ 增至
$`5.55`$。这说明在受控矩阵族中，非正规几何可以独立放大固定 source。

CI-2 固定强非正规 amplifier，只改变 source。在已归档结果中，filtered
source 使动作方差从 $`0.03992`$ 降至 $`0.00317`$，状态协方差 trace 从
$`15.849`$ 降至 $`12.393`$，而结构峰值增益保持在约
$`5.55`$。这是源侧证据，但 filtered input 是 colored input，必须通过增广
colored-input dynamics 解释。

<figure id="fig:ci_zh">
<figure>
<img src="fig1_ci1_amplifier_isolation.png" />
<figcaption>CI-1</figcaption>
</figure>
<figure>
<img src="fig2_ci2_source_intervention.png" />
<figcaption>CI-2</figcaption>
</figure>
<figcaption>Controlled interventions。CI-1 操纵非正规 amplifier
geometry，同时固定 source statistics；CI-2 操纵 source
statistics，同时固定 amplifier。</figcaption>
</figure>

<div id="tab:ablation_zh">

| 方法              |  RMSE |   Var. |  Viol. | B-L max |
|:------------------|------:|-------:|-------:|--------:|
| Direct TD3        | 0.537 | 0.1138 | 0.9389 |    92.4 |
| TD3 + Var$`(u)`$  | 0.612 | 0.1026 | 0.9278 |   161.9 |
| TD3 + action diff | 0.565 | 0.1118 | 0.9389 |   109.1 |
| Projection only   | 0.505 | 0.1033 | 0.1222 |    82.3 |
| Full response     | 0.284 | 0.0060 | 0.0000 |    5.24 |

二维受约束 RL 高噪声消融摘要。数值来自已归档 matched ablation 的均值。

</div>

表 <a href="#tab:ablation_zh" data-reference-type="ref"
data-reference="tab:ablation_zh">2</a>
说明，在二维高噪声受约束任务中，普通 smoothing
并不完整。标量动作方差惩罚和动作差分惩罚没有消除 dense violation
或后验残差。Projection only 能降低 violation，但仍保留较高 applied
variance 和 posterior residual。Full response 同时组合 source shaping 与
execution repair。

Projection burden 是一个操作层面的下游诊断。在已归档二维高噪声 run
中，normalized correction 约为：projection only $`0.09362`$，P-ALE +
projection $`0.05426`$，full method $`0.01093`$。Residual-feedback
diagnostic 则给出另一条边界：有限差分 actor-Jacobian proxy 在 Direct TD3
中约为 $`16.23`$，在 full method 中约为 $`0.274`$。这支持 source-side
解释，但不是证明。

# 局限性

本文 claim level 有意保持克制。第一，所有证书声明都是局部 surrogate
层面的，不是全局非线性安全保证。第二，P-ALE 降低的是进入 amplifier 的
certificate-weighted residual covariance，并不直接降低 $`K`$
的非正规性。第三，如果 residual feedback 很强，则 source-only
interpretation 只能作为诊断，除非将 feedback
纳入式 <a href="#eq:ktheta_zh" data-reference-type="eqref"
data-reference="eq:ktheta_zh">[eq:ktheta_zh]</a>。第四，projection
依赖局部可行性，不能凭空创造 feasibility。第五，Full3D quadrotor 和
ControlGym 结果是 simulation-level relevance check，不是硬件验证或 broad
safe-RL benchmark dominance。

# 结论

低方差安全强化学习应同时报告 source 与 amplifier。关键对象不仅是
$`\mathrm{Var}(u)`$ 或 $`\|u_t-u_{t-1}\|^2`$，而是从 $`\Sigma_r`$ 经过
$`\Phi_u`$、$`K`$、$`P`$ 和
$`M`$，最终进入状态协方差、安全裕度损失、后验 Bellman-Lyapunov 残差和
projection burden 的完整链条。该 source-amplifier 视角解释了为什么普通
action smoothing
在强非正规闭环中可能不足，也解释了为什么证书加权残差协方差是一个自然的诊断和控制响应。
