# 控制系统与强化学习中的非正规性、瞬态放大与协方差传播

## Executive Summary

控制系统中的**非正规性**并不是“边角问题”，而是一个会系统性改变闭环风险解释方式的几何问题。若矩阵或闭环算子 \(K_{\mathrm{cl}}\) 的特征向量高度非正交，那么即使谱半径满足 \(\rho(K_{\mathrm{cl}})<1\)，或连续时间系统满足 \(\mathrm{Re}\,\lambda_i(A)<0\)，系统仍可能在有限时间窗口内出现显著的 \(\|K_{\mathrm{cl}}^i\|\) 或 \(\|e^{At}\|\) 放大；这正是伪谱、Kreiss 常数、数值亏格与数值横坐标等工具所刻画的核心现象。经典非模态稳定性理论、流体力学中的瞬态增长研究，以及后来的 Kreiss 常数优化工作，都一致说明：**“渐近稳定”并不等于“不会短时放大”**。citeturn0search0turn6search2turn29view1turn29view0

一旦把这一点与随机强迫和协方差传播结合，问题就变得更接近现代学习控制。在线性随机系统中，输入噪声协方差通过 Lyapunov 方程或等价的卷积级数传播为状态协方差；对同样的 \(Q_{\mathrm{src}}\)，一个更非正规的稳定闭环会产生更大的稳态方差、更高的瞬时能量峰值，以及更尖锐的方向性风险。Farrell–Ioannou、Bamieh–Dahleh、Jovanović–Bamieh 等工作表明，**小噪声在 nonnormal dynamics 下能够维持远大于直觉的扰动方差**；而 covariance control / covariance steering 文献则说明，协方差本身可以成为控制对象，而不只是“副产品”。citeturn31search6turn32search0turn33search0turn33search1turn25search4turn26search7turn26search10turn26search13

这条理论链条对**安全强化学习中的 residual action variance**尤其重要。如果把学习器输出写成 \(u_t=u_{\mathrm{nom}}(x_t)+r_t\)，那么 \(r_t\) 的协方差本质上是一个**源项**；\(\Phi_u\) 决定它进入局部 lifted / linear surrogate 的通道；\(K_{\mathrm{cl}}\) 决定它是否被有限时间放大；而 \(P\) 或 CBF/CLF 证书则决定这些状态偏离在安全意义上到底有多危险。于是，\(\Sigma_r\) 不再只是“动作抖动”，而可能是**下游状态协方差、Lyapunov 能量和约束违背风险**的上游驱动。这个视角既能解释为什么某些“已稳定”的闭环仍对小残差极敏感，也能解释为什么单纯的 scalar action penalty 往往不足。citeturn38search0turn39search0turn22search2turn22search4turn24search2turn17view2turn20search1turn20search8

就**强化学习文献现状**而言，直接把 nonnormality、transient amplification、action covariance propagation、policy-induced state covariance amplification 串成一条理论链的正式文献，仍然很少。更常见的论文把大状态方差或不安全行为归因于探索噪声、动作不平滑、现实世界扰动、感知/执行延迟、模型误差和安全过滤器频繁介入；相应的解决方案通常是 action smoothing、control prior / regularization、shielding、CBF-QP、Lyapunov safe RL 或 benchmark-level disturbance injection，而不是显式分析**“源—放大器—风险”**结构。citeturn21search0turn38search6turn36search0turn37search0turn37search6turn36search11turn22search2turn22search3turn22search4turn24search2

不过，严格说这个 gap 到 2026 年已经**不再是空白**。我检索到一篇 2026 年 4 月的 arXiv 预印本，题目即为 *Input-Side Variance Suppression under Non-Normal Transient Amplification in Continuous-Control Reinforcement Learning*，它直接采用了 amplifier-side 解释框架。也就是说，**该 gap 在正式同行评审文献中仍然成立，但在最新预印本层面已开始被正面触及**。因此，一个新论文如果要占据清晰位置，最好把 claim 边界收窄为：在 learned residual control 场景下，现有正式文献尚未充分闭合到“residual action covariance as source + nonnormal local surrogate as amplifier + certificate-weighted pullback metric \(\Phi_u^\top P\Phi_u\) as suppressor”这一完整框架。citeturn35search1turn35search9turn17view2turn39search0turn21search0turn24search2

## Concept Map

\[
\text{Residual action covariance}
\;\rightarrow\;
\text{Input channel}
\;\rightarrow\;
\text{Nonnormal closed-loop amplifier}
\;\rightarrow\;
\text{State covariance}
\;\rightarrow\;
\text{Lyapunov energy / safety violation}
\]

**Residual action covariance.** 在 RL / residual RL 语境里，最自然的源项是 \(r_t\) 的方差与协方差。Residual RL 明确采用 \(u=u_{\text{nom}}+u_{\text{res}}\) 的叠加结构；CAPS 与 control regularization 则都把“动作不平滑 / 高方差控制”视为应被直接抑制的对象；off-policy continuous control 中的 action noise 文献进一步说明，动作噪声的尺度和时间相关结构会改变学习和执行表现。严格地说，这些工作多数并未写成“\(\Sigma_r\) 驱动 \(\Sigma_x\)”的形式，但它们都提供了 source 端的经验与方法学基础。citeturn38search0turn21search0turn39search0turn36search0

**Input channel.** \(\Phi_u\) 表示 residual action 如何进入局部线性化、lifted state 或 Koopman surrogate。Korda–Mezić 的 Koopman predictor、Proctor–Brunton–Kutz 的 DMDc、以及后续 Koopman-Lyapunov / SafEDMD 工作都把控制输入作为 lifted dynamics 的明确通道；因此，从控制输入到 lifted state risk 的映射并不是人为添加的符号，而是数据驱动 surrogate 的标准结构组成部分。citeturn14search4turn14search2turn20search1turn17view2

**Nonnormal closed-loop amplifier.** 若局部闭环 \(K_{\mathrm{cl}}\) 非正规，即使其特征值严格稳定，也可能出现强瞬态放大。这个 amplifier 节点的理论来源是 pseudospectra / nonmodal stability / Kreiss constant 文献，以及闭环瞬态增长抑制研究；robust pole assignment 与 conditioning 文献则说明，反馈设计本身可以显著改变特征向量几何，从而制造或缓解非正规性。citeturn0search0turn6search2turn29view1turn29view0turn9search0turn8view1turn8view0turn10search0

**State covariance.** 若 \(z_{t+1}=K_{\mathrm{cl}}z_t+\eta_t\) 且 \(\eta_t\) 为零均值白噪声，则稳态协方差满足离散 Lyapunov 方程 \(\Sigma_z=K_{\mathrm{cl}}\Sigma_zK_{\mathrm{cl}}^\top+Q_{\mathrm{src}}\)，或等价写成 \(\Sigma_z=\sum_{i=0}^\infty K_{\mathrm{cl}}^iQ_{\mathrm{src}}(K_{\mathrm{cl}}^i)^\top\)。stochastic forcing、variance amplification 与 covariance steering 文献说明，这一步就是把“源项统计”变成“状态统计”的核心桥梁，也是 source-amplifier 视角真正可量化的地方。citeturn31search6turn33search0turn33search1turn25search4turn26search7turn26search10turn26search13

**Lyapunov energy / safety violation.** 一旦给定 \(V(z)=z^\top Pz\) 这样的证书，便有 \(\mathbb E[V(z)] = \mathrm{tr}(P\Sigma_z)\)。在 Koopman-Lyapunov、Neural Koopman Lyapunov Control、SafEDMD、Lyapunov safe RL、CBF safe RL 中，证书 \(P\) 或其非线性替代对象本来就承担“把偏离解释成风险”的角色。因此 \(M=\Phi_u^\top P\Phi_u\) 可以被视为把状态侧证书**拉回动作空间**的自然二次型；我没有在检索到的正式 RL 文献中看到它被当作标准 regularizer 使用，因此这一步更像是对已有控制与证书文献的合成性推论，而非复述现成结论。citeturn20search1turn20search8turn17view2turn22search3turn22search2turn22search4

## Literature Review by Theme

**Pseudospectra, nonnormality, and transient growth.** 经典结论非常一致：normal / nonnormal 的关键差别不在“谱是否稳定”，而在“特征向量几何是否允许模态相消与模态叠加造成的短时峰值”。Trefethen 等在 *Hydrodynamic Stability Without Eigenvalues* 中用著名案例将“无不稳定特征值但有巨大增长”推到主流视野；Schmid 的 nonmodal stability review 则把最优扰动、瞬态增长、数值横坐标和统计强迫统一到一套实用框架中。随后，Mitchell 与 Apkarian–Noll 把 Kreiss 常数从理论量变成可计算、可优化、可闭环设计的对象，进一步强化了“稳定谱不等于稳定瞬态”的控制解释。citeturn0search0turn6search2turn29view1turn29view0turn28search7

从度量角度看，**伪谱**刻画的是小扰动下特征值可漂移到何处；**Kreiss 常数**与最坏瞬态增长紧密相关；**numerical abscissa** 反映最优初始增长率；而**特征向量条件数 / 非正交性**解释了为什么极小的模态组合会造成极大的峰值。就本文主题而言，这些工具最重要的不是“更换一种稳定性定义”，而是提供了一个比特征值更接近**风险传播几何**的描述语言。citeturn29view1turn29view0turn12search1turn8view1

**Nonnormality in feedback control and robust control.** 控制侧最关键的一点是：反馈不仅会“稳定特征值”，也会重塑特征向量几何。Kautsky–Nichols–Van Dooren 与 Mehrmann–Xu 的 robust pole assignment / conditioning 文献已经表明，闭环矩阵的条件数、反馈增益大小和极点选择之间存在直接耦合；换言之，pole placement 的代价不只是“极点位置”，也是**eigenstructure conditioning**。在流体控制的闭环瞬态增长文献中，这一点被表现得更直接：Whidborne、Martinelli、Yao 等工作都把 transient energy growth 作为独立设计目标，甚至证明在某些设定下不可能通过线性状态反馈完全消除 transient growth。citeturn9search0turn8view1turn10search6turn8view0turn10search0

这意味着 robust control 与 \(H_\infty/H_2/LQG\) 并非“完全无关”，但它们主要针对的是**输入—输出增益、均方性能和最坏扰动衰减**，而不是显式最小化初值诱发的瞬态峰值。Doyle 等的标准 \(H_2/H_\infty\) 状态空间解法奠定了性能优化框架，而 Apkarian–Noll 的 Kreiss constant 优化则代表了另一条线：直接以峰值/peaking 为对象设计闭环。因此，用 \(H_2/H_\infty\) 成果来解决 nonnormal transient amplification，往往只能算**间接覆盖**，而不是显式处理。citeturn5search0turn29view0turn28search7

**Stochastic forcing, covariance amplification, and covariance control.** 这一主题是本文最坚实的理论支撑。Farrell–Ioannou 从 1993 年开始就反复展示：nonnormal stable operators 在随机强迫下能够维持巨大方差，甚至在没有模态不稳定的情况下形成持续高能态；Bamieh–Dahleh 与 Jovanović–Bamieh 把这一现象转化为输入—输出与能量放大的语言，使之能与控制中的 Gramian 和系统范数对接。换句话说，**同样大小的噪声源，是否危险，很大程度上取决于放大器几何，而不是只取决于源项本身**。citeturn32search0turn32search1turn31search6turn33search0turn33search1turn6search11

另一方面，covariance control / covariance steering 文献给出了更积极的视角：协方差不是只能事后分析，而是可以事前规划。Hotz–Skelton 的 covariance control theory 是早期起点；Chen–Georgiou–Pavon 的三篇 TAC 论文把末端分布与协方差转向正式的最优控制问题；Okamoto–Tsiotras 及 Liu–Tsiotras 的工作进一步处理 chance constraints、reachability 与 data-driven 版本。对于本文提出的 source-amplifier 视角，这些文献的重要性在于它们证明了：**状态协方差本身就是控制对象，因此从动作侧做方向加权抑制是有正当性的**。citeturn25search4turn26search7turn27search2turn25search8turn26search10turn26search13

**Koopman / EDMD / data-driven surrogate and stability certificates.** Koopman/EDMD 文献对“放大器侧”的价值不在于它们已经系统研究 nonnormality，而在于它们提供了**局部可分析的线性代理**。Korda–Mezić、Williams–Kevrekidis–Rowley、Proctor–Brunton–Kutz 把非线性系统转化为 lifted linear predictor；Narasingam–Kwon、Zinage–Bakolas 与 SafEDMD 进一步把 Lyapunov / CLF / robust control guarantees 接到这些 surrogate 上。也就是说，Koopman 路线擅长给出 \(\Phi_u\)、\(K_{\mathrm{cl}}\) 和 \(P\) 这些本文链条里最关键的中间量。citeturn14search4turn14search5turn14search2turn20search1turn20search8turn17view2

但如果问题换成“这些 surrogate 是否 nonnormal、是否会产生 transient amplification、是否会把 residual covariance 放大”，direct evidence is scarce。现有更接近的证据来自两类工作：其一，Dahdah–Forbes 明确指出高维 lifted space 中即便低维系统也会产生**unstable or ill-conditioned results**，于是用稳定性约束与 \(H_\infty\) regularization 压制 surrogate gain；其二，ResDMD/verified Koopmanism 文献表明 dictionary 选择会显著影响谱污染与 pseudospectra，说明 surrogate 的谱几何并不可靠地“自动良好”。这两类文献都支持“surrogate geometry matters”，但还没有正式闭合到“residual covariance under nonnormal surrogate”这一 RL 视角。citeturn20search3turn20search15turn19search0turn17view3

**Reinforcement learning: action variance, smooth control, residual RL, and safe RL.** RL 邻近文献可以清楚分成四簇。第一簇是**动作平滑 / 控制正则化**：CAPS 消除高频控制成分、降低能耗；control regularization 用 control prior 抑制高方差动作；smooth-control 推断类方法用 GP prior 获得更平滑轨迹。第二簇是**residual RL**：学习器只补偿 nominal controller 不能覆盖的残差。第三簇是**safe RL / safety filter / CBF**：通过投影、QP、barrier layer 或 generalized CBF 约束动作。第四簇是**benchmark / reality gap**：safe-control-gym 与 real-world RL 文献强调输入扰动、状态扰动、惯性不确定性、延迟与噪声的重要性。citeturn21search0turn39search0turn36search4turn38search0turn22search2turn22search4turn24search2turn37search0turn36search11

这些工作解决的问题并不相同。action smoothing 解决的是执行抖动、磨损和能耗；control regularization 解决的是高方差策略更新与偏离控制先验；residual RL 解决的是“用学习补足 model-based nominal control”；safe RL / CBF 则解决“如何把不安全动作投影回可行域”。**它们大都没有解释：为什么某些 residual variance 会在 nominally stable closed loop 下被几何性放大成更大的 state covariance。** 换言之，source 端文献很多，safety 端文献也很多，但 amplifier 端在 RL 里长期缺位。citeturn21search0turn39search0turn38search0turn22search2turn22search4turn24search2turn37search6

截至 2026 年 5 月，一个重要变化是出现了直接把 continuous-control RL 中的非正规瞬态放大作为中心对象的 arXiv 预印本。这说明该方向已开始从“隐含问题”向“显式问题”转变；但由于它仍是预印本，且尚未形成稳定的正式文献簇，因此若新论文聚焦于**certificate-weighted residual covariance suppression**，仍然具有明显的新颖空间。citeturn35search1turn35search9

## DOI Table

下表给出一份可直接用于 related work / introduction 的证据矩阵。共列出 50 篇文献，其中多数为期刊论文；会议、书籍与 arXiv 预印本已明确标注。

| No. | Direction | Authors | Year | Title | Venue | DOI | Key contribution | Relevance |
| --- | --------- | ------: | ---- | ----- | ----- | --- | ---------------- | --------- |
| 1 | 非正规性基础 | Trefethen, A. Trefethen, Reddy, Driscoll | 1993 | Hydrodynamic Stability Without Eigenvalues | *Science* | 10.1126/science.261.5121.578 | 经典地说明稳定特征值不能排除巨大瞬态增长。 | 直接支持“稳定谱 ≠ 无放大”。 citeturn0search0 |
| 2 | 非正规性基础 | Trefethen, Embree | 2005 | *Spectra and Pseudospectra: The Behavior of Nonnormal Matrices and Operators* | Princeton Univ. Press [书籍] | 无 DOI | 伪谱、数值横坐标、Kreiss 常数、瞬态增长的权威综述。 | 基础理论总纲。 citeturn13search1 |
| 3 | 非模态稳定性 | Schmid | 2007 | Nonmodal Stability Theory | *Annual Review of Fluid Mechanics* | 10.1146/annurev.fluid.38.050304.092139 | 系统综述最优扰动、瞬态增长、统计强迫。 | 直接支持 amplifier 侧。 citeturn6search2 |
| 4 | 瞬态增长 | Reddy, Henningson | 1993 | Energy Growth in Viscous Channel Flows | *Journal of Fluid Mechanics* | 10.1017/S0022112093003738 | 经典能量增长分析。 | 直接支持 stable-but-amplifying 机制。 citeturn31search8 |
| 5 | 瞬态增长 | Butler, Farrell | 1992 | Three-Dimensional Optimal Perturbations in Viscous Shear Flow | *Physics of Fluids A* | 10.1063/1.858386 | 最优扰动与三维放大机制。 | 非正规瞬态增长的经典来源。 citeturn31search1 |
| 6 | 随机强迫 | Farrell, Ioannou | 1993 | Stochastic Forcing of Perturbation Variance in Unbounded Shear and Deformation Flows | *Journal of the Atmospheric Sciences* | 10.1175/1520-0469(1993)050<0200:SFOPVI>2.0.CO;2 | 说明弱随机强迫可维持大方差。 | 直接支持 source-amplifier 视角。 citeturn32search0 |
| 7 | 随机强迫 | Farrell, Ioannou | 1993 | Stochastic Forcing of the Linearized Navier–Stokes Equations | *Physics of Fluids* | 10.1063/1.858894 | 小扰动在线性化稳定方程下维持大方差。 | 直接支持输入噪声到状态方差放大。 citeturn32search1 |
| 8 | 方差维持 | Farrell, Ioannou | 1994 | Variance Maintained by Stochastic Forcing of Non-Normal Dynamical Systems Associated with Linearly Stable Shear Flows | *Physical Review Letters* | 10.1103/PhysRevLett.72.1188 | PRL 级别地明确“非正规稳定系统维持大方差”。 | 强直接证据。 citeturn31search6 |
| 9 | 广义稳定性 | Farrell, Ioannou | 1996 | Generalized Stability Theory. Part I: Autonomous Operators | *Journal of the Atmospheric Sciences* | 10.1175/1520-0469(1996)053<2025:GSTPIA>2.0.CO;2 | 把瞬态增长纳入广义稳定理论。 | 支撑非模态/非正规统一观点。 citeturn34search1 |
| 10 | 广义稳定性 | Farrell, Ioannou | 1996 | Generalized Stability Theory. Part II: Nonautonomous Operators | *Journal of the Atmospheric Sciences* | 10.1175/1520-0469(1996)053<2041:GSTPIN>2.0.CO;2 | 推广到时变算子。 | 支持时变闭环 / 局部线性化分析。 citeturn34search6 |
| 11 | 随机放大 | Bamieh, Dahleh | 2001 | Energy Amplification in Channel Flows with Stochastic Excitation | *Physics of Fluids* | 10.1063/1.1398044 | 用输入—输出语言量化随机强迫下能量放大。 | 为协方差传播提供系统范数视角。 citeturn33search0 |
| 12 | 随机放大 | Jovanović, Bamieh | 2005 | Componentwise Energy Amplification in Channel Flows | *Journal of Fluid Mechanics* | 10.1017/S0022112005004295 | 分方向量化放大。 | 支持“方向性 source-weighting”思想。 citeturn33search1 |
| 13 | 随机放大 | Hwang, Cossu | 2010 | Linear Non-Normal Energy Amplification of Harmonic and Stochastic Forcing in the Turbulent Channel Flow | *Journal of Fluid Mechanics* | 10.1017/S0022112010003629 | 同时讨论谐波与随机强迫。 | 进一步支持 amplifier 几何的重要性。 citeturn6search11 |
| 14 | 伪谱与控制 | Higham, Tisseur | 2002 | More on Pseudospectra for Polynomial Eigenvalue Problems and Applications in Control Theory | *Linear Algebra and its Applications* | 10.1016/S0024-3795(01)00542-0 | 把伪谱工具显式连到控制问题。 | 连接数值线代与控制分析。 citeturn28search9 |
| 15 | Kreiss 常数 | Mitchell | 2020 | Computing the Kreiss Constant of a Matrix | *SIAM Journal on Matrix Analysis and Applications* | 10.1137/19M1275127 | Kreiss 常数的可计算算法。 | 支持将瞬态指标落地。 citeturn29view1 |
| 16 | Kreiss 优化 | Apkarian, Noll | 2020 | Optimizing the Kreiss Constant | *SIAM Journal on Control and Optimization* | 10.1137/19M1296215 | 明确提出闭环减小 Kreiss 常数以抑制瞬态。 | 直接支持 feedback design for transient reduction。 citeturn29view0 |
| 17 | Kreiss 系统范数 | Apkarian, Noll | 2025 | Minimizing Transients via the Kreiss System Norm | *Journal of the Franklin Institute* | 10.1016/j.jfranklin.2025.108208 | 以 Kreiss 系统范数直接做闭环瞬态设计。 | 很接近本文 amplifier-side optimization。 citeturn28search7 |
| 18 | 闭环条件数 | Kautsky, Nichols, Van Dooren | 1985 | Robust Pole Assignment in Linear State Feedback | *International Journal of Control* | 10.1080/0020718508961188 | 鲁棒极点配置，显式关注闭环条件数与灵敏度。 | 支持“反馈可制造/缓解非正规性”。 citeturn9search0 |
| 19 | 闭环条件数 | Mehrmann, Xu | 1998 | Choosing Poles So That the Single-Input Pole Placement Problem Is Well Conditioned | *SIAM Journal on Matrix Analysis and Applications* | 10.1137/S0895479896302382 | 说明极点选择与闭环条件数直接相关。 | 支持 eigenvector geometry 论点。 citeturn8view1 |
| 20 | \(H_2/H_\infty\) 标准结果 | Doyle, Glover, Khargonekar, Francis | 1989 | State-Space Solutions to Standard H-2 and H-infinity Control Problems | *IEEE Transactions on Automatic Control* | 10.1109/9.29425 | 经典 Riccati 框架下的性能优化。 | 说明传统鲁棒/均方性能与瞬态指标并不等价。 citeturn5search0 |
| 21 | 闭环瞬态增长 | Whidborne, McKernan, Papadakis | 2008 | Minimizing Transient Energy Growth in Plane Poiseuille Flow | *Proc. IMechE Part I* | 10.1243/09596518JSCE493 | 将最大瞬态能量增长作为控制目标。 | 显式闭环 transient design。 citeturn10search6 |
| 22 | 闭环瞬态增长 | Martinelli, Quadrio, McKernan, Whidborne | 2011 | Linear Feedback Control of Transient Energy Growth and Control Performance Limitations in Subcritical Plane Poiseuille Flow | *Physics of Fluids* | 10.1063/1.3540672 | 证明有些情形线性反馈不能消除 transient growth。 | 强直接证据。 citeturn8view0 |
| 23 | 闭环瞬态增长 | Yao, Sun, Mushtaq, Hemati | 2022 | Reducing Transient Energy Growth in a Channel Flow Using Static Output Feedback Control | *AIAA Journal* | 10.2514/1.J061345 | 用 SOF-LQR 降低最坏瞬态增长。 | 说明输出反馈也能做 amplifier-side tuning。 citeturn10search0 |
| 24 | 协方差控制 | Hotz, Skelton | 1987 | A Covariance Control Theory | *Advances in Control and Dynamic Systems* [书章] | 10.1016/B978-0-12-012726-9.50010-8 | 协方差控制早期奠基工作。 | 支持把协方差视为控制对象。 citeturn25search4 |
| 25 | 协方差 steering | Okamoto, Goldshtein, Tsiotras | 2018 | Optimal Covariance Control for Stochastic Systems Under Chance Constraints | *IEEE Control Systems Letters* | 10.1109/LCSYS.2018.2826038 | 在 chance constraints 下做 covariance control。 | 支持风险约束化。 citeturn25search8 |
| 26 | 协方差 steering | Chen, Georgiou, Pavon | 2016 | Optimal Steering of a Linear Stochastic System to a Final Probability Distribution, Part I | *IEEE Transactions on Automatic Control* | 10.1109/TAC.2015.2457784 | Schrödinger bridge / stochastic steering 的实现形式。 | 为 source 到 state covariance 提供正式最优控制框架。 citeturn27search6 |
| 27 | 协方差 steering | Chen, Georgiou, Pavon | 2016 | Optimal Steering of a Linear Stochastic System to a Final Probability Distribution, Part II | *IEEE Transactions on Automatic Control* | 10.1109/TAC.2015.2457791 | 可分离的高斯分布 steering 与稳态分布维持。 | 支持状态协方差可被显式操控。 citeturn26search7 |
| 28 | 协方差 steering | Chen, Georgiou, Pavon | 2018 | Optimal Steering of a Linear Stochastic System to a Final Probability Distribution—Part III | *IEEE Transactions on Automatic Control* | 10.1109/TAC.2018.2791362 | 加入二次状态代价的扩展。 | 支持 certificate / quadratic risk 连接。 citeturn27search2 |
| 29 | 协方差 steering | Liu, Rapakoulias, Tsiotras | 2025 | Optimal Covariance Steering for Discrete-Time Linear Stochastic Systems | *IEEE Transactions on Automatic Control* | 10.1109/TAC.2024.3472788 | 离散时间最优协方差 steering。 | 与本文离散时间公式最贴近。 citeturn26search10 |
| 30 | 协方差可达性 | Liu, Tsiotras | 2026 | Reachability and Controllability Analysis of the State Covariance for Linear Stochastic Systems | *Automatica* | 10.1016/j.automatica.2026.113036 | 分析状态协方差的可达/可控集合。 | 支持“哪些风险方向可被控制”问题。 citeturn26search13 |
| 31 | Koopman 控制 | Korda, Mezić | 2018 | Linear Predictors for Nonlinear Dynamical Systems: Koopman Operator Meets Model Predictive Control | *Automatica* | 10.1016/j.automatica.2018.03.046 | 数据驱动 lifted linear predictor for MPC。 | 给出 \(\Phi_u\)、\(K_{\mathrm{cl}}\) 的标准 surrogate 形式。 citeturn14search4 |
| 32 | EDMD | Williams, Kevrekidis, Rowley | 2015 | A Data-Driven Approximation of the Koopman Operator: Extending Dynamic Mode Decomposition | *Journal of Nonlinear Science* | 10.1007/s00332-015-9258-5 | EDMD 经典论文。 | 提供有限维 Koopman 近似基础。 citeturn14search5 |
| 33 | DMDc | Proctor, Brunton, Kutz | 2016 | Dynamic Mode Decomposition with Control | *SIAM Journal on Applied Dynamical Systems* | 10.1137/15M1013857 | 把控制输入显式并入数据驱动线性代理。 | 直接对应输入通道建模。 citeturn14search2 |
| 34 | Koopman-Lyapunov | Narasingam, Kwon | 2019 | Koopman Lyapunov-Based Model Predictive Control of Nonlinear Chemical Process Systems | *AIChE Journal* | 10.1002/aic.16743 | 用 Lyapunov 约束稳定 Koopman MPC。 | 支持 \(P\) 作为证书。 citeturn20search1 |
| 35 | Koopman 正则化 | Dahdah, Forbes | 2022 | System Norm Regularization Methods for Koopman Operator Approximation | *Proceedings of the Royal Society A* | 10.1098/rspa.2022.0162 | 指出 lifted model 可不稳定/病态，并用系统范数正则化。 | 间接支持 surrogate 可能引入不良几何。 citeturn20search15 |
| 36 | Neural Koopman + CLF | Zinage, Bakolas | 2023 | Neural Koopman Lyapunov Control | *Neurocomputing* | 10.1016/j.neucom.2023.01.029 | 同时学习 Koopman embedding 与 CLF。 | 支持 certificate-aware learning。 citeturn20search8 |
| 37 | SafEDMD | Strässer, Schaller, Worthmann, Berberich, Allgöwer | 2026 | SafEDMD: A Koopman-Based Data-Driven Controller Design Framework for Nonlinear Dynamical Systems | *Automatica* | 10.1016/j.automatica.2025.112732 | 提供误差界与闭环稳定保证。 | 很适合本文的 surrogate + certificate 叙事。 citeturn17view2 |
| 38 | Verified Koopmanism | Colbrook, Ayton, Szőke | 2023 | Residual Dynamic Mode Decomposition: Robust and Verified Koopmanism | *Journal of Fluid Mechanics* | 10.1017/jfm.2022.1052 | 计算 Koopman spectra / pseudospectra 并检测谱污染。 | 直接支持“数据驱动 surrogate 的谱几何需验证”。 citeturn19search0 |
| 39 | 动作平滑 | Mysore, El Mabsout, Mancuso, Saenko | 2021 | Regularizing Action Policies for Smooth Control with Reinforcement Learning | *ICRA* | 10.1109/ICRA48506.2021.9561138 | CAPS：抑制高频动作抖动、降低功耗。 | 直接覆盖 source 侧，但不分析 amplifier。 citeturn21search2 |
| 40 | 控制正则化 | Cheng, Verma, Orosz, Chaudhuri, Yue, Burdick | 2019 | Control Regularization for Reduced Variance Reinforcement Learning | *ICML / PMLR* | 无 DOI | 用 control prior 降低策略方差。 | 直接覆盖 source 侧；与本文最近，但仍缺 amplifier 建模。 citeturn38search6 |
| 41 | Residual RL | Johannink et al. | 2019 | Residual Reinforcement Learning for Robot Control | *ICRA* | 10.1109/ICRA.2019.8794127 | 明确采用 nominal + residual 控制结构。 | 为 \(u=u_{\mathrm{nom}}+r\) 提供直接先例。 citeturn38search7 |
| 42 | 动作噪声 | Hollenstein, Auddy, Saveriano, Renaudo, Piater | 2022 | Action Noise in Off-Policy Deep Reinforcement Learning: Impact on Exploration and Performance | *Transactions on Machine Learning Research* | 无 DOI | 系统分析 action noise 的尺度与学习表现。 | 支持把动作统计看成 “source”。 citeturn36search15 |
| 43 | Safe RL + CBF | Marvi, Kiumarsi | 2021 | Safe Reinforcement Learning: A Control Barrier Function Optimization Approach | *International Journal of Robust and Nonlinear Control* | 10.1002/rnc.5132 | 用 CBF 优化修正不安全动作。 | 直接覆盖 safety filter，但未讨论 covariance amplification。 citeturn22search2 |
| 44 | MBRL + CBF | Zhang, Li, Clark | 2021 | Model-Based Reinforcement Learning with Provable Safety Guarantees via Control Barrier Functions | *ICRA* | 10.1109/ICRA48506.2021.9561253 | 用 CBF 给出 provable safety。 | 强邻近文献；安全而非 amplifier 分析。 citeturn22search4 |
| 45 | Robust CBF RL | Emam, Notomista, Glotfelter, Kira, Egerstedt | 2025 | Safe Reinforcement Learning Using Robust Control Barrier Functions | *IEEE Robotics and Automation Letters* | 10.1109/LRA.2022.3216996 | 把安全视为可微 robust-CBF layer。 | 直接覆盖投影/过滤器负担，但未建模 nonnormal amplifier。 citeturn24search0 |
| 46 | 基准平台 | Yuan, Hall, Zhou, Brunke, Greeff, Panerati, Schoellig | 2022 | Safe-Control-Gym: A Unified Benchmark Suite for Safe Learning-Based Control and Reinforcement Learning in Robotics | *IEEE Robotics and Automation Letters* | 10.1109/LRA.2022.3196132 | 支持在输入、状态、惯性上重复注入扰动。 | 很适合做 source-amplifier 干预实验。 citeturn37search2 |
| 47 | 安全学习综述 | Brunke et al. | 2022 | Safe Learning in Robotics: From Learning-Based Control to Safe Reinforcement Learning | *Annual Review of Control, Robotics, and Autonomous Systems* | 10.1146/annurev-control-042920-020211 | 系统综述安全学习、过滤器、约束与基准。 | 说明邻近方向多，但链条未闭合。 citeturn37search6 |
| 48 | 现实世界 RL | Dulac-Arnold et al. | 2021 | Challenges of Real-World Reinforcement Learning: Definitions, Benchmarks and Analysis | *Machine Learning* | 10.1007/s10994-021-05961-4 | 强调传感/动作噪声与延迟。 | 支持 RL 中高方差的常见传统归因。 citeturn36search11 |
| 49 | Lyapunov Safe RL | Chow, Nachum, Duenez-Guzman, Ghavamzadeh | 2018 | A Lyapunov-Based Approach to Safe Reinforcement Learning | *NeurIPS* | 无 DOI | 用 Lyapunov 约束做 safe RL。 | 支持证书侧，但不拉回动作协方差。 citeturn22search3 |
| 50 | 直接相关新预印本 | Wu | 2026 | Input-Side Variance Suppression under Non-Normal Transient Amplification in Continuous-Control Reinforcement Learning | *arXiv preprint* | 10.48550/arXiv.2604.17744 | 直接把 nonnormal amplifier 与 input-side variance 连接到 continuous-control RL。 | 是最接近本文 gap 的直接证据，但尚未同行评审。 citeturn35search1 |

## Research Gap Analysis

**判断结论。** 你提出的 gap **基本成立，但需要精确定义为“正式同行评审文献中的 gap”，而不是“完全无人触及的空白”**。理由很简单：action smoothing、control regularization、residual RL、safe RL、Koopman certificate、nonnormal transient amplification、covariance steering 这几条线都已经成熟，但它们大多分别覆盖链条中的一个或两个节点；到 2026 年 4 月为止，我只检索到一篇非常直接的 arXiv 预印本把“input-side variance + non-normal amplifier + downstream covariance”同时作为中心命题。citeturn21search0turn39search0turn38search0turn17view2turn29view0turn26search10turn35search1

**支持 gap 成立的证据。** 第一，source 侧文献几乎都把问题停留在“动作更平滑 / 方差更小 / 更接近控制先验”上，而不是把 \(\Sigma_r\) 通过 \(\Phi_u\) 与 \(K_{\mathrm{cl}}\) 传播到 \(\Sigma_z\)。第二，safe RL / CBF 侧文献更关心投影后的动作是否安全、训练中是否满足约束、以及在线 safety filter 如何工作，而不是解释为何某些 residual variance 会持续触发更高的 intervention burden。第三，Koopman / EDMD 侧文献重心在 prediction、MPC、稳定性证书与误差界；它们很少显式地把 surrogate 的 nonnormality 当成执行风险放大器来讨论。第四，经典 nonnormality 文献极强，但大多不在 RL 圈层内部传播，因此 amplifier 侧知识没有自然并入现有 safe RL 叙事。citeturn21search0turn39search0turn22search2turn22search4turn24search2turn14search4turn17view2turn29view0turn6search2

**缩小 gap 的反例与边界。** 这个 gap 不能表述为“RL 从未研究过动作方差”或“从未研究过 residual + safety filter”。这些命题都会被 CAPS、control regularization、action-noise 分析、residual RL、safe-control-gym、以及 robust CBF RL 反驳。更强的反例是 2026 年那篇直接相关的 arXiv 预印本，它已经以接近你所设想的语言来讨论 non-normal transient amplification in continuous-control RL。因此，论文定位时更准确的说法应该是：**现有正式文献尚未充分把 learned residual action covariance 明确建模为 source，把 local closed-loop surrogate nonnormality 明确建模为 amplifier，并用 certificate-weighted pullback metric \(\Phi_u^\top P\Phi_u\) 做方向性抑制。** 这一定义既保留 novelty，也避开了被最新预印本一票否决的风险。citeturn36search0turn38search0turn37search0turn24search2turn35search1

**关于 \(M=\Phi_u^\top P\Phi_u\) 的独特性。** 这是你最有机会形成新贡献的部分。现有 smooth-control 或 variance-penalty 方法，本质上大多是标量、各向同性、或时间差分型正则；它们不看输入通道 \(\Phi_u\)，也不看闭环 amplifier \(K_{\mathrm{cl}}\)，更不看证书 \(P\)。而 \(M=\Phi_u^\top P\Phi_u\) 的意义在于：它把“哪个动作方向更危险”这一问题从经验调参，变成由 surrogate + certificate 联合给出的二次型。就我检索到的正式文献而言，这个 pullback metric 的明确提出和系统评估仍然缺位；因此如果实验设计扎实，这会是最强的 differentiator。这里需要明确标注：这是基于已有控制、Koopman 与安全证书文献得到的**合成性推论**。citeturn20search1turn20search8turn17view2turn39search0turn21search0turn26search10

## How to Position a New Paper

**标题建议。** 可以考虑三类标题风格。第一类偏机制：*Residual Action Covariance under Nonnormal Closed-Loop Amplification for Safe Reinforcement Learning*。第二类偏方法：*Certificate-Weighted Residual Covariance Regularization for Safe Continuous Control*。第三类偏分析+干预：*Source–Amplifier Decomposition of Execution-Time Variance in Residual Reinforcement Learning*。如果你希望强调 claim boundary，我更建议第二类，因为它把 novelty 聚焦到“certificate-weighted residual covariance penalty”而不是泛泛地宣称“解决了 safe RL variance”。这一定位与 control regularization、CAPS、Koopman-Lyapunov、SafEDMD、CBF-safe RL 的既有版图最容易区分。citeturn39search0turn21search0turn17view2turn22search2turn24search2

**摘要核心句。** 一个可操作的核心句可以写成：*We show that execution-time variance in learned residual control is governed not only by the variance of residual actions but also by transient amplification induced by locally nonnormal closed-loop dynamics; motivated by this source–amplifier decomposition, we propose a certificate-weighted residual covariance regularizer \( \Phi_u^\top P \Phi_u \) that suppresses action variance preferentially along safety-critical directions.* 这句话的优势是既继承了 nonnormal transient amplification 与 covariance propagation 的经典理论，也把你的方法限定在“residual covariance regularization”上，不会与更宏大的 safe RL literature 正面冲突。citeturn29view0turn33search1turn17view2turn38search0

**Introduction 逻辑。** 第一段写现实问题：continuous-control RL 常见动作抖动、高状态方差与安全过滤器介入；第二段写现有解释主要集中在 source 端，强调平滑、探索噪声和现实扰动；第三段引入控制理论中的 amplifier-side view，说明稳定谱不排除 transient amplification；第四段把 residual RL 改写成 \(u=u_{\mathrm{nom}}+r\)，把 lifted surrogate 写成 \(z^+=K_{\mathrm{cl}}z+\Phi_ur+w\)；第五段提出本文方法，用 \(M=\Phi_u^\top P\Phi_u\) 作为 direction-aware penalty；最后一段严格限定 claim：我们不声称全局安全或全局最优，只声称在局部 surrogate 与匹配实验设置中，source-side suppression 能降低 downstream covariance / energy / intervention。citeturn36search11turn21search0turn39search0turn6search2turn38search0turn17view2turn24search2

**Related Work 组织方式。** 最稳妥的组织不是按应用堆叠，而是按功能链条组织：(i) nonnormality and transient amplification；(ii) stochastic forcing, covariance propagation, and covariance steering；(iii) data-driven surrogates and certificates via Koopman/EDMD；(iv) RL source-side regularization and residual policies；(v) safe RL, CBF, Lyapunov methods, and safety filters。这样审稿人会一眼看出你不是把 action smoothing、safe RL、Koopman control 生硬拼接，而是在闭合一个明确的 source–amplifier–risk pipeline。citeturn29view0turn26search10turn17view2turn39search0turn24search2

**Contribution statements。** 可以压缩成四点。其一，提出 residual action covariance 的 source–amplifier 表述。其二，给出基于局部 surrogate 与证书的 direction-aware metric \(M=\Phi_u^\top P\Phi_u\)。其三，设计控制性干预实验，把 source statistics 与 amplifier geometry 解耦。其四，在 quadrotor / safe-control-gym 风格任务上，对 plain variance penalty、action-difference penalty、projection-only baseline 做匹配比较。这样写既有理论、也有算法、也有实验设计，而不是只有一个新正则项。citeturn37search0turn37search2turn39search0turn21search0

**Claim boundary。** 这里必须保守。不要声称“解决安全 RL 的方差问题”，也不要声称“发现 RL 中 nonnormality 的全部根源”。更好的边界是：在局部有效的 closed-loop linear / Koopman surrogate 下，当 residual action covariance 是主要可控 source 时，nonnormal transient amplification 是 execution-time variance 的重要决定因素之一；相应地，certificate-weighted residual covariance suppression 优于忽略方向结构的各向同性正则。这样的边界与 SafEDMD、Koopman-Lyapunov、CBF RL 的正式文献相容，也不会被“为什么不用更强安全过滤器”轻易驳倒。citeturn17view2turn20search1turn24search2

**审稿人可能质疑点与回应。** 最常见的质疑会有七类。其一，“这不就是 action smoothing 吗？” 回应应强调你的 penalty 依赖 \(\Phi_u\) 与 \(P\)，是 anisotropic downstream-risk weighting，而非仅惩罚 \(\|u_t-u_{t-1}\|\)。其二，“nonnormality 是否只是代理模型假象？” 回应应加入 ResDMD / verified computation 或局部多模型一致性检验。其三，“是否只是减小了 source，而非真正识别 amplifier？” 回应应做 matched-eigenvalue, varied-eigenvector-geometry 的干预实验。其四，“与 safety filter 有何关系？” 回应可报告 intervention count / QP correction norm 作为下游指标。其五，“证书 \(P\) 来自何处？” 回应可使用 nominal LQR Lyapunov、Koopman-Lyapunov 或 SafEDMD 证书。其六，“是否需要全局模型？” 回应应明确只主张局部分析有效。其七，“是否已有工作做过？” 回应应坦率承认 2026 年已有直接相关 arXiv 预印本，但强调你的 formal metric、实验设计或同行评审目标可能不同。citeturn19search0turn17view2turn29view0turn35search1

## Final Synthesis

**已经成熟的知识。** 现有文献已经非常清楚地表明：nonnormality 可以在 stable systems 中引发 transient growth；stochastic forcing 在 nonnormal dynamics 下可以维持大方差；Lyapunov 方程、Gramians 与 \(H_2\)-style performance 为输入协方差到状态协方差的传播提供了成熟分析工具；action smoothing 与 control regularization 能显著降低控制抖动；CBF / Lyapunov / safety filter 方法能把不安全动作及时投影回可行域。换言之，source、amplifier、state covariance、certificate 这几个节点各自都不是空白。citeturn6search2turn31search6turn33search1turn25search4turn21search0turn39search0turn22search2turn22search3turn24search2

**尚未充分解决的问题。** 真正没有被充分闭合的是：RL 中 learned residual action covariance 如何经由 \(\Phi_u\) 进入局部 surrogate；surrogate 的 nonnormality 如何在有限时间把 source 放大为更大的 downstream state covariance；为什么 scalar variance penalty 或 action-difference penalty 不能稳定地控制这些 downstream 风险；以及如何把 Lyapunov / Koopman / SafEDMD 证书拉回动作空间形成 \( \Phi_u^\top P\Phi_u \) 这样的 direction-aware metric。就正式同行评审文献而言，direct evidence is scarce；到 2026 年，这一方向才开始出现极少数直接预印本。citeturn17view2turn39search0turn21search0turn35search1

**可形成的新论文贡献。** 因而，一个有说服力的新论文可以把贡献明确落在三点：第一，提出 source–amplifier formulation for low-variance safe RL；第二，设计 certificate-weighted residual covariance penalty，把状态侧风险几何拉回动作空间；第三，做能够解耦 source statistics 与 amplifier geometry 的干预实验，并与 plain variance、action-difference、projection-only baselines 做匹配比较。若再配合 safe-control-gym / quadrotor 级别的 simulation evidence，并清楚声明“仅在局部 surrogate 与受控实验范围内成立”，这会是一个既新颖又边界清晰的定位。citeturn37search0turn37search2turn35search1turn17view2