# 评审意见逐条修改总结

日期：2026-05-29

本文档总结本轮对论文的主要修改。主文件为 `main.tex`，编译后的文件为 `main.pdf`。

## 1. 论文题目和系统类型不明确

### 评审意见

原题目没有明确说明论文针对哪一类动态系统。评审建议把范围限定清楚，例如明确为非线性系统。

### 修改方式

题目修改为：

> Certificate-Guided Residual Variance Control for Residual Learned Controllers in Nonlinear Systems

同时在摘要和引言中明确说明：本文研究的是离散时间非线性控制系统中的 residual learned controllers，并且分析对象是其 local lifted or linearized closed-loop surrogates 下的 nonnormal transient amplification。

### 修改位置

- `main.tex:43`：修改题目。
- `main.tex:52`：摘要中明确目标系统为 discrete-time nonlinear control systems。
- `main.tex:61-69`：引言从 residual learned controllers 出发，不再泛泛讨论一般控制系统。
- `main.tex:1110`：结论中再次限定为 nonlinear closed-loop systems 和 local-surrogate analysis。

### 回应逻辑

这样处理后，论文不再像是面向任意动态系统的泛化方法，而是明确定位为：非线性系统中的残差学习控制器，在局部线性化或 lifting surrogate 下分析 residual variance 的传播与抑制。

## 2. “学习控制”相关英文术语不一致

### 评审意见

评审指出“学习控制”的英文表述需要注意。这里的问题不只是把中文直译成 `learning control`，而是全文中 `learning control`、`learning-based control`、`learned controller`、`reinforcement learning` 等术语容易混用。

### 修改方式

全文术语改为按含义区分：

- `residual learned controllers`：指已经学习得到的残差控制器。
- `learning-based continuous controllers`：泛指数据驱动或学习型连续控制器。
- `residual learned control`：指本文的问题设置。
- `reinforcement learning` / `TD3 actor--critic`：只在明确讨论强化学习算法骨架时使用。

### 修改位置

- `main.tex:52`：摘要中使用 `residual learned controllers`。
- `main.tex:61`：引言中使用 `Learning-based continuous controllers`。
- `main.tex:67`：问题表述中使用 `residual learned control`。
- `main.tex:561`：算法关系中明确使用 `reinforcement learning` 和 `TD3`。

### 回应逻辑

修改后，论文不再把“学习控制”作为模糊总称，而是根据语境区分“学习得到的控制器”和“强化学习算法”。这样可以回应评审对术语规范性的疑问。

## 3. 引言和相关工作逻辑不够紧密

### 评审意见

评审认为引言几段之间逻辑不严密：开头讲噪声、约束、不正规瞬间放大和闭环控制，但论文主体主要针对不正规放大；残差控制和强化学习的文献分析不足；飞行器验证不应单独作为引言重点；相关工作六个方向太散。

### 修改方式

引言被重组为一条统一主线：

> residual action covariance -> local input channel -> nonnormal closed-loop amplifier -> state covariance / Lyapunov energy -> safety projection burden

噪声、约束和飞行器仿真现在都被解释为这个 source-amplifier-risk chain 的不同表现，而不是三个并列主题。飞行器部分被弱化为 simulation-level mechanism evidence，不再在引言中作为单独主问题展开。

相关工作也从分散的六类收束为更贴近主题的几类：

1. Nonnormal amplification and covariance propagation。
2. Residual RL and source-side action regularization。
3. Safety filters as downstream repair。
4. Local surrogates and certificate pullback metrics。
5. Positioning Summary：用表格说明前人工作、本文对照实验和本文真正要回答的问题。

### 修改位置

- `main.tex:61`：说明 residual learned controllers 的可见失败模式。
- `main.tex:67`：正式提出 source-amplifier-risk problem。
- `main.tex:69`：说明 CG-RVC 方法和证据链。
- `main.tex:84-104`：重组后的相关工作小节。
- `main.tex:114-129`：Positioning Summary 表格。

### 回应逻辑

修改后，论文的主线变成“残差动作方差如何经由非正规闭环放大器变成状态扩散和安全投影负担”。相关工作也围绕这条主线服务，不再像多个方向的松散堆叠。

## 4. 第三、四部分哪些是引用，哪些是本文推导，需要区分

### 评审意见

评审问 Section III 和 Section IV 中的结论哪些是已有结果，哪些是本文结合问题推导出来的。评审还指出引言中不希望出现公式，应该把形式化内容放到后文。

### 修改方式

引言中保留问题和贡献，不放置推导公式；正式符号、模型链和公式放到 Section III/IV。

Section IV 现在明确说明：

标准已有工具包括：

- discrete Lyapunov equations；
- stationary covariance formulas；
- stochastic Lyapunov drift bounds；
- classical nonnormal transient amplification。

本文的具体贡献是把这些工具专门组合到 residual learned controllers 上：

- 把 residual-action covariance 作为 source；
- 把 local learned closed-loop surrogate 作为 amplifier；
- 区分 residual feedback 和 residual fluctuation；
- 将 Lyapunov certificate pull back 到 residual-action space；
- 将得到的 metric 连接到 projection burden。

### 修改位置

- `main.tex:245`：说明 Section IV 的结论是 local surrogate statements。
- `main.tex:247`：明确区分 standard mathematical ingredients 和 paper-specific contribution。
- `main.tex:267`：stationary covariance solution 被标注为标准结果。
- `main.tex:382`：说明 residual-feedback 和 source-fluctuation 的解释边界。
- `main.tex:1227-1237`：附录中给出相关命题证明。

### 回应逻辑

这样修改后，读者能清楚看到：Lyapunov、covariance、nonnormal amplification 等基础数学不是本文原创；本文原创点在于把这些工具嵌入 residual learned control 的 source-amplifier-risk 建模和算法设计中。

## 5. 第五部分是核心算法，但缺少平稳性证明和分析

### 评审意见

评审指出 Section V 是算法核心，但没有看到平稳性证明和相应分析。

### 修改方式

Section V 的 actor objective 部分被加强。现在正文中包含：

- 完整的 regularized actor objective；
- P-ALE gradient component；
- Frozen-Step Smooth Actor Update assumption；
- Stationarity of the Regularized Actor Step proposition；
- 主文中的 proof sketch；
- Nominal-Return Gap of the Regularized Actor proposition；
- 附录中的完整推导。

### 修改位置

- `main.tex:590-628`：actor objective 和 P-ALE gradient。
- `main.tex:630-632`：Frozen-Step Smooth Actor Update assumption。
- `main.tex:635-647`：regularized actor step 的 stationarity proposition。
- `main.tex:649`：主文 proof sketch。
- `main.tex:651-676`：nominal-return-gap proposition 和 trade-off 解释。
- `main.tex:1290-1312`：附录中的 actor optimization proofs。

### 回应逻辑

证明的表述被控制在合理范围内：证明的是固定 critic、固定 surrogate、固定 certificate、固定 replay distribution 下的 regularized actor surrogate 的 stationarity，而不是声称完整非凸 actor--critic 训练全局收敛，也不是声称保持原始未正则化最优解。

## 6. 算法与强化学习之间的关系不清楚

### 评审意见

评审认为算法没有说明它和强化学习之间的关系，看起来不像按强化学习结构设计的方法。

### 修改方式

新增小节 `Reinforcement-Learning Backbone and Residual Interface`，明确说明 CG-RVC 是 actor--critic residual-learning wrapper，不是替代强化学习本身。

正文现在说明：

- 实验实现以 TD3 为 off-policy backbone；
- replay buffer 存储由 safe action 产生的 transition；
- twin critics 用 ordinary Bellman critic loss 训练；
- delayed actor update 保留 TD3 return term；
- CG-RVC 只是在 actor objective 中加入 certificate-weighted residual covariance penalty 和 temporal smoothness term；
- execution layer 负责 smoothing、rate limiting、safety projection 和 posterior diagnostics。

同时新增 TD3 原始论文引用。

### 修改位置

- `main.tex:559-563`：新增 RL backbone 小节。
- `main.tex:561`：明确 TD3 是 off-policy backbone。
- `main.tex:592`：说明 critic 仍按 TD3 Bellman objective 训练，CG-RVC 修改 actor side 和 execution layer。
- `main.tex:722-725`：Algorithm 1 改为 off-policy TD3 training loop。
- `tac_references_v4_1.bib:71`：新增 `fujimoto2018td3`。

### 回应逻辑

修改后，方法定位变清楚：RL 负责 temporal credit assignment 和 policy improvement；CG-RVC 负责提供 certificate-weighted source metric、certificate refresh、execution-layer shaping 和 diagnostics。

## 7. Algorithm 1 太理论化，不像计算机可实现方法

### 评审意见

在补充 RL 关系之后，Algorithm 1 仍然显得像理论流程，不像可以直接照着实现的计算机算法。

### 修改方式

Algorithm 1 被改成 implementation-level pseudocode。现在算法显式包含：

- total steps `T`；
- warm-up steps `N_0`；
- replay buffer `B`；
- batch size `N_b`；
- RL discount `gamma_RL`；
- TD3 actor-update delay `d_pi`；
- certificate refresh period `H_c`；
- actor、critics 和 target networks；
- warm-up 数据收集；
- `CertUpdate` 子程序；
- training-time residual exploration noise；
- risk-scheduled smoothing 和 rate limiting；
- safety projection；
- replay-buffer insertion；
- clipped TD3 target noise；
- Bellman target；
- twin-critic MSE update；
- delayed actor update；
- target network soft update；
- periodic certificate refresh；
- episode reset 和 residual-memory reset。

为避免算法过长被排版推到文末，证书计算被封装为 `CertUpdate`，主循环保留可实现的 TD3 训练逻辑。

### 修改位置

- `main.tex:722`：说明 Algorithm 1 是 implementation-level off-policy training loop。
- `main.tex:725`：算法标题改为 `Implementation-Level CG-RVC with TD3 Backbone`。
- `main.tex:729`：列出实现级输入变量。
- `main.tex:731-755`：给出 TD3 风格训练主循环。

### 回应逻辑

修改后的 Algorithm 1 更像 Python/PyTorch 可实现伪代码，而不是只描述理论模块。评审可以看到 replay buffer、Bellman target、critic update、actor update、target update 和 certificate refresh 的实际执行顺序。

## 编译和当前 PDF 状态

已重新编译 `main.tex` 并更新 `main.pdf`。当前 PDF 为 20 页。编译通过，没有 undefined citation 或 fatal LaTeX error；剩余警告主要是原有的 underfull box 和 font substitution warnings。

## 保留的边界声明

本轮修改没有扩大论文 claim，反而进一步明确了边界：

- 不声称 global nonlinear plant safety。
- 不声称 projected certificate model 是真实非线性闭环动力学。
- 不声称 actor-augmented lifted-amplifier diagnostic 是 contraction proof。
- Full3D quadrotor 部分仍然是 numerical mechanism-consistency evidence，不是完整 end-to-end aerial RL benchmark。
- physical-flight validation 仍然作为未来工作。

