🗒️最优化方法复习笔记
URL
type
status
date
slug
summary
tags
category
icon
password
考试范围
- 一维搜索：黄金分割（0.618) ✅ 、抛物线法 ✅
- 无约束优化方法：最速下降 ✅ 、共轭梯度 ✅ 、牛顿法 阻尼牛顿法（对初始点的要求较高） ✅
- 约束优化方法： KKT条件（一阶条件 满足一阶导数=0、二阶条件 海塞矩阵=0 ）看PPT、图解法 ✅
- 外点罚函数 ✅、乘子法（等式约束、不等式约束） ✅
- 涉及符号问题的几个公式：
- KKT点 约束小于等于0 式子相加
- 乘子法 不等式约束 大于等于0 min
- 梯度相关的公式在梯度前都要加负号 （最速下降 牛顿 共轭梯度）
1.增广拉格朗日方法（乘子法）
- 目标函数（等式约束）：
增广拉格朗日函数
更新公式
约束条件
例题：
- 一般约束条件的增广乘子（包含不等式约束）
迭代条件
例题：
2. KTT 条件/ KTT点
- 目标函数(小于等于0加号，大于等于0减号)
- 定义Lagrangian 函数
KTT条件
例题：
其中，为实数。写出Lagrangigan函数。
KKT 方程组如下：
二阶条件
3.牛顿法
1.给定初始值 和精度阈值 ，设置
2.计算梯度 和海赛矩阵
3.如果|| || < 即在此点处梯度的值接近于0，则达到极值点处，停止迭代
4.计算搜索方向 (二阶矩阵求逆矩阵的方法、负梯度)
5.计算新的迭代点
6.令k = k + 1，返回步骤2
例题
4.共轭梯度
共轭梯度法总结：
第一次沿负梯度方向搜索，根据最速下降方法，求解系数
第二次计算 共轭梯度方向
5.抛物线方法
例题：
Tips！ 每次取函数值最小的点作为 , 更新的区间必须包含这个点。
- 图解法
6.黄金分割法（单峰函数假设）
利用单峰函数假设，进行区间选择。
7.外点罚函数方法
目标函数
构造罚函数
包含等于约束、不等式约束两种情况