机械优化设计

发布时间：2023-06-06 作者：admin 来源：文学

机械优化设计

广元市中心医院-新概念英语教材

2023年2月20日发(作者：亲子节目)

机械优化设计讲义

学院：

专业：

姓名：

学号：

第一讲绪论

一、机械优化设计的基本概念

1、什么是优化设计

在机械产品设计过程中，根据问题的性质和给定的条件,在分析的基础上，综合各方面

的要求因素，从全部可行的方案中，寻找出最优方案的方法和过程。

优化设计是利用高等数学中求极(最）值理论，以计算机为计算工具，用数值分析的方

法，对机械产品设计问题求出最佳设计参数的工程方法。

“优化设计”对应的是“经验设计”.

2、优化设计的过程

A、分析设计任务的对象，提出设计思想

B、建立优化数学模型,包括选取设计变量，建立目标函数和约束方程

C、选择优化方法(自编程序或选择商品程序），上机计算

D、对计算结果进行分析

F、当结果不甚合理时，修改数学模型，返回B。

3、优化设计的局限

A、优化设计过程是人和机器合作完成的，“人”在其中起着巨大作用。

B、所谓“最优”是相对的,当设计思想、约束条件,甚至初始方案改变时，最优方案也要

改变。

C、“最优方案”是否合理、可行，还是要用经验来判断。

二、一个优化设计实例

某空心圆柱压杆，压力载荷为P，长度L，截面外径

，内径D

。变换成中径D和壁厚T；

D=（D

)/2

T=(D

-D

1）/2

设材料已经选定，即材料的弹性模量E，许用应力

【σ】，密度ρ等已确定。

设计要求:

1、强度要求:σ压

＝P/(πDT)≤【σ】

2、稳定要求:σ压

＝P/(πDT）≤)(

2TD





欧拉应力

3、结构要求：D≤K

T≥K

1，K

为定值

T≤D/2

杆的重量：W=πDTLρ

整个问题可以归结为：设计一个压杆,在满足上述5个条件的前提下,使W最小。

经验设计此问题，人工选取一对D和T，分别代入上述5个条件,都满足时即可。是否

重量最轻，材料最省，不予考虑,也不得而知.

用优化设计的语言表示上述问题：

D，T(或者D

0、D

)为设计变量，表示成：X＝（x1,x2）

W为目标函数，是设计变量的函数，表示成:W=F（x1,x2)=F（X）

5个条件叫做约束方程,或者约束条件。表示为:

(X）≤0i=1～5

一般情况下，优化设计问题表述为：

MinF（X）=……目标函数

S。Tg

(X）≤0i=1,2……m约束方程（条件）

其中：X=(x

,…x

n）设计变量

设计变量，目标函数和约束条件，是优化设计问题的三要素。

三、设计变量

设计变量是设计中的可变化参量（因素）。当有n个变量时，在欧氏空间里表示为：

X=（x1，x2，…xi,…xn

）X∈Rn

当设计变量取一组定值时，在数学上是n维空间的一个点，在工程上是一个设计方案

（在经验设计中，若能满足要求,就可能成为真实的工程设计方案）:

X(1)=（,,)1(

)1(

1xx……,xn

)1(）是n维空间的一个点，工程设计的一个方案;

X（2）=(,,)2(

)2(

1xx……，xn

)2(）n维空间的另一个点，工程设计的第二方案。

………………

X(k）=（,,)(

)(

1xxkk……，xk

)(）n维空间的第k个点，工程设计的第k个方

案。

每后一个方案都可以看成是前一个方案的改进。即：

X（2)=X(1)+ΔX

X(k)=X（k—1)+ΔX=X（k-1)+

S

其中S



是按照某种规则构造的单位矢量,即搜索方向，α是搜索步长.

四、目标函数

目标函数是设计者设定的用于评价设计方案优劣的参数，将它表示成设计变量的可计算

函数。目标函数值越小，对应的工程方案就越优；目标函数值最小，对应的工程方案就最优。

目标函数的表示要尽量简单易算,或者通过查表能够查出来。机械优化设计的过程就是求目

标函数的最小值对应的设计方案的过程。当出现极大化时，加上负号就是最小。

五、约束条件

约束条件可能很多,从数学上分类，有等式约束和不等式约束,以不等式约束为多。有些约

束可能与别的约束重复，叫多余约束，应该剔除.

等式约束是Rn内的超曲面，不等式约束是Rn内超曲面的某一侧的空间。

由满足若干不等式约束构成的空间区域，叫可行域。

等式约束的可行域是其超曲面上的某部分。

可行域内的点叫内点,是可取方案的集合;可行域之外的点叫外点，为不可取方案。

可行域边界上的点叫边界点。

最优点经常在几个约束构成的边界上，这几个约束叫起作用约束。其余的叫不起作用约束。

六、优化设计问题的完整数学模型

MinF（X）=……X∈Rn

（X)≤0u=1，2,……p

(X）=0v=1，2，……q

最优解：***

*,,,,,(

xxxxX),最优值：F（X*)

第二讲优化设计的数学基础

一、目标函数(多元函数）的偏导数与梯度

设目标函数为F(X），Χ∈nR,F（X）是n＋1维空间的超曲面；

偏导数：)(F



,)(F



,……,)(F



；

几何意义：目标函数沿各个坐标轴的变化率.

梯度:梯度是一个矢量,是由各个偏导数为元素的矢量。表示为：F（X），

F(X）＝（)(F



,)(F



，……，)(F



)T

将“”叫作梯度算子（仅是一种算法)，＝（





，



，……，



)

梯度的几何意义：目标函数在Χ点的数值上升最快的方向;而－▽F（X）为目标函数值

下降最快的方向（注：此处上升和下降最快是局部最快，不是全局）。

梯度的模：

ＸＦ＝222)()()(

21n





将梯度的每个元素都除以其模,构成的矢量是梯度方向的单位矢量。

二、方向与方向导数

在nR内表示一个方向用指向该方向的单位矢量S，T

Scos,cos,cos

；

为

方向S与坐标轴

之间的夹角。其中:

cosni,2,1叫方向余弦。显然：

1coscoscos2

2

S

方向导数是目标函数XF

沿方向S的变化率,



coscoscos

















方向导数





是一个标量（数量）,引进矢量分析中的点积的概念,方向导数为梯度

XF

与方向S的点积:



SXF





SFXF

,coscos











方向导数的值不仅随所取点X变化，而且随在点X不同的方向S而变化，当角

0,SF时（F与S重合时）方向导数最大，且：



XF





所以说梯度方向是目标函数增加（上升)最快的方向.当0,cosSF时,角90,SF,

(S与F垂直时)，



0



,即S在目标函数的等值面（线）上。

三、海赛矩阵XH（Hessian）

海赛矩阵XH是由目标函数XF的二阶偏导数组成的nn矩阵：











































nnn







如果将梯度XF理解成目标函数的一阶“导数”,则海赛矩阵XH就是目标函数的二

阶“导数”。

因此：XFXFXH2，若:



ji

ijji













,，则海赛矩阵是一个对

称矩阵（nn阶）。

主子式:从海赛矩阵的左上角开始，分别取其11个，22个，33个……nn个元素

构成的行列式，叫海赛矩阵的主子式。

一阶主子式：









;

二阶主子式:











；

按照行列式的计算法则，可以计算海赛矩阵各阶主子式的值。若各阶主子式恒大于

0，则称XH正定；各阶主子式负、正相间，则称XH负定;各阶主子式正、负不定，

则称XH不定。

四、目标函数的二阶泰勒展开

一元函数xf

在

xx点泰勒展开式为：









2

0002

xxfxxfxfxf

其中：

xxx

泰勒展开可以理解为在函数xf的某点

x附近，用一简单的多项式去逼近（或者代替)

复杂的函数xf。只要所取的多项式的次数足够大，就能使二者的误差足够小，条件是xf

在

x附近连续且多阶可导.

对于多元函数XF，nRX，也可以在点

X处展开成泰勒多项式.只要将一元函数泰

勒展开中的



换成

XF，



换成

XH,一般二阶展开式（中间的“·”为矢量

或矩阵乘）：

XXHXXXFXFXFT

00002

其中，

XXX，为n维矢量，XXHXT

为二次型函数。

五、无约束目标函数极值存在的条件

先看一元函数xf的极值存在情况.xf在

xx点取得极值：

必要条件：

0





xf即

x是驻点。

充分条件：

























不是极值点

是极大值点

是极小值点

xxf

此条件可以推展到多元函数：XF在

XX处取得极值：

必要条件：

,0

XF即：















，（

X也叫驻点）

充分条件:













不是极值点，不定

为极大值点，负定

为极小值点，正定

XXH

特别提醒①此处的“极值”与“优化”所需要的最大或最小值并不是一回事，“极值”

是局部的，“最值"是全局的；

②此判定仅具有理论意义，复杂的目标函数海赛矩阵及其正负定判断极其困

难.

第三讲约束优化极值条件

寻优过程的基本思路一维寻优方法

一、约束优化问题的极值条件

1．起作用约束:

设最优点X*，约束函数集为：

0)(Xg

u，

),2,1(pu

，

X＊使约束函数变成等式的约束叫

起作用约束。

几何意义：X*在

()0

gX

中某几

个的边界上。如右图所示，其中:X0是

无约束极值点；X*是约束极值点；

(),()gXgX

是起作用约束；xg

不起

作用约束。

2．库恩——塔克定律(K—T条件）

如果最优点X*在可行域内(所有约束均为不起作用约束）,则约束最优点与无约束最优点

重合;如果最优点在可行域的边界上，有起

作用约束，最优点与目标函数和起作用约

束都有关。

A.只有一个起作用约束的情况目标函数

的负梯度方向

F(X*)

与约束函数

g(X*)

的梯度方向重合，即:

-F(X*)=g(X*),0

几何意义：约束函数与目标函数的某等值

线（面）相切。

B．两个起作用约束条件

目标函数的负梯度

-F(X*)

是各起作用约束的梯度的线性组合（加权合成）。

112212

-F(X*)=g(X*)+g(X*)0，，

几何意义：

-F(X*)

“夹"在各

g(X*)

之间。

C．i个起作用约束

1u12

u=1

-F(X*)=g(X*),,......,0

，

几何意义;同上。

D．K—T条件的应用

K—T条件的意义不是求最优值,而是用来检验最优

值。检验方法如下：

设X*是F(X*)的可能最优值

1．求出-F(X*)；

2．求出起作用约束集，将X*代入

g(X)中，有i个约束函数值

g(X)0的为起作用约束(至

少有一个）；

3．求出

g(X*),1,2,......,uI

4．检查:若

u=1

-F(X*)=g(X*)

，其中

0，至少有一个

﹥0，则X*是最优点，否则

不是。（具体检查方法是解方程组，求出λ

的具体值。）

二、寻优过程的基本思路—-数值解法,逐步逼近

若(k)X是()FX可行域内的一个点，在(k)X点构造能使()FX下降的方向(k)S，用一维搜

索法找到在(k)S方向上()FX最小的驻点(k+1)X，有(k+1)(k)(k)XXS

，在(k+1)X点重复上述步

骤，经过若干次迭代，即可得到最优解。有人把这种方法叫做瞎子爬山法。

涉及四个问题：

1．必须找出()FX的可行域及可行域内至少一个初始点；

2．如何构建能使()FX下降的方向(k)S：构建(k)S的不同方法，就形成了不同的寻优方法.如

最速下降法(用-F(X)作方向）,坐标变换法(用各坐标轴方向作S），牛顿法（改进的梯度

１

２

３

４

Ｌ

Ｌ＋１

０ｈｈｈｈｈ

２

４

８

１

６

ｋ

搜索区间

法）……

3．如何确定寻优步长

：已知(k)X和(k)S后，就点(k+1)(k)(k)XXS

代入目标函数

()FX

，

则

()FX

变成

的一元函数，可用解析法求能使

()FX

在此方向的极值点。实际上都是数值

法(如0.618法)求

；

4．如何结束寻优过程？

一般有三个条件:

A．(k+1)(k)

XX

B．

(k+1)(k)

(k)

(X)(X)

(X)







C．k

F(X)

工程中一般只用前两个，第三个由于要求梯度而不常用.若设计变量只有两个,即

(,)Xxx，

（或者不大于三个)，可以用网络法（或大海捞针法)求出最小值；如转向梯形的问题可以在

其可行域的上、下、左、右边界上划分网格，分别计算并比较()FX值。

三、一维搜索法

设已知(k)X和(k)S后，构建新点(k+1)(k)(k)XXS

代入目标函数)()()(k

kSXF，是步长



的一元函数，即(k)(k)(XS)()

FF,求出使()

F最小的步长

的过程叫一维搜索法。

1、一维搜索之前先要确定搜索区间，即找出一个包含

,使()

F最小的区间。方法是进退

法。

１234

１

从0开始，选定一个前进单位h,分别计算

0,,2,4,.......2nhhhh个点的目标函数值

，…F

L+1

，直到出现目标函数值“高—低—高”的三个点，如上图：

lll

FFFF



，

故搜索区间取为:（7,31hh）为搜索区间。

2．黄金分割法(0.618法）

黄金分割法是每次通过计算目标函数值，通过比较，舍弃一部分区间,区间小到一定程度时，

即为



具体方法：在已知的搜索区间（

,)内，另找两点

,,其中：

3141

()0.618()

2141

()0.382()

求出

1234

(),(),(),()FFFF,比较

()F与

()F的大小，谁大舍弃谁外侧的区间。

i．若

(),()FF,舍弃

(,)区间

ii．若

(),()FF，舍弃

(,)区间

iii．若

(),()FF,舍弃两边区间。

舍弃一个区间后，补充一个点,重复上述步骤，直到

1kk





为止,从其中任取一点即可

作为最优点.

第四讲习题课

一、建立优化设计的数学模型

二、求目标函数的梯度及给定方向的方向导数

三、求目标函数的海赛矩阵及其逆

四、求目标函数在给定点的泰勒展开式

五、用K-T条件验证某点为约束最值点

六、用黄金分割法一维搜索求极值

第五讲无约束问题的优化方法（一）

最速下降法牛顿法改进牛顿法

无约束优化问题:ＭinF（X），XnR

设F（X）至少二阶可导,即存在:

()(,,...,)

...

()::

...

FFF

xxx

















一、梯度法—-最速下降法

基本思路:每次以点的负梯度方向为搜索方向，即：

()()()kkSFX,或

()

||()||







，

(1)()()kkk

XXS.

因为负梯度方向是函数值在该点下降最快的方向，所以此法又叫最速下降法。这里“最

速”只是在点这一局部最速，在整体上并不一定最速.实践中表明，此法在寻优初期效果不

错，往后越来越慢。此外，需要反复求梯度，实际的工程问题常不能满足。所以用得不广泛。

但其基本思想正确，对寻求其它方法有启发作用。梯度法寻优的步骤框图见陈立周第二版

69页。

例：Min22

121212

()60104FXxxxxxx

解:1212

2121

102102

()

4242

xxxx













第一轮：取(0)









,(0)

()









(1)(0)











代入F(X)，得：2

111

()7611660F

求步长α可以用黄金分割法。但此处为2次函数，可以直接写出来：

763.0

762

116







(1)

7.63

3.05









（至此，应该检验X（1)是否为最优值。由于它显然不是，省略.）

第二轮：

(1)

3.0527.63102.21

()

7.6323.0545.53













(2)(1)

7.632.21

2.21

3.055.53

5.53















代入F（X）,得：

2222

(2)

()47.730.515.7,0.32

6.92

4.82











（至此，也应该检验X（2)是否为最优值。由于它显然不是,检验省略。）

如此继续下去，经若干步以后,可得最优点







。

二、牛顿法

牛顿法是为了改善梯度法收敛越来越慢的缺点而改善搜索方法。其基本思路是用F(X)

在()kX处的泰勒展开式()X代替F（X)，用()X的极值*X去逼近F（X)的极值,取

(1)kX=*X，开始下一轮寻优。

F(X)在X(k)点的泰勒展开式为:

F（X）()X=()()()()()()

()()()()()()

kkTkkTkkFXFXXXXXHXXX

此二次函数取得极值的必要条件是展开函数的梯度等于0（驻点）:

()0X

即:()()()()()()()0kkkXFXHXXX

解此方程,得：

*()()()()()kkkXXHXFX





其中：1

()()kHX



是海赛矩阵的逆矩阵。

取:(1)kX=*X=1

()()()()()kkkXHXFX





作为下一轮寻优的起点。(注意：这里是减

号！)

将上式与寻优迭代的一般形式)()()()1(kkkkSXX相比,牛顿法的本质，是以负

梯度方向为搜索方向、以海赛矩阵的逆为步长的搜索方法。

优点:不需要一维搜索，对真正的二次函数一步到达最优点。

缺点:要求海赛矩阵及其逆.

例:Min22

121212

()60104FXxxxxxx

解：仍取(0)









为初始点，因F（X）是二次函数，其泰勒展开式()X与F(X)完全相同，

只需求其()FX和H（X),1()HX就行了.

如前：(0)

()









2222

112212

(0)

2,1,2

()

FFFF

xxxxxx



















*(0)

(0)

*(0)(0)(0)

()1

()

021108

()()

01246

XXHXFX























这就是最优值，**XX,因是二次函数，所以一步到达*X。

(0)()HX是(0)()HX的行列式。*(0)()HX是(0)()HX的伴随矩阵。伴随矩阵的各元素是

原矩阵中各对应元素乘以其代数余子式,再经转置而来.代数余子式是去掉该元素所在行和

列，剩下的元素组成的行列式，其符号是(1)ij，转置是

jiji

aa。

三、改进牛顿法

上述牛顿法可以认为是搜索方向为1

()()()()()kkkSHXFX





且1

的迭代.当遇到

F(X)非线性严重时，不一定收敛。此外牛顿法对初始点的要求较严,因此有人对牛顿法作了

修正。

取1

()()()()()kkkSHXFX





作搜索方向。但

不假定为1，而是由一维搜索决定，

即：

(1)()()()()()kkkk

XXHXFX







这种方法叫改进牛顿法，或者修正牛顿法。它保持了牛顿法收敛快的特点,对起始点放

宽了要求.对目标函数二阶可导，海赛矩阵可逆的寻优问题非常有效。但这样的优化问题在

工程中极少出现。但其思想具有重要的理论意义。后人在此基础上发明了变尺度法(也叫DFP

法)。变尺度法的基本思路是构造一个()kA代替改进牛顿法中的1

()()kHX



。(0)A取单位矩阵。

()kA的构造虽不需要求()()kHX及其逆了，但构造方法仍很繁，见陈立周的第二版77页，本

课忽略。

第六讲无约束问题的优化方法(二）

坐标轮换法,共轭方向法

一、坐标轮换法的基本思路

将1个多维的无约束优化问题转变成一系列

一维优化问题来求解。

基本做法：

在n个变量中，保持其中n—1个变量不变，

选择变量x

作为搜索方向。一维搜索得到最优

点)1(

x，再沿x

方向一维搜索，得到最优点

)1(

x，……,再沿x

方向搜索,得到最优点)1(

x。至

此即完成了第一轮的搜索。如果未达到最优条

件，将前一轮的终点作为新的起点，再进行第二

轮沿各个变量的一维搜索，分别得到)2(

)2(

,,xxx，……，)2(

x.如此继续下去，直到最优。

坐标轮换法增加了“轮”的概念，每一轮里包含n次一维搜索，每次的搜索方向是：

eS)0,,1,0,0()(i=1,2，……，n

每次搜索后得到新点:)()()(

)(k

SXX



i=1,2,……，n

其余方法均与前述方法相同。

二、共轭方向的概念

共轭是正交概念推广。设

S是3R内的两方向（矢量）

若

0TSS,则

S是垂直的，即正交的。在三维空间内正交与垂直是相同的。

此式也可写成

0TSIS

。I：单位矩阵

当

,nSSR时,若

0TSIS。则称

S在n维空间内正交。

但这样正交的方向不止两个，若存在一组方向：

,......n

SSSR

，若

0TSIS

，

0TSIS

，……..

SIS





……。.

即：0,T

SISij，则这组方向

,......

SSS都是正交的。

X（0）

n维空间内的一组正交方向有而且只有n个。

共轭方向的意义：设矩阵A是nn阶对称正定矩阵，另有一组n个方向

,......n

SSSR

若存在0,T

SASij，则称方向组

,......

SSS是关于矩阵A共轭的。

这是矩阵A的“对称”，“正定”两个条件是必不可少的。在2维空间内，A为22对

称正定矩阵,关于A的共轭方向(矢量)每组含两个.

例:设









,方向









，











关于A共轭：



6220

30300

23614

TSAS













此外：











关于A也是共轭的；



6266

03690

2344

TSAS













可见：关于一个对称正定矩阵，存在不止一组（实际有无数组）共轭方向（矢量)。

如何理解共轭方向的几何意义？

12122

0,TSASSASAS是对

S做线性变换。因此共轭可以理解为：

S经过

线性变换后与

S正交，则二者关于线性变换矩阵共轭。

三．共轭梯度法

共轭梯度法是为了解决最速下降法(梯度法)在接近极值点时收敛太慢而提出的。因为目

标函数在接近极值点附近,变化很平坦，()FX太小，所以进步也很缓慢。但在接近极值附

近时,目标函数()FX在极值点的泰勒展开)(X是()FX的很好近似，而对)(X的最佳搜索

的方向是牛顿方向：()1()()()()kkkSHXFX

用此方向()kS搜索)(X的极值可以一步到达极点。但求目标函数的逆也不是很容易的

事情。能否用较为简单的办法求出此()kS，或者构造一个与()kS及其接近的方向来,能达到求

泰勒展开函数的极值一步到位的效果。可以证明，用本次寻优的负梯度方向)()(kXF与

上次寻优方向(1)kS的线性组合而构成的()kS与牛顿方向非常接近。

即：()()(1)(1)()kkkkSFXS

或者:)()()1()1()(kkKKSXFS

其中系数：

(1)

()









共轭的证明省略。与)()1(kkSS

此即共轭梯度法的寻优方向的构造方法。

用共轭梯度法寻优时，取第一次的搜索方向为：

(0)(0)()SFX

第二次以及以后,用上述公式构造()kS。

例：Min22(0)

121212

()10460,

FXxxxxxxX









，

（见陈立国教材第二版72页,刘维信教材第一版84页。注：陈立国教材33页倒数第6

行多一个“－”号,倒数第5行的根号和平方可以约去.(1)也可以用0。618法求出来。）

由例可见，共轭梯度法每次都要用梯度方向和梯度的模来构造新方向(1)kS.

四．共轭方向法

以二维目标函数寻优，来说明共轭方向法

的思路。

设从

(0)







出发，首先沿坐标轴1

搜索，

（即搜索方向为

(1)









，上标表示第一轮，

下标表示第一个坐标轴方向)。得优点

(1)

；

在

(1)

点沿第二坐标轴2

搜索（即取

(1)









）,

得到优点

(1)

.至此完成了第一轮的坐标轮换

法的搜索。然后构造出一个新的搜索方向：

(1)(1)(0)

SXX

，沿此方向做第2+1=3次的

搜索,得到新优点

(2)

作为第二轮寻优的起点。

这第2+1次的搜索是为下一轮（第二轮）的搜索打基础的，即提供起点的。第二轮的搜

索方向是第一轮的搜索方向丢弃第一个

(1)







，但取用第一轮的第2个和第3个方向,即

取

(2)(1)









,和

(2)(1)(1)(0)

SSXX

.从

(2)

出发沿

(2)

搜索得到

(2)

点，从

(2)

出发

沿

(2)

搜索得

(2)

点。然后再构造一个新方向

(2)(2)(2)

SXX

，即第二轮搜索的首尾点相连

方向作为第二轮的第2+1次搜索,即可得到一个新点

(3)

，作为第三轮搜索的起点。

由此可以看到,共轭方向法搜索时，存在“轮”的概念,每轮包含2+1次一维搜索，下轮

的2+1次搜索方向是上轮的后n个方向，再加一个本轮首尾点相连方向。

第一轮搜索的方向:

(1)(1)(1)(1)(1)

1220

SSSXX









第二轮搜索的方向：

(2)(1)(2)(1)(2)(2)(2)

12220

,,SSSSSXX

第三轮搜索的方向：

(3)(3)(3)(3)(3)

1220

....,....,SSSXX

注意：这里的共轭方向只有

(1)(2)(3)(4),,,......SSSS

是共轭的。n维寻优问题方法与工作

的相同，不再赘述.

例题：Min22(0)

121212

()10460,

FXxxxxxxX









略。

第七讲无约束问题优化方法(三)

Powell法DFP变尺度法

一、Powell法（改进的共轭方向法）

1、共轭方向法的缺陷

第k轮的共轭方向：)(

)()()(

,,,,,k

kSSSSS



，）（，其中,)(

)(k

XXS



）（.

第k+1轮去掉第一个方向）（k

S，剩下的n个方向可能线性相关,引起实际上少了一维，导

致收敛不到真正的最优点*X上。

2、Powell法提出的改进

在完成一轮的寻优后，不一定去掉）（k

S，而是有选择的去掉一个,确保剩下的n个方向线

性无关。判定条件如下:

第k轮寻优的方向:)(

)()()(

,,,,,k

kSSSSS



，）（，其中，)(

)(k

XXS



）（;

第k轮寻优得到的点:）（）（）（）（）（k

,,,,),(

nn

XXXXX;

计算3个点的目标函数：)2()()()(

)(

kXXFFXFFXFF，，。其中，点

)2()(

)(kk

XX叫做反射点；

若存在:

FF,且：2

21321

)(

))(2(FFFFFFF



其中，)()()()(

mmaxk

XFXF





(即相邻寻优中目标函数下降最大的一个）

则，第k+1轮寻优去掉

对应的方向）（k

S。

保留:)(

)(

kSSSSS



，，，，，，）（为第k+1轮的搜索方向。

3、Powell法的寻优步骤

与共轭方向法基本相同,只增加了在每一轮(或每一次)寻优搜索后计算目标函数值

FXF)()(，以及与上次目标函数的差,并在一轮的目标函数中找出下降最大的第m次及对

应的方向S）（k

，并舍弃。

例题:用Powell法求函数

121

41060)(xxxxxxxf

的最优点TXXX],[*

*。计算精度要求0001.0

。

解：取初始点

60)(,]0,0[)0(

)0()1(

XFFXXT.

1k时，第一轮迭代的搜索方向取两个坐标的单位向量















)1(

eS，















)1(

从)1(

X出发，先从)1(

S方向进行一维最优搜索，由第三讲所学知识可得5)1(

，由此得最优点：











































)1(

同理,沿)1(

S方向进行一维搜索可得5.4)1(

,从而得最优点：











































5.4

)1(

计算第1n个方向











































5.4

)1(

XXS

计算)1(

S方向上的反射点)1(

X：















2)1(

)1(

XXX

计算相邻二点函数值的下降量：

75.14)(,35)(,60)()1(

)1(

XFXFXF

25.20)()(25)()()1(

)1(

XFXFXFXF，



)1(

)1()1(

)1(

)1(25,maxeSS

，对应的方向：

检验判别条件

15)(75.14)(60)()1(

)1(

XFFXFFXFF，，

)6015(,

FF

)5.253128.18657(,)(5.0))(2(2

)1(2)1(

21321

FFFFFFF

成立，故应以方向)1(

S代替)1(

S，并求)1(

S方向上的极小点。同上，可求得

4945.01

）（











































7253.6

4725.7

5.4

4945.0

5.4

)1(

SXX

至此，完成第一轮的第1n次搜索。

2k时，

……

二、DFP变尺度法

1、变尺度法的基本思路

DFP变尺度法又叫改进的牛顿法或改进的拟牛顿法.

牛顿法和拟牛顿法的搜索方向：)()()(

)()(kkkXFXHS,即要求Hessian矩阵及其

逆，又要求梯度，很繁。DFP变尺度法是设法构造一个对称正定矩阵)(kH来代替1

)()(

kXH，

并在迭代过程中逐渐逼近1

)()(

kXH，使搜索在接近极值点附近时收敛速度加速。

2、近似矩阵的构造方法

)()()(

)()()()(

)()(

)()1(

][

kkTk

kTkkk

kTk

Tkk

gHg

HggH









其中，)()()(kkXFg。

注:这里的)(kH不是海塞矩阵，而是构造的矩阵。详细推导过程参考陈立周主编的《机械优化设计方法》

第二版76—77页。

3、变尺度法的步骤

(1）选取初始点)0(X，确定计算精度要求。

（2)令,,0)0(IHk计算)()0(XF和拟牛顿方向

)()0()0()(XFHSk

（3)进行一维搜索求)(k使)(min)()()(kkkSXF，得

)()()()1(kkkkSXX

(4)检验精度,计算

)()1(kXF

,若

)()1(kXF,则停止,其最小点为)1(*kXX。

若否，则进行下一步。

（5)检查迭代次数，若nk，则重置，从负梯度方向开始,并取)1()0(kXX.否则进行下一

步。

(6)构造新的拟牛顿方向

)()1()1()1(kkkXFHS

而)()()1(kkkEHH

)()()(

)()()()(

)()(

)(

][

kkTk

kTkkk

kTk

Tkk

gHg

HggH









令1Kk，转向（3)。

4、变尺度法的优缺点

(1）DFP变尺度法不需要求海塞矩阵及其逆阵,但需利用一阶导数信息。由于DFP法

开始时是梯度法，所以从任一初始点通过梯度方向找到一个比较好的迭代点,这位以后的逐

次迭代创造了有利的条件。

（2）DFP法的收敛速度介于梯度法和牛顿法之间。大量计算实践证明，DFP方法是目

前无约束优化方法中一种比较有效的算法。

(3）计算实践表明，一维搜索的精度对收敛速度影响不大.但如果精度太低，也有可能

会使计算失效，因此对一维搜索的精度要求一般不低于终止计算的精度。

第八讲习题课(二)

一．已知目标函数：

221

42)(xxxxxxXF

用最速下降法优化第一轮，用牛顿法优化第二轮,用改进牛顿法求出最优值.

二．已知目标函数：

211

242)(xxxxxXF

用坐标轮换法优化第一轮；构造出一组共轭方向，优化第二轮，再用Powell法优化第三轮。

三．已知目标函数：

211

242)(xxxxxXF

用共轭梯度法和DFP变尺度法各优化一轮。

第九讲约束优化问题的直接解法

约束优化问题分为直接解法和间接解法两类。直接解法是首先在Rn空间内找到满足不

等式约束的可行域，每次搜索都在可行域内进行,直到找到最优解和最优值.间接式解法是将

约束优化问题转变成一系列的无约束优化问题来解。直接解法主要有随机方向搜索法、复合

形法、可行方向法、梯度投影法等；间接解法主要有拉格朗日乘子法和惩罚函数法。

本课只讲复合形法和拉格朗日乘子法，以及惩罚函数法。

一、约束优化问题的直接解法

对约束问题：Min)(XFnRX

S。T0)(Xg

pu,,2,1

0)(Xh

qv,,2,1

＜n

此模型虽为n维约束问题中，但含有q个等式约束。如果这些等式约束都是线性无关

的，将它们带入到目标函数,则该问题的实际维数是n—q。既消除了等式约束，又降低了优

化维数.因此约束优化问题一般只研究不等式约束即可。

直接解法的每一步求解过程都是在可行域内进行，其基本思路与无约束优化基本相同。

所不同的有如下几个关键问题:

A.首先要找到(或者建立）可行域D，对于维数较高时，较为困难;

B.所选的初始点)0(X及每次的寻优点)1(kX必须在可行域内（每次都要验证).

C.每次构造的搜索方向)(kS必须是可行方向(即沿此方向搜索，目标函数值一定下降

的方向），且要验证.

D.一维搜索得到的步长)(k也必须是可行步长（没有超出可行域），才能保证搜索到

的新点)1(kX也在可行域内。

E.如果可行域D不是凸集，寻优的结果可能与起始点的选择有关。因此要选择不同

的起始点多优化几次。

二、复合形法

复合形，就是在n维空间内由m个顶点构成的不规则多面体,其中nmn21,其本质

是在可行域D内的一个子域。

2.1复合形法的基本思路

复合形法也与其他方法一样，关键是确定搜索方向和搜索步长。其搜索方向是根据复

合形的各个顶点的目标函数值的大小关系、利用统计规律（函数值下降的概率大）来确定的。

搜索步长也是经验选取的，不一定使用一维搜索。

以2维问题为例：建立可行域后，在其内找3点（或者4点),建立一个三角形(或者四边

形)，即复合形。分别求出各顶点的目标函数值，按照函数值大小分出最坏点X(H)（函数值

最大点）、次坏点X(C)（函数值次大点），和最好点X(L)（函数值最小点）。然后求出除最坏点

外其余各点的几何中心X（S),取最坏点X（H）与几何中心X(S)的连线X（S-X（H）为搜索方向S（k）,

沿S（k)搜索得到一个更好的点X(R）（叫映射点）,用X(R）代替X（H)组成新的复合形，进行下

一轮寻优。显然，X(R)必须满足如下两个条件：1.F(X(R))＜F(X（H))，2.X(R）也在可行域内。

如此循环，直至找到最优点X（*).

2.2复合形法直接寻优的步骤

(1）分析约束方程，建立可行域；

（2)在可行域内选择m个顶点（nmn21），组成复合形；

（3)计算各个顶点的目标函数值，按照大小排队，选出最坏点X（H）、次坏点X（C）、和

最好点X（L）；

(4）计算除最坏点外的m-1个顶点的几何中心点X（S),并验证其是否在可行域内，









)()(

jSX

Xmj,,2,1；但Hj

（5）若X（S）在可行域内，构建搜索方向S（k）=X(S-X(H），求映射点：

)()()()()(HSSRXXXX.

可以用一维搜索求出，也可以用经验给出。例如取3.1

，若越出可行域,将其减半；

还不行，继续减半，直至映射点X(R)在可行域内为止.

若几何中心点X（S)不在可行域内，说明可行域为非凸集，返回(2)，重新组建复合形;

(6）计算映射点的目标函数值F（X（R）），并与最坏值F（X（H))比较.若F（X(R)）＜F(X

（H）），用映射点代替最坏点，组成新的复合形，完成一次迭代。

若F(X（R))≥F（X(H)）,将减半后再计算映射点X(R)及其对应的目标函数值F（X（R）),

若既满足X(R)为可行点（在可行域），又满足F（X（R））＜F(X（H）），用映射点代替最坏点,

组成新的复合形，完成一次迭代。否则，继续将再减半，……。

（7)每完成一次迭代，要检验终止条件。反复迭代若干次后，复合形越来越小，逐渐向

最优点逼近。检验方法是：所有顶点的目标函数值与各顶点几何中心点的目标函数值的差平

方和小于设定值即结束,即复合形的“体积"小于设定值。



























cjXFXF

其中:F（X（j））是复合形各顶点的目标函数值，F（X(c)）是顶点的几何中心目标函

数值.





jcX

由上面的步骤可以看出，复合形法最突出的优点是不需要求导，仅仅计算映射点及其

目标函数值即可。只要反复迭代，复合形就会逐渐“收缩"到最优点，其缺点是:当可行域为

非凸集时，会出现映射点越出可行域，或者映射点的目标函数值大于最坏点.遇到这两种情

况,几乎前功尽弃,都要重新组成新的复合形，从头再来。

例题：用复合形法求解汽车转向梯形的优化设计方案。

解法：刘惟信机械最优化设计第一版P123;

陈立周机械优化设计方法第二版P95

第十讲约束最优化问题的间接解法(1）

一、约束优化的基本方法

约束优化分为间接解法和直接解法两种基本方法。直接解法的基本思路是:通过对p个

不等式约束进行分析,找出其可行域D。在可行域内找一起始点和可行方向，采用无约束方

法进行寻优。其基本方法有随机方向搜索法、复合形法、可行方向法等。间接解法的基本思

路是：将一个有约束的问题直接转化成一个或一系列无约束问题来求解.即构造一个新的目

标函数，该新目标函数包含原目标函数和全部的不等式及等式约束，从而消除了约束。对新

目标函数寻优，即可得到原目标函数。常用的方法有：拉格朗日乘子法、惩罚函数法（包括

内点惩罚函数法和外点惩罚函数法）.

直接解法只适用于不等式约束问题,间接解法适用于等式和不等式约束问题。

二、拉格朗日乘子法——（间接解法之一)

1、只有等式约束的优化问题的拉格朗日乘子法

约束优化:Min)(XFnRX

s。t：0)(Xh

，qv,2,1

构造一个拉格朗日函数作为新目标函数，包含目标函数和约束函数：

Min)()(),(

XhXFXL

v



式中：),,(

,21q

，叫拉格朗日乘子.

拉格朗日函数中包含n个设计变量x

和q个待定系数λi

，共（n+q）个未知变量.它存

在极值的条件为：

0



ni,,2,1

0





qv,,2,1

解此方程，可得：**

*,,,

xxxX

,**

*,,



,其中*X极为原目

标函数在约束条件下的最优解。λ*的各项值可为正，亦可为负。

为便于在计算机上直接寻优，拉格朗日函数常常改变为:

Min2

)(











































求函数Z的极小值，也就是原等式约束的目标函数的最优解。

2、只有不等式约束的优化问题的拉格朗日乘子法

约束优化：Min)(XFnRX

s。t：0)(Xg

,pu,2,1

构造一个拉格朗日函数作为新目标函数：

Min







uuu

XgXFXL

2)()(),(

意义同上,

叫松弛变量。引入松弛变量是为了让各个非负项2

与总小于0的约束

项)(Xg

相加后变成等式约束。上式存在极值点的条件是:

0



ni,,2,1

0





pu,,2,1

02







pu,,2,1

解上述联立方程式，得到X*极为原不等式约束问题的最优解。

同样，由于解多个偏导数组成的方程组比较麻烦，在使用计算机寻优时，常将拉格朗日

函数变换为：

2

2)()()(













































LLL

Z



求Z的无约束最优值，即为原目标函数的最优值.

3、既有等式又有不等式约束的拉格朗日乘子法

约束优化：Min)(XFnRX

s.t:0)(Xg

pu,2,1

0)(Xh

qv,2,1

构造拉格朗日函数：

Min







uuuv

XgXhXFXL

)()()(),,(

此拉格朗日函数取得极值的条件依然是其对三组变量的偏导数为零：

0



ni,,2,1

0





qv,,2,1

0





pqqqu,,2,1

02







pqqqu,,2,1

解此方程（共ppqn个未知数）,得到X*即为原约束问题的最优解.

同样可以将解联立方程转变为对下式求无约束优化问题：

2

2)()(

)()(































































XgXh





求出Z的无约束最优值，即为原目标函数的最优值。

例题：

Ｆ

第11讲约束优化问题的间接解法（2）

三、内点惩罚函数法-—间接解法之二

约束优化：Min)(XFnRX

s。t：0)(Xg

，

pu,2,1

0)(Xh

，qv,2,1

构造新目标函数：

])X(h[H)]X(G[g)(F),,(

u121



rrXrrXnRX

其中：r

，r2

：加权因子,又叫惩罚因子；

)]X(G[g

：由不等式约束构成的复合函数，也叫惩罚函数;

)]([XhH

:由等式约束构成的复合函数，也叫惩罚函数。

对),,(

rrX寻优，即可得到)(XF的最优解。构造新目标函数，涉及两个问题：

A：加权因子(惩罚因子)如何取？

B：由约束方程(条件）怎样构成复合函数?

先看一个实例：

MinxXF)(

s.t:01x

该问题很简单(见右图)，约束最优点

为1*xX，构造新目标函数：

rxrx





),(

，

它是x和r的二维函数，寻优过程中

让r逐渐减小,直到等于0,),(rx得最优值就是xXF)(的最优值了（为什么选

x



作惩

罚函数？因01)(xxg,可以想象x1为一个负的逐渐趋于0的系列,而

x



就是一个趋

向于的数，所以当寻优点接近约束时，会引起目标函数的增大(受惩罚））。

对

rxrx





),(

进行寻优，先把r当成常数。例如先把r=1，可得

)1,(x的最优点

*x=2，的最优值为3。再取r=0.1，可得的最优点*x=1。316,最优值1.632。

)(kr

10.10.010.001…0

)*(kx

21。3161.11。032…1

)*(k31。6321。21。063…1

即:当r0时，),(rx的最优点变成)(XF的最优点*x，),(rx的最优值趋向于)(XF的最

优值.

上例也可用解析法求出：),(rx的最优点为：

rrx1)(*，1)(lim**





xrx

；

而最优值为：rrx21),(*,1),(lim**





rx

。

由上例可得出：（回答前面提出的两个问题）

（1）由0)(Xg

构造惩罚函数))((XgG

，要使寻优点接近约束时))((XgG

变得非常大，

以此给予惩罚。

（2）惩罚因子r在寻优过程中要逐渐变小，直至为0.即：0lim)(





r或)2()1()0(rrr

一般情况下，惩罚函数取为))((XgG

=





)(

或者))((XgG

=





))(ln(

内点惩罚函数法的寻优步骤：

1.从可行域内选择一个初始点)0(X，同时选取惩罚因子的初始值)0(r；

2.给出惩罚因子的下降系数C,(C=

)(

)1(

r

），优点计算精度

和优值计算精度

;

3。构造包含惩罚函数的新目标函数),()(krX；

4。调用无约束优化程序，求),()(krX得最优值)()(*krx（它是惩罚因子)(kr的函数）；

5.检验精度，

)1(*)(*)()(kkrXrX和

)(*

)1(*)(*

))((

))(())((







rXrX

，若成立，停止寻

优，若不成立,则下一步:

6.令)()1(kkcrr,

),()(*)0(krXX1kk.返回第3步继续寻优迭代。

上述方法英文叫SUMT(SequentialUnconstrainedMinimizationTech序列解除约束最小

化技术，也有一种说法是SerierUnstrainMinimunMethod)，初始点的选择方法,惩罚因子初

始值及其下降系数C选取，计算精度

、

的选取见陈立周教材第2版

116114～

四、外点惩罚函数法

外点惩罚函数法与内点惩罚函数法相似,只是构造惩罚函数不同.内点构造的罚函数的

图像在可行域内，外点发构造的罚函数在可行域外。仍以前例为例：

MinxXF)(1RX，

s。t:)(Xg01x

构造新目标标函数：

20),(max)(,xgrXFrX）（

即：











xrx

2)1(

),(

)01(

01(

时－当

时）－当





求解时，同样先把r当成常数,求得的优点*X是r的函数,再加大r,直至r，),(rx

最优点)(*rX就变成)(XF的最优点*X了。

)(kr

1/41/2124…



)()*krx（—100.50.750。875…1

),(*rx01/20。750.8750。9375…1

可以用解析法求,无约束最优解

1)(*，最优值：

1

这一结果与前面相同。一般情况下，对于受约束于0)(Xg

),2,1(pu的求)(XF最

优值的惩罚函数为：







kkXgrXFrX

2)()())0),((max()(),(

此式等效于：













)(

))(()(

),(

2)(

)(

XgrXF

rXu

k

（点在域内）

点在域外）(

一般情况下，取X=2,)(kr是递增序列,)2()1()0(0rrr,

且)(kr＝a)1(kr,a=5~10(递增函数）

外点惩罚函数法的寻优步骤与内点惩罚基本相同，其程序框图和作用中的问题见陈立周

第二版P

123～124

。

最小二乘法拟合二次多项式

两组实验数据:（对应）

():,,.....,......

():,,.....,.....

xnxxxx

ynyyyy

以对应点为坐标可以画出一下图线:

把这两组数据拟合成二次函数：2(1)yABxCx

要求：2



最小（即最小差平方和）

其中:

y是对应自变量

x的实验值（在表上）

y为对应自变量

x的计算值（用（1）式计算）

所谓拟合就是求出A,B，C三个系数来.

拟合:

22

222

222242223

222222

iiiiiiiiii

iiiiiiiiiii

yyABxCxyABxCxyABxCxy

AABxBxCxyCxyACxAyBCxBxy





2

222242223222222

iiiiiiiiiii

Dyy

nAABxBxCxyCxyACxAyBCxBxy











显然D是拟合系数A、B、C的函数。求D的最小值就要求其驻点，即一阶偏导为0的

点：

4223

22220

iii

iiiii

nABxCxy

AxBxCxxy

CxxyAxBx



















整理成标准线性方程组：

2342

2222

iii

iiiii

nAxBxCy

xAxBxCxy







用矩阵表示:

2342

iii

iiiii

nxxy

xxxxy











当用计算机计算时，应分别计算如下7个数据：

2342,,,,,,

iiiiiiiii

xxxxyxyxy

代入，再解方程组，用矩阵或行列式解都可以解出A、B、C来。

👁️ 阅读量：0

🔖 本文标签：

🔥 最新发布文章