【经典书】实用数学优化：基本优化理论与基于梯度的算法

本书为数学、工程、计算机科学和其他应用科学的高年级本科生和研究生提供了广泛的数学优化课程工具。介绍了优化的基本原理，重点介绍了基于梯度的数值优化策略和算法，可用于求解光滑和有噪声的不连续优化问题。还注意到函数求值的困难和存在多个最小值，这往往不必要地抑制了基于梯度的方法的使用。这第二版介绍了仅梯度优化策略的进一步改进，以处理目标函数中的不连续。新的章节讨论了代理模型的构造，以及新的仅限梯度解决方案策略和使用Python的数值优化。一个特殊的Python模块以电子方式提供(通过springerlink)，它使文本中的新算法易于访问并直接适用。数值例子和练习包括鼓励高级到研究生水平的学生计划，执行，并反映数值调查。通过对概念材料的深入理解，学生、科学家和工程师将能够发展系统和科学的数字调研技能。

https://link.springer.com/book/10.1007/978-3-319-77586-9

数学优化通常也被称为非线性规划、数学规划或数值优化。在更一般的术语中，数学优化可以被描述为确定数学定义的问题的最佳解决方案的科学，这些问题可能是物理现实或制造和管理系统的模型。在第一种情况下，所寻求的解决方案通常对应于从分子到悬索桥的一般结构的最小能量配置，因此对科学和工程很有兴趣。在第二种情况下，对社会和工业具有经济重要性的商业和财务考虑开始发挥作用，并要求作出决定，例如确保最大的利润或最低的成本。

本书的重点几乎完全集中在基于梯度的方法上。这有两个原因。(i)作者认为，引入数学优化的主题最好通过经典的基于梯度的方法来完成，(ii)与目前流行的使用非梯度方法的趋势相反，如遗传算法(GA)，模拟退火，粒子群优化和其他进化方法，作者认为，在许多情况下，这些搜索方法在计算上过于昂贵，不可行。关于数值噪声和多重最小值的存在不适合使用基于梯度的方法，以及在这种情况下唯一的解决方法是使用上述非梯度搜索技术的论点，不一定是正确的。根据作者的经验，通过明智地使用基于梯度的方法，可以解决带有数值噪声和多重最小值的问题，而且只需要花费遗传算法等搜索技术的一小部分计算成本。在此背景下，第六章讨论了第一作者开发的新的基于梯度的方法和第八章作者开发的纯梯度方法，这是特别重要的。材料的呈现不太严格，但希望是正确的，应该提供必要的信息，让科学家和工程师选择适当的优化算法，并成功地将它们应用到各自感兴趣的领域。

目录内容：

Basic optimization theory

• INTRODUCTION
• LINE SEARCH DESCENT METHODS FOR UNCONSTRAINED MINIMIZATION
• STANDARD METHODS FOR CONSTRAINED OPTIMIZATION
• BASIC EXAMPLE PROBLEMS
• SOME BASIC OPTIMIZATION THEOREMS

Gradient-based algorithms

• NEW GRADIENT-BASED TRAJECTORY AND APPROXIMATION METHODS
• SURROGATE MODELS
• GRADIENT-ONLY SOLUTION STRATEGIES
• PRACTICAL COMPUTATIONAL OPTIMIZATION USING PYTHON