零阶优化研讨会("Zeroth-Order Optimization" Workshop)顺利召开
2023年5月24日,由深圳国际工业与应用数学中心主办,深圳市大数据研究院、半岛电子(中国) (CSIAM)数学与产业专业委员会、香港中文大学(深圳)协办的“零阶优化研讨会”("Zeroth-Order Optimization" Workshop)在香港中文大学(深圳)道远楼103室顺利召开。会议由罗智泉教授、张寅教授、罗效东教授、孙若愚教授和王阿康博士组织,邀请了5位报告嘉宾,他们分别是:叶荫宇教授(斯坦福大学)、张在坤教授(香港理工大学)、唐聿劼教授(北京大学)、曹立元博士(北京国际数学研究中心)、丁添博士(华为)。
香港中文大学(深圳)副校长、深圳市大数据研究院院长、CSIAM数学与产业专委会主任罗智泉教授首先进行开幕致辞,他指出本次研讨会演讲内容涵盖了从理论到应用、从算法到软件开发、从中心式优化到分布式优化等方面的众多问题,将为大家提供一个互相学习和交流的机会。
华为理论部技术专家樊玉伟随后致辞,他表示基于数学方法而非经验进行的建模仿真优化,对工程应用具有很大意义,希望大家借助本次研讨会的宝贵机会深入探讨、加强合作。
开幕环节后,五位受邀嘉宾依次作了分享报告并与参会代表交流讨论。
华为理论研究部丁添博士总结了无线网络应用中的两个无导数优化问题:无线网络规划和天线设计。这些问题的挑战在于变量维度高、目标函数计算耗时和约束条件复杂。他讨论了目前的基于仿真器模拟、变量分解、分层优化的解决方案。关于未来研究方向,他建议考虑改进目标函数的计算和估计方法,发展智能化的优化方式,以及研究基于专家知识和镶嵌理论的优化方法。
香港理工大学应用数学系助理教授张在坤教授介绍了两类零阶优化方法:基于模型的方法和直接搜索方法,并重点讨论了Powell的信赖域方法。他指出,零阶优化面临着“维度诅咒”的问题,即变量维度的增加会显著增加问题的复杂性。为应对这一挑战,信赖域方法利用随机采样较少的点来构建差值函数,以近似二阶原函数。张在坤教授还介绍了Powell的基于Fortran语言的经典零阶优化软件包NEWUOA,以及自己团队最近开发的python语言下的零阶优化软件包Prima。
斯坦福大学李国鼎工程讲座教授、INFORMS冯诺依曼奖获得者叶荫宇教授介绍了一种针对非线性约束规划问题的零阶优化求解器——SOLNP+。叶荫宇教授详细介绍了SOLNP+的求解步骤,包括近似梯度、近似约束、增广拉格朗日方法和ALM子问题的求解,并讨论了SOLNP+在计算层面上采用的一些技巧,如启发式方法更新惩罚参数、重启算法、线性搜索和自适应微元选择。总体上,SOLNP+具有很多优点,包括能够使用对偶信息、提供原问题和对偶问题解的估计、速度更快、在噪声下更鲁棒等。该优化器在解决梯度难以获得的约束规划问题上具有广泛的应用前景,并且仍在不断发展与改进中。
北京大学工业工程与管理系助理教授唐聿劼教授探讨了物联网、智能电网等应用问题中的分布式零阶优化问题。唐聿劼教授提出了一种结合分布式优化算法和零阶优化的算法框架,并给出了不同条件下的算法复杂度分析,为算法性能提供了理论保证。对于未来的研究方向,他希望开发融合先验结构信息的算法,以获得更好的收敛速度和稳定性。
北京大学北京国际数学研究中心博士后曹立元博士详细介绍了Powell的零阶算法的理论分析。Powell的算法包括采样集合的管理、函数值的近似和信赖域方法等几个步骤。曹博士把Powell算法的理论分析分成两步:不同采样方法下函数值的近似误差的估计,以及带噪声信赖域方法的估计。他介绍了几个关于近似误差估计的经典结果,和近年来关于带噪声信赖域方法的几个分析结果。
本次研讨会探讨了零阶优化问题在通信、电力等产业界的应用以及零阶优化算法、理论和软件的发展,增进了相关领域应用数学家和工程师对零阶优化技术的应用和发展趋势的了解,促进了数学算法在产业界的应用。
学会数学与产业专业委员会供稿