Abstract:

The Expected Improvement (EI) method is a widely-used Bayesian optimization method, which makes use of a fitted Gaussian process model for efficient black-box optimization. However, one key drawback of EI is that it is overly greedy in exploiting the fitted Gaussian process model, which results in suboptimal solutions. We propose a new hierarchical EI (HEI) framework, which makes use of a hierarchical Gaussian process model. HEI preserves a closed-form acquisition function, and corrects the over-greediness of EI by encouraging exploration. Under certain prior specifications, we prove the global convergence of HEI over a broad function space, and derive global convergence rates under smoothness assumptions on the objective function. We then introduce hyperparameter estimation methods which allow HEI to mimic a fully Bayesian procedure while avoiding expensive Markov-chain Monte Carlo sampling. Numerical experiments and a toy semiconductor optimization application show the improvement of HEI over existing black-box optimization methods. (Authors: Zhehui Chen, Simon Mak, and C. F. Jeff Wu; to appear in JASA T&M)

Speaker:

吴建福（C. F. Jeff Wu）教授是美国佐治亚理工学院工业与系统工程学院的工业统计教授和可口可乐讲席教授。他于2004年当选美国国家工程院院士，2000年当选中央研究院院士，同时也是美国质量协会、数理统计研究会、INFORMS以及美国统计学会的会士。他曾荣获1987年COPSS主席奖、2011年COPSS Fisher讲席奖、2012年Deming讲席奖，此外还有Shewhart奖章 (2008) 、潘文渊技术奖(2008) 以及佐治亚理工1934级杰出教授奖 (2020)  和Sigma Xi科学研究会Monie A. Ferst奖 (2020) 。他是印度统计研究所1998年Mahalanobis纪念讲席获得者、日本统计学会与东京统计数学研究所2016年首届Akaike纪念讲席获得者、ENBIS 2017年Box奖章获得者以及滑铁卢大学名誉博士。

吴教授发表论文190余篇，指导博士52位，其中有过半执教于美国/加拿大/亚洲/欧洲的统计/工程/商业的研究院系，有26位为著名学会ASA、IMS、ASQ、IAQ、INFORMS 或 IISE 的会士，有4位为重要统计期刊的主编，有1位为加拿大皇家学会院士。他与Hamada共同撰写了《Experiments: Planning, Analysis, and Optimization》一书（Wiley 2021第三版）、与Mukerjee共同撰写了《A Modern Theory of Factorial Designs》一书（Springer 2006年出版）。在1985年中科院的访问演讲（以及1997年密西根大学） 他首次提出“数据科学”这个名词。