中心优化团队在机器学习算法设计上取得新成果

中心常务副主任、优化团队袁功林教授和其研究生欧阳琛、陆陈凯翔、赵雄、黄汝平、江一燕等一起合著学术成果“Stochastic three-term conjugate gradient method with variance technique for non-convex learning”在国际知名期刊《Statistics and Computing》上正式出版。研究内容：在机器学习的训练过程中，经常使用经验风险损失函数的最小化来测量模型的预测值和实际值之间的差异；随机梯度下降在这类优化问题中非常流行，但在理论分析中收敛缓慢，为了解决这个问题，已经有许多采用方差减少技术的算法，如SVRG、SAG、SAGA等；一些学者将传统优化中的共轭梯度法应用于这些算法，如CGVR、SCGA、SCGN等，基本上可以达到线性收敛速度，但这些结论往往需要在一些相对较强的假设条件。在传统的优化中，共轭梯度法往往需要使用线搜索技术才能获得良好的实验结果，这说明在某种意义上线性搜索体现了共轭方法的一些性质。受此启发，我们创建了三项共轭梯度法和线搜索技术应用于机器学习中，理论分析中，在较弱的条件假设下，可以获得与SCGA相同的收敛速度，同时针对两个非凸机器学习模型进行实际测试，验证了算法的收敛性和稳定性；为进一步拓展机器学习问题算法的研究提供了一条新途径。

《Statistics And Computing》（《统计与计算》）是一本由SPRINGER出版的数学-计算机：理论方法学术刊物，该刊是国际一流期刊，主要刊载数学-计算机：理论方法相关领域研究成果与实践，旨在打造一种学术水平高、可读性强、具有全球影响力的学术期刊。

     特别是，它涉及统计概念在计算科学中的使用，例如在机器学习、计算机视觉和数据分析中，以及计算机在数据建模、预测和分析中的使用。涵盖的具体主题包括：评估分析棘手问题的技术，例如自举重采样、马尔可夫链蒙特卡罗、顺序蒙特卡罗、近似贝叶斯计算、搜索和优化方法、随机模拟和蒙特卡罗、图形、计算机环境、统计方法软件错误、信息检索、机器学习、数据库统计和数据库技术、海量数据集和大数据分析、计算机代数、图形模型、图像处理、断层扫描、逆问题和不确定性量化。此外，该期刊还包含原创研究报告、权威评论论文、讨论论文，以及特定主题的不定期特刊或相关会议论文集，统计和计算还出版书评和软件评论部分。