Hamed Karimi、Julie Nutini和Mark Schmidt於2016年發表的論文已被引用超過2000次,並榮獲2026年ECML PKDD時間檢驗獎
。該論文證明了Polyak-Lojasiewicz條件
(一個1963年提出的不等式)即使在不具備強凸性
的情況下,也能保證梯度下降法
的線性收斂
,且整個證明過程僅需三行。
作者在該條件下重新分析了坐標下降法
、符號梯度下降法
以及隨機梯度下降法
。在每一種情況中,他們都恢復出了此前僅在強凸函數條件下才已知的收斂速率。
這篇論文指出,Polyak-Lojasiewicz條件是已知能夠保證線性收斂速率的最弱條件。如今,該條件的各種變體正支撐著強化學習、曲面參數空間優化以及擴散模型
背後採樣方法等領域的收斂性研究結果。






