您的位置：山东大学 -> 科技期刊社 -> 《山东大学学报（理学版）》

山东大学学报（理学版） ›› 2016, Vol. 51 ›› Issue (6): 92-98.doi: 10.6040/j.issn.1671-9352.4.2015.004

• • 上一篇    下一篇

新的加速Bregman迭代方法在稀疏最小二乘问题中的应用

王文淑1,2,李维国1,秦淑兰2   

  1. 1. 中国石油大学(华东)理学院, 山东 青岛 266580;2. 青岛滨海学院, 山东 青岛 266580
  • 收稿日期:2015-01-21 出版日期:2016-06-20 发布日期:2016-06-15
  • 作者简介:王文淑(1988— ),硕士,研究方向为数值代数与数值软件.E-mail:wangwenshu2008@yeah.net
  • 基金资助:
    国家自然科学基金资助项目(61101208);中央高校基本科研业务费(15CX05051A,15CX02055A);山东省优秀中青年科学家科研奖励基金(2014BSE28027)

Application of a new accelerating Bregman iterative algorithm in the sparse least squares problems

WANG Wen-shu1,2, LI Wei-guo1, QIN Shu-lan2   

  1. 1. College of Science, China University of Petroleum, Qingdao 266580, Shandong, China;
    2. Qingdao Binhai University, Qingdao 266580, Shandong, China
  • Received:2015-01-21 Online:2016-06-20 Published:2016-06-15

PDF (PC)

1056

摘要： 结合残量Bregman迭代方法以及不动点迭代方法提出一种迭代算法,对预测校正算法应用Nesterov技巧进行加速,并且作用于最小二乘问题。理论上证明了新算法得到的解收敛到目标函数的最优解,并将新算法应用到稀疏信号恢复问题上,数值试验表明新算法能够快速有效地恢复信号。

关键词: 稀疏最小二乘问题, Nesterov加速技巧, Bregman迭代

Abstract: Based on the residual Bregman iterative algorithm and fixed point iteration, a novel Bregman iterative algorithm is proposed. Then, inspired by the equivalence of the linearized Bregman and the gradient descent algorithm of the dual problem, a new algorithm by introducing Nesterov accelerating technique into the predictor-corrector method is put forward for solving the sparse least squares problems. Simultaneously, It is proved that the solution sequence obtained by the new method is the optimal solution of the sparse least squares problems. Finally, we use the new method to the sparse signal recovery problem. The numerical results show that the new method is faster and more efficientthan the old ones.

Key words: Nesterov accelerating technique, Bregman iteration, the sparse least squares problems

中图分类号: 

  • O242
[1] DONOHOD L. De-noising by soft-thresholding[J]. IEEE Transactions Information Theory, 1995, 41(3):613-627.
[2] OSHER S, BURGER M, GOLDFARB D, et al. An iterative regularization method for total variation-based image restoration[J]. Multiscale Modeling and Simulation, 2005, 4(2):460-489.
[3] CAI Jianfeng, OSHER S, SHEN Zuowei. Linearized Bregman iterations for compressed sensing[J] Mathematics of Computation, 2009, 78(267):1515-1536.
[4] YIN Wotao, OSHERS Stanley, GOLDFARB D, et al. Bregman iterative algorithms forl1-minimization with applications to compressed sensing[J]. SIAM J Imaging Sciences, 2008, 1(1):143-168.
[5] VOGEL C R, OMAN M E. Iterative methods for total variation denoising[J]. SIAM Journal on Scientific Computing, 1996, 17(1):227-238.
[6] GOLUBG H, VAN LOAN C F. Matrix computations[M].4th ed.Baltimore: The Johns Hopkins University Press, 2013.
[7] 李娟, 李维国, 郑昭静. 求解稀疏最小二乘问题的新型Bregman迭代正则化算法[J]. 信号处理, 2012, 8:1164-1170. LI Juan, LI Weiguo, ZHENG Zhaojing. A New Bregman Iterative Regularization Algorithm forSparse Least Squares Problems[J]. Signal Processing, 2012, 8:1164-1170.
[8] 郑昭静,李维国. 基于Bregman迭代的稀疏最小二乘问题的预测校正法[J]. 高等学校计算数学学报, 2014, 36(2):167-182. ZHENG Zhaojing, LI Weiguo. Predictor-CorrectorAlgorithm Based onBregman Iterationfor Sparse LeastSquaresProblems[J]. Numerical Mathematics A Journal of Chinese Universities, 2014, 36(2):167-182.
[9] YIN Wotao. Analysis and generalization of linearized Bregmanmethod[J]. SIAM Journal on Imaging Sciences, 2010, 3(4):856-877.
[10] ZHANG Hui, YIN Wotao. Gradient methods for convex minimization: better rates under weaker conditions[EB/OL] //[2015-04].arXiv:1303.4645v2[math.OC]. http://arxiv.org/abs/1303.4645
[1] 曹伟东,戴涛,于金彪,王晓宏,施安峰. 化学驱模型中压力方程的交替方向解法改进[J]. 山东大学学报（理学版）, 2018, 53(10): 88-94.
[2] 刘园园,曹德欣,秦军. 非线性二层混合整数规划问题的区间算法[J]. 山东大学学报（理学版）, 2018, 53(2): 9-17.
[3] 施章磊,李维国. A†分级硬阈值追踪[J]. 山东大学学报（理学版）, 2017, 52(8): 58-64.
[4] 张静静,杨秀萍,刘清,张春秋. 基于Biot理论的腰椎间盘力学响应分析[J]. 山东大学学报（理学版）, 2016, 51(11): 93-98.
[5] 陈玲,门玉涛,王加江. 种植术与分根术联合治疗术后牙体可靠性分析[J]. 山东大学学报（理学版）, 2016, 51(5): 6-10.
[6] 崔安刚,李海洋. 仿射约束矩阵秩最小问题与无约束矩阵秩最小问题的等价性[J]. 山东大学学报（理学版）, 2016, 51(4): 86-89.
[7] 刁群,石东洋. 拟线性黏弹性方程一个新的H 1-Galerkin混合有限元分析[J]. 山东大学学报（理学版）, 2016, 51(4): 90-98.
[8] 王加江,陈玲,门玉涛,季辰. 缩短牙种植术与分根术联合修复周期的可行性研究[J]. 山东大学学报（理学版）, 2016, 51(3): 40-43.
[9] 张厚超, 朱维钧, 王俊俊. 非线性四阶双曲方程一个低阶混合元方法的超收敛和外推[J]. 山东大学学报（理学版）, 2015, 50(12): 35-46.
[10] 刘春梅, 钟柳强, 舒适, 肖映雄. 平面弹性问题的高次有限元离散系统的局部多重网格法[J]. 山东大学学报（理学版）, 2015, 50(08): 34-39.
[11] 樊明智, 王芬玲, 石东洋. 广义神经传播方程最低阶新混合元格式的高精度分析[J]. 山东大学学报（理学版）, 2015, 50(08): 78-89.
[12] 姜俊, 杨秀萍, 刘清, 张春秋. 压缩载荷下关节软骨溶质扩散的模拟[J]. 山东大学学报（理学版）, 2015, 50(01): 85-89.
Viewed
Full text


Abstract

Cited
  Shared   
  Discussed   
No Suggested Reading articles found!
版权所有 © 2018 《山东大学学报(理学版)》编辑部　
地址: 山东省济南市山大南路27号山东大学中心校区（250100）　电话: +86-0531-88366917　E-mail: xblxb@sdu.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发