近日,我校数学科学学院卢琳璋教授团队在人工智能领域一区TOP期刊《Pattern Recognition》上发表了题为“Deep non-negative matrix factorization with multi-layer graph regularization for clustering”的研究论文。

在大数据时代,高维数据的降维与有效低维表示提取是模式识别、机器学习领域的核心研究方向。深度非负矩阵分解(NMF)因良好的可解释性被广泛应用,但传统深度NMF方法在融合数据几何信息时存在局限,未将原始数据和中间层数据的几何信息同时整合到最终层,制约了低维表示的学习效果。为了解决这个问题,该研究提出了一种框架,即多层图正则化深度 NMF(MGDNMF),它在深度NMF中引入了多层图正则化,将原始数据和中间层的几何信息考虑到最终的低维表示中。MGDNMF不仅能提取更多的潜在属性,还能保留更多的几何信息,从而获得更好的低维表示。此外,文章通过添加一个标签约束正则化项到MGDNMF中,将 MGDNMF扩展为一个半监督框架(MGSDNMF),以利用可用的标签信息。同时,研究团队严格推导了两种框架的优化算法,采用乘法更新规则结合KKT条件,保证了算法的收敛性,并完成了详细的计算复杂度分析。

提出框架与几个相关框架的比较

提出方法与比较方法的聚类性能
为验证新方法的优越性,研究团队在AR、WarpPIE、CMU PIE、COIL20、COIL100、USPS六大经典真实数据集(涵盖人脸图像、物体图像、数字图像等多种类型)上开展了大量实验,与十余种主流的无监督、半监督NMF及深度矩阵分解方法进行全面对比。实验结果显示,提出的两个框架在所有数据集上的聚类准确率(ACC)、归一化互信息(NMI)、调整兰德指数(ARI)均显著优于对比方法。
该研究的核心创新点在于构建了多层图正则化的全新框架,首次实现了原始数据与中间层几何信息的全维度融合,同时提出的半监督扩展策略让少量标签信息发挥最大效用。研究成果不仅为深度非负矩阵分解的发展提供了新的理论思路,也为聚类任务提供了更高效的技术手段,其良好的鲁棒性、适应性和计算效率,使其在计算机视觉、图像识别、社区检测、推荐系统等实际应用领域具备广阔的落地前景。

提出方法提取的低秩表示在六个数据集上的可视化结果

提出方法的收敛性分析
该论文由数学科学学院卢琳璋教授及其指导的博士生景文静、刘奇龙副教授、欧卫华教授共同完成。该研究得到国家自然科学基金项目(12161020、12461072、62262005)和贵州省高层次创新型人才项目(GCC[2023]033)的资助。