On the Generalization Ability of Next-Token-Prediction Pretraining

Zhihao Li, Xue Jiang, Liyuan Liu, Xuelin Zhang, Hong Chen and Feng Zheng.

International Conference on Machine Learning 2025 [C]

• 大规模语言模型（LLMs）在自然语言处理任务中表现出色，但其预训练方法Next-Token-Prediction（NTP）的泛化能力缺乏理论分析。
• 建立了NTP预训练的精细泛化分析框架，提出了一种新颖的Rademacher复杂度分解方法，为基于DOMs的NTP预训练提供了理论保证，并通过实验验证了理论结论。
• 为理解NTP预训练的统计泛化性质提供了理论基础，有助于指导实际的模型训练和优化，推动了大规模语言模型理论研究的发展。

Generalized Sparse Additive Model with Unknown Link Function

Peipei Yuan, Xinge You*, Hong Chen, Xuelin Zhang, and Qinmu Peng.

IEEE International Conference on Data Mining 2024 [C]

• 在这项工作中，我们提出了一种新型的广义加性模型，该模型具有一个通过双层方案自动学习的灵活链接函数.所提出的模型能够进行非线性逼近、隐藏交互和特征选择，同时也享有算法收敛的理论保证.
• 广义可加模型，就应该多考虑一个灵活的外层映射函数嘛！ 这不，我们就用双层建模学出来.

Error Density-dependent Empirical Risk Minimization

Hong Chen*, Xuelin Zhang, Tieliang Gong, Bin Gu, Feng Zheng.

Expert Systems With Applications 2024 [J]

• 这篇论文缓解了依赖误差值的鲁棒学习准则的局限性，并提出了误差密度依赖的经验风险最小化框架，用于对抗异常数据的鲁棒回归与分类.我们的方法的有效性通过充分的实验评估得到了验证.
• 这个原创的损失经历了漫长的打磨，从2021年就一直在不断地从实验做补充.尽管花了三年的时间反复揉搓，仍觉得它还是个需要从理论上进行打磨的半成品.
• 有幸读到了林华珍教授发表在JASA’24上的最新工作，在理论上给了一些新的启发，并且佐证了我们这一建模思路的合理性、科学性.
• 实现代码： github.com/zhangxuelincode/EDERM

Fine-grained Analysis of Stability and Generalization for Stochastic Bilevel Optimization

Xuelin Zhang, Hong Chen*, Bin Gu, Tieliang Gong, Feng Zheng.

International Joint Conference on Artificial Intelligence 2024 [C] (Oral)

• 在这篇论文中，我们基于（平均参数）算法稳定性技术，对一阶基于梯度的双层优化方法进行了系统的泛化分析.
• 算法稳定性大法好，泛化分析中可以体现出优化的细节（迭代次数，算法设计，学习率，目标函数的光滑性/凸性等）.
• 实现代码：github.com/zhangxuelincode/BilevelOptimization

Improved Concentration Bound for CVaR

Peng Sima, Hao Deng*, Xuelin Zhang, Hong Chen.

International Joint Conference on Neural Networks 2024 [C]

• 这篇论文介绍了一种新颖的估计器，该估计器依赖于风险价值（Value at Risk，简称VaR）的估计，并研究了在独立场景中的集中不等式，其中底层分布是次高斯（sub-Gaussian）、次指数（sub-exponential）或重尾（heavy-tailed）的.我们推导出的不等式是双边的，表现出指数衰减，并且不局限于有界场景.
• VaR和CVaR其实都是经济学里的常见度量，同时也在机器学习得到了广泛应用.这篇工作也是从复杂情景下，推导了无界目标的上下界.

Neural Partially Linear Additive Model

Liangxuan Zhu, Han Li*, Xuelin Zhang, Lingjuan Wu, Hong Chen.

Frontiers of Computer Science 2023 [J]

• 这篇论文提出了一种神经部分线性加性模型，该模型能够在神经网络中自动区分不显著、线性和非线性特征，从而实现模型级别的可解释性.
• 神经可加模型很牛的！统计四大常客。 诺奖得主 Hinton 也做过这个方向 （NeurIPS 2021）！

Stepdown SLOPE for Controlled Feature Selection

Jingxuan Liang, Xuelin Zhang, Hong Chen*, Weifu Li, Xin Tang.

Association for the Advancement of Artificial Intelligence 2023 [C] (Oral)

• 这篇论文打破了以往对排序L-One惩罚估计（Sorted L-One Penalized Estimation，简称SLOPE）的局限，经典SLOPE仅限于控制假发现率（False Discovery Rate，简称FDR）.
• 论文考虑了基于逐步下降的SLOPE，以控制k个或更多假拒绝的概率（k-FWER）和假发现比例（False Discovery Proportion，简称FDP）.这就实现了特征选择任务中的错选率可控性质!
• 其实我们后来还考虑了group情境下的gSLOPE算法设计与理论保障.
• 实现代码： github.com/zxlml/SLOPE

Robust variable structure discovery based on tilted empirical risk minimization

Xuelin Zhang, Yingjie Wang, Liangxuan Zhu, Hong Chen, Han Li, Lingjuan Wu*.

Applied Intelligence 2023 [J]

• 在这篇论文中，我们提出了一种新的基于收敛双层优化框架的鲁棒变量结构发现方法，用于基于组套索（group lasso），其中采用了鲁棒倾斜的经验风险最小化.
• 鲁棒性质是可以度量的喔，本文尝试分析了模型的击穿点,也就是能够忍受的最多的异常数据.
• 能够从高维数据中挖掘协同关系的组结构，挺有意思.不过做的有些粗糙，只考虑到了非重叠的分组结构.重叠情境比较复杂，这也是最近的考虑方向.
• 很高兴能够被TERM损失的原团队在其最新的泛化工作中被关注到。
• 实现代码: github.com/zhangxuelincode/demoTERMGL

Robustness of classifier to adversarial examples under imbalanced data

Wenqian Zhao, Han Li, Lingjuan Wu*, Liangxuan Zhu, Xuelin Zhang, Yizhi Zhao.

International Conference on Computer and Communication Systems 2022 [C]

• 在这篇论文中，我们提供了一个理论框架，用于从AUC（ROC曲线下面积）的角度分析分类器对AE（Adversarial Examples，对抗性样本）在不平衡数据集下的鲁棒性，并推导出一个可解释的上限.

Towards Precise and Explainable Hardware Trojan Localization at LUT Level

Hao Su, Wei Hu, Xuelin Zhang, Dan Zhu, Lingjuan Wu*.

IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems 2025 [J]

• 提出的方法是旨在提取查找表（LUT）级别的丰富结构和行为特征，以训练一个可解释的图神经网络（GNN）模型，用于对FPGA网表中的设计节点进行分类，并识别感染木马的节点.
• 在跨年的这个夜晚，能够看到顶刊接收信息蛮开心的.希望2025年对我好一点 🙏 尤其是善良的编辑，领域主席和审稿人们.
• 实现代码: github.com/zhangxuelincode/node_label

Pinpointing Hardware Trojans Through Semantic Feature Extraction and Natural Language Processing

Yichen Li, Wei Hu, Hao Su, Xuelin Zhang, Yizhi Zhao, Lingjuan Wu*.

International Test Conference in Asia 2024 [C]

• 在这项工作中，我们提出了一种新颖的RTL（寄存器传输级）硬件木马检测方法.我们的方法涉及将硬件设计转换为CDFG（控制数据流图），然后进行路径提取和分割.
• 这篇工作算是NLP技术在硬件木马检测任务上，比较早的应用.我们首次在RTL仿真阶段对代码直接进行建模，就可以高精度地检测出木马设计，无需进一步仿真或者流片.

Automated Hardware Trojan Detection at LUT Using Explainable Graph Neural Networks

Lingjuan Wu, Hao Su, Xuelin Zhang, Yu Tai, Han Li, Wei Hu*.

International Conference on Computer-Aided Design 2023 [C]

• 在这项工作中，我们提出了一种基于图神经网络（GNNs）的新型硬件木马检测方法，针对FPGA网表.我们利用LUT级别的丰富显式结构特征和行为特征，这为木马检测提供了一个理想的抽象层次和粒度.通过训练一个优化的类别平衡焦点损失的GNN模型，实现了自动化的木马特征提取和分类.
• 我们引入了一些很有意思的（基于格兰杰因果思想）可解释策略以及处理非均衡问题的策略，这也是我们初步尝试GNN的应用.
• 实现代码：github.com/zxlml/XGNN_HT_Detection

Hardware Trojan Detection at LUT: Where Structural Features Meet Behavioral Characteristics

Lingjuan Wu, Xuelin Zhang, Siyi Wang, Wei Hu.

International Symposium on Hardware Oriented Security and Trust 2022 [C]

• 这项工作提出了一种新颖的硬件木马检测方法，该方法利用现场可编程门阵列（FPGA）网表中的静态结构特征和行为特征.将硬件设计源映射到查找表（LUT）网络使得这些特征变得明确，允许通过机器学习自动化特征提取，并进一步有效地检测木马.
• 这篇论文我们引入了混合高效重采样（过采样与欠采样结合）来处理非均衡问题，并在实验中得到了理想的性能提升.
• 😞 遗憾的是，尽管HOST会议在这个领域有着一定的知名度，但是ccf-C都没进.
• 实现代码：github.com/zxlml/HOST22