2025年青语“芯”声—信工青年沙龙(第二期)

作者:时间:2025-11-06 浏览:10

1.活动时间

20251110日(周)下午 15:15

2.活动地点

信息工程学院31-904

3.参加人员

信息工程学院各学位点指导教师、硕士研究生等

4.活动议程

1)专家讲座

祝汉灿  绍兴文理学院教授

主题:Data-Efficient Parameter Adaptation for Medical Image Segmentation via Tensor Decomposition

2)座谈交流

 

 

 

祝汉灿简介

祝汉灿,绍兴文理学院,教授,硕士生导师,2006年和2011年于浙江大学数学系获理学学士学位和理学博士学位(硕博连读)。先后在中科院自动化研究所和美国北卡罗来纳大学教堂山分校,做博士后和访问学者。主要研究方向为深度学习和医学影像分析,共发表论文40余篇;主持国家自然科学基金2项、教育部人文社科基金1项、中国博士后科学基金1项、浙江省自然科学基金1项。目前担任SCI期刊Scientific Reports的编委会委员(Editorial Board Member)。

 

 

报告摘要

医学影像分割任务中常面临标注数据有限和模型训练代价高的问题,传统全量微调易导致过拟合且计算开销较大。为提高模型在小样本条件下的迁移效率,我们将参数高效微调(PEFT)与张量低秩结构相结合,提出了两种基于跨层张量表示的高效适应策略。LoRA-PT方法通过将多层Transformer权重堆叠为三阶张量,并采用t-SVD分解,仅更新主低秩成分,有效减少可训练参数量并提升跨层特征表达能力。同时,tCURLoRA方法基于张量CUR分解选择具有代表性的行、列及核心结构进行更新,在保持模型结构特性的同时实现稳定高效的模型迁移。实验结果表明,两种方法在医学图像分割任务中均在仅使用极少训练样本的情况下取得优于多种现有PEFT方法的分割精度与边界一致性,并显著降低参数量与训练成本。因此,利用跨层张量低秩结构进行模型微调是提升医学影像分割模型在小样本场景下泛化性能的有效途径,为资源受限条件下的模型部署与临床应用提供了可行方案。


打印: