图 1 会议首页
2025年4月21日下午14时,本次CSIG数字媒体取证与安全专委会青年学者沙龙以线上的形式在腾讯会议举行。此次活动由中国图象图形学学会(CSIG)主办,CSIG数字媒体取证与安全专委会、大湾区大学信息科学技术学院、东莞市智能信息技术重点实验室承办。本次活动邀请了来自南洋理工大学的加小俊研究员和博士后研究员王琨进行关于大语言模型(LLM)和多模态大模型(MLLM、VLP、T2I等)在面对对抗样本与越狱攻击时存在的安全隐患问题的研究汇报。组织人为大湾区大学助理研究员王俊,主持人为大湾区大学余梓彤研究员。
图 2 加小俊研究员作报告
第一场报告的主题为多模态大模型的双重威胁:从对抗攻击到越狱攻击的系统性研究,汇报者为来自南洋理工大学的加小俊研究员。加小俊研究员的主要从事对抗攻防、模型后门、数据隐私保护和大模型安全等可信人工智能的研究。在top期刊及顶会发表多篇学术论文担任会议程序委员会成员,并多次在国际对抗攻防比赛中取得好成绩。
图 3 报告内容
图 4 报告内容
在本次报告中,加小俊研究员首先介绍了关于大语言模型在实际应用中存在的风险问题以及引发的社会关注。从对抗攻击、越狱攻击以及Agent攻击等三个角度,分别对现有的多模态文本生成模型、图像文本配对模型以及文本到图像的生成模型的安全性能进行攻击算法的设计和评估。从对抗攻击的角度提出了多种增强模型可迁移性的优化策略,提出了针对LLM、MLLM和T2I模型的多轮提示诱导、感知引导替换、跨模态风险分布等越狱攻击方法,设计了针对计算机代理的即时注入(时间回溯陷阱)攻击,突破了多个主流开源和商用模型的防护机制,进一步强调现有大语言模型在安全方面存在的安全隐患。
图 5 王琨研究员作报告
第二场报告的主题为全栈大模型安全,报告人为同样来自南洋理工大学的王琨博士后研究员。王琨博士毕业于中国科学技术大学,主要研究方向为大模型安全和多智能体研究。他作为第一作者或通讯作者已在ICLR、NeurIPS、ICML、KDD、AAAI、WWW、TKDE、TPAMI等顶级会议和期刊上发表过超过30篇文章,并且有多篇Oral和Spotlight等荣誉。此外,他还担任过ICLR、KDD、NeurIPS、ICML和TKDE等重要会议和期刊的审稿人。
图 6 报告内容
图 7 报告内容
本次报告聚焦全栈大模型安全,旨在全面剖析安全现状,深入探讨风险挑战,并提出切实可行的应对策略。通过对数据安全、模型算法安全、以及落地的智能体应用安全等多维度的分析,结合相关工作际,明确安全防护重点以及可研究内容。同时,从技术防护、管理策略、人员培训等方面提出综合性的安全保障措施,力求为全栈大模型的安全应用提供更全面视角,推动大模型技术在落地场景下安全、稳定、高效地发展。
本次会议吸引了来自全国的九十位专家、学者、学生,为大家展示了大语言模型在面对对抗攻击、越狱攻击以及代理攻击时展现出的脆弱性问题,聚焦全栈大模型安全,探讨新方法与新知识。
Copyright © 2025 中国图象图形学学会 京公网安备 11010802035643号 京ICP备12009057号-1
地址:北京市海淀区中关村东路95号 邮编:100190