下一代DNS发展论坛｜云晓春：AI技术将重构网络安全技术与产业发展

主题报告中，云晓春深入探讨了大模型时代网络安全面临的冲击与机遇。他指出，以ChatGPT和DNS为代表的通用大模型开启了人工智能新时代，给网络安全从业者带来新风险的同时，也带来诸多机遇。

云晓春表示，大模型带来的安全风险主要分为自身安全问题和衍生安全问题两类。其中，大模型自身安全问题涵盖大模型训练安全、推理安全、应用安全和基础设施安全等四方面问题。在训练安全方面，存在数据内容被“投毒”、模型文件遭篡改、通过API访问窃取模型参数等风险。如医疗大模型易受“投毒”攻击；或篡改大模型权重文件，操控模型输出；再如攻击者通过API访问或对抗手段，就可以获取大模型的参数、能力或者行为，从而复现抄袭；另外，如知识蒸馏式的获取来复制模型的能力，模仿出输出行为，在特定任务上实现超越大模型性能。

推理安全方面，对抗攻击可扰乱输入导致错误输出，恶意提示语能诱导模型执行不当行为，如“奶奶漏洞”致使GPT泄露信息，通过设定大模型扮演用户的亲人，诱导大模型执行本该禁止的操作；

应用安全方面，模型生成之初无意中泄露的隐私信息，典型如ChatGPT返回自拍照，Open AI就存在泄露风险，存储的用户数据可以在未来训练中被别人利用；另如分区攻击导致大模型预训练数据被窃，返回运行成本包含个人隐私信息等敏感数据。

基础设施安全方面，则面临供应链安全威胁，恶意依赖包上传、工具被破坏等会造成数据窃取与模型劫持，如Hugging Face开源软件被投毒，导致了服务器被入侵，或者数据被篡改等问题。

大模型衍生的安全问题同样不容忽视。云晓春提到，在深度伪造滥用上，生成的虚假音视频可被用于社交攻击，与其相关的欺诈案件在2024年增长300%；还能制造虚假新闻操控舆论，如阿克苏库车地震时的不实图文等。此外，大模型还降低了恶意代码生成门槛，像今年初出现的法布赛克勒索软件就由大模型生成，攻击了85家企业并对其造成重大损失。

相对风险，云晓春也强调，大模型为网络安全行业发展带来了新机遇。大模型引发了网络攻防的变革，可开展大模型网络安全垂域应用技术研究，以“智能”对抗“智能”；同时，大模型赋能网络安全，安全厂商加速布局，在提升安全运营的智能化水平和响应效率，与应用于网络流量分析、恶意代码识别、攻击检测等威胁检测方面，都有相当的效果。

云晓春提出，大模型可赋能漏洞挖掘场景。信创国产化替代背景下，智能网联车、物联网等场景，基础软硬件供应链等攻击面广且漏洞潜在危害大，传统漏洞挖掘方法依赖专家逆向，分析效率低，难以覆盖海量异构设备固件、协议等。基于大模型强大的代码分析和语义理解能力，自动化分析车载系统代码、通信协议及传感器数据流等多层次结构数据，识别常见和新型的漏洞。在不同场景下，提升漏洞挖掘的数量与效率，并自动生成PoC等。

赋能钓鱼检测场景。钓鱼攻击是境外APT攻击、网络诈骗、勒索等主要入口。随着大模型技术发展，钓鱼邮件生成更加真实、多样、迷惑，传统的基于规则或小模型仅能从单一角度检测，易被绕过。而面对海量电子邮件，基于大模型文本意图理解和自动化调度能力，对文本、邮件元数据、链接、附件等多模态数据综合分析，进行攻击意图识别和全链条行为关联分析，大大提升钓鱼检测的精度，实现“1+1>2”的钓鱼邮件检测效果。

赋能未知攻击发现场景。对APT等高对抗高隐蔽攻击检测场景下，未知攻击链条长、事件关联复杂、海量告警难以分析，模型需具备跨时序、跨维度推理和长期记忆能力，才能替代甚至超越人类专家完成未知攻击推理研判。基于大语言模型强大的上下文精准理解、多维知识检索关联和超长记忆推理能力，从杂乱海量告警、流量中发现潜在线索和因果关系，推理还原未知高危攻击链，发现难以识别的隐蔽威胁。

云晓春认为，未来网络安全必然是AI与网络安全融合的趋势，预计在不久的将来，大模型和新一代AI技术将重构网络安全技术与产业，推动其蓬勃发展。