故事案例类703号作品：对涉及人工智能网络安全的思考

人工智能（Artificial Intelligence，AI）模型从实验室正式走上应用，要从生成式人工智能模型ChatGpt开始。ChatGpt模型由OpenAI实验室研发，于2022年11月30日发布，能够根据用户输入智能地生成响应数据进行人机交互。至此之后，受到ChatGpt启发的AI模型如雨后春笋般出现，例如百度文心一言、商汤如影。随着AI模型在技术上的进步，不断在各个行业实现落地应用。据前瞻产业研究院《2024年前瞻中国AI大模型场景应用趋势蓝皮书》，截止2023年，金融、政府、影视和教育四大行业AI渗透率最高，超过50%，其主要应用场景为智能数字人、风险检测和智能决策等。

在AI模型提供巨大经济和社会价值的同时，其涉及的网络安全问题也值得深思。涉及人工智能网络安全的问题，可以分为攻击和防御两类。对于攻击，可以从两个角度来看，一是利用恶意AI模型发起的网络攻击，二是对AI模型的破坏。而对于防御来说，则是利用AI模型进行漏洞检测和入侵防御。

涉及AI模型的网络攻击，具有隐蔽性强、破坏性大的特点，难以用传统的网络防御方式去抵抗。

对于利用恶意AI模型发起的网络攻击，给人工智能的安全治理带来了巨大挑战。恶意AI模型是基于有害语料库训练而成的模型，对计算机系统内在漏洞原理理解深刻，不亚于一位网络黑客。而这样的恶意AI模型让网络攻击门槛大大降低，通过恶意AI模型能够发起恶意代码生成、僵尸网络攻击、数据窃取和伪造等行为，且具有安全绕过的能力，很难去识别和防御。这些威胁本质上来自于AI模型的强大学习能力，恶意AI模型通过学习有害语料库中病毒和漏洞的特征，生成具有安全绕过能力的攻击行为。如果想要利用恶意AI模型生成具有规避能力的高级钓鱼邮件，首先需要创建AI模型提取正常邮件和钓鱼邮件的攻击特征，在训练过程中通过调整模型参数使模型生成能规避邮件防御策略的高级钓鱼邮件，从而达到欺诈的目的。即使是一些非恶意模型，如AI爬虫，也会由于一些监管的不到位，无视爬虫协议（一些指令，目的是告诉爬虫工具哪些文件不允许被访问），主动规避协议，甚至绕过防火墙，丝毫不亚于对网站发起一次DDOS攻击，甚至使目标网站陷入瘫痪，这就涉及到隐私安全问题。

从AI模型自身的安全问题角度出发，甚至要比利用恶意AI模型发起网络攻击更加让人担忧。对AI模型的污染，是从根源上进行的安全攻击，会导致错误的输出，对使用者产生误导，并且往往难以排查，对企业造成严重经济损失。常见的AI模型安全威胁主要有数据投毒和模型编辑。常见商业AI模型参数以百亿计，甚至千亿，因此需要海量的数据集训练，但是数据来源复杂，数据清洗往往难以全面，如果收集到一些被恶意改写的数据集与其他数据一起训练，就会令模型的输出产生偏差甚至不可用。在2023年科大讯飞就遭遇数据投毒事件，其AI大模型生成一些违背价值观的内容，让其一天内市值蒸发上百亿。除了操纵数据集，攻击者可以进行模型编辑，在AI模型中留下后门。模型编辑是指对模型的训练参数进行编辑，直接达到篡改输出的目的。

一旦涉及到AI模型，安全问题就会变得十分棘手。不过，对于涉及到AI模型的安全威胁，AI模型也能利用同样的方式反制。“以魔法打败魔法”，这是众多网络安全专家普遍认同的观点。如今，在网络安全领域，出现了对神经网络安全防御的研究，并获得了一些成果，成功利用威胁识别数据库训练出网络安全AI模型。通过部署在态势感知平台，大大提高了威胁识别能力并能给出对应解决方案，例如深信服的安全GPT。

AI模型在经济和社会发展中的重要作用有目共睹，安全问题需要重视。通过加强对神经网络安全防御领域的研究，持续不断为互联网安全高质量发展提供保障。