企业人工智能安全管理必知的N个要点：2025“铸盾模都”专项行动深度解读

我国高度关注人工智能安全管理，已针对人工智能服务安全、伦理安全、内容标识及数据标注等方面发布系列法规和标准。

7月27日，上海市通信管理局（以下简称“市通管局”）发布关于开展“铸盾模都”2025年人工智能安全赋能专项行动（以下简称“专项行动”）的通知，针对上海电信和互联网企业提出了系列人工智能安全管理要求，明确了在人工智能领域的安全监管重点。本文将详细解读专项行动中企业应当履行的主要任务，并提出未来企业在人工智能安全管理中应当关注的核心要点。

一、专项行动背景

本次专项行动针对上海市电信和互联网行业企业展开，重点聚焦人工智能网络和数据安全，旨在提升企业人工智能安全管理能力，保障企业人工智能安全基线。专项行动首先为贯彻落实我国人工智能安全法律法规，避免相关要求仅停留在纸面；其次以专项监管行动为驱动，有效防范潜在人工智能安全风险，全面提升上海市电信和互联网企业人工智能安全管理水平和安全意识，引导人工智能技术向善；此外，专项行动围绕人工智能安全主体责任、安全保障领域、安全管理赋能及安全行业发展四大主题，为企业今后如何建立和完善内部人工智能安全管理体系提供了行动指引和框架参考。

专项行动共包含人工智能安全主体责任、人工智能安全保障基线、人工智能安全管理赋能及人工智能安全行业发展4大板块，涉及11项任务，其中9项任务需要企业重点关注。我们建议，相关企业应按时完成其中短期强制性任务，并依据专项行动其他长期建设性任务要求，开展内部人工智能安全管理情况自查和管理体系优化。

二、专项行动重点任务及企业人工智能安全管理体系建设要点

（一）专项行动面向对象

上海市电信和互联网企业中提供人工智能服务的企业（含基础电信企业）。主要包括两大类：

1.自研和开发人工智能技术的企业：主要指以自主研发为核心，独立或主导开展人工智能基础理论、算法、框架、芯片、应用等技术创新的企业，例如，OpenAI、月之暗面及DeepSeek等AI技术研发型企业。

2.使用人工智能技术对外提供服务的企业：主要指以人工智能技术为核心，对外提供技术赋能、解决方案或平台服务的企业。例如，提供AI客服、AI视频剪辑工具等。其中，我们认为基于现有AI模型进行二次开发、优化或集成，为B端或C端客户提供服务的企业也属该范围内。

（二）短期强制性任务

企业需结合内部业务实际梳理人工智能业务清单，并在本年度11月30日前将年度人工智能业务清单上报市通管局。

此项任务为专项行动中有明确时间节点和提交材料要求的强制性任务，企业应先着手开展内部相关业务情况的梳理，并积极关注市通管局后续关于人工智能业务清单模板及上报形式的具体规定，按时完成相关工作。

（三）长期建设性任务

除人工智能业务清单上报外，专项行动还对企业人工智能安全组织建设、制度体系构建、网数和数据安全保障、内容及业务安全管理等方面提出了多项长期建设性要求，本文结合以上具体要求及我国《网络安全法》《数据安全法》及人工智能安全相关法规标准，提出企业开展内部人工智能安全合规体系建设可参考的相关要点。

1.安全主体责任

专项行动任务1：“加强人工智能安全管理组织建设。”

企业工作要点：

（1）建立网络和数据安全管理组织体系，明确相关安全负责人，将人工智能网络和数据安全管理工作纳入以上管理体系。

（2）形成以上管理组织体系架构图，公布相关负责人任命通知或公告，通过制度文件、职责义务清单等书面形式，明确人工智能安全管理相关人员职责和义务并妥善保存以上书面材料以便快速定位相关责任人。

相关法律法规及标准参考：《网络安全法》：网络运营者应确定网络安全负责人，落实网络安全保护责任。

《数据安全法》：重要数据的处理者应当明确数据安全负责人和管理机构，落实数据安全保护责任。

专项行动任务2：“健全人工智能安全管理制度体系。”

企业工作要点：

（1）建立健全人工智能网络和数据安全管理制度体系。企业可在已有的网络和数据安全管理制度中补充人工智能章节，也可建立独立的人工智能网络和数据安全制度：

在网络安全方面，建议包含攻击防范、漏洞管理、模型更新、安全监测、应急响应等内容。

在数据安全方面，建议包含基础数据安全，训练数据安全合规、安全标注、质量要求，及人工智能应用中的业务数据安全等内容。

（2）设置制度落实情况监督检查和考核问责机制，保障以上人工智能网络和数据安全制度的贯彻落实。

相关法律法规及标准参考：《网络安全法》：网络运营者应制定内部网络安全管理制度和操作规程。

《数据安全法》：开展数据处理活动应当依照法律、法规的规定，建立健全全流程数据安全管理制度。

2.三大领域安全保障

专项行动任务3：“加强人工智能网络安全。”，专项行动任务10：“组织开展磐石行动人工智能安全（专项）攻防演练活动。”

企业工作要点：

结合人工智能系统全生命周期不同阶段存在的网络安全风险，开展网络安全防护：

（1）风险监测：进行人工智能系统网络安全风险监测，及时发现并处理DDoS攻击等典型网络攻击和对抗样本攻击等人工智能新型攻击。

（2）漏洞处理：根据漏洞的安全威胁等级规定相应的处理时限、制定相应的处理流程。

（3）防护技术：针对相关人工智能系统部署完善的网络安全管控技术工具。

（4）监管要求响应：根据相关监管要求，开展人工智能网络安全定级备案，积极参与“磐石行动”人工智能安全（专项）演练等活动。相关法律法规及标准参考：《网络安全法》：网络运营者应当按照网络安全等级保护制度的要求，采取防范计算机病毒和网络攻击、网络侵入等危害网络安全行为的技术措施；采取监测、记录网络运行状态、网络安全事件的技术措施。

专项行动任务4：“加强人工智能数据安全。”

企业工作要点：

（1）基础数据安全：建立起人工智能数据全生命周期安全管理体系，保障人工智能数据收集、存储、使用加工、传输、提供、销毁等全生命周期安全。

（2）训练数据来源安全合规：通过第三方采买获取训练数据应当签订数据安全合规协议，明确双方法律义务和责任并对供数方开展背景调查，核实数据来源的安全合规性；使用用户输入信息进行数据训练应当依法履行告知同意等义务；通过开源渠道获取训练数据，应当严格遵循相关开源协议义务及法律法规要求。

（3）训练数据内容安全合规：对训练数据开展事前内容安全合规审核，对数据的知识产权侵权风险、个人信息侵权风险、质量安全及是否违法我国《数据安全法》《网络数据安全条例》等法律法规等情况进行全面评估和审核。

（4）数据标注安全：明确数据标注规则，加强对第三方标注人员的安全管理，定期开展标注安全培训，建立标注安全监督机制，与第三方签订安全协议，明确双方的数据安全及保密义务和责任。

相关法律法规及标准参考：《生成式人工智能服务管理暂行办法》：生成式人工智能服务提供者应当依法开展预训练、优化训练等训练数据处理活动，使用具有合法来源的数据和基础模型；涉及知识产权的，不得侵害他人依法享有的知识产权；涉及个人信息的，应当取得个人同意或者符合法律、行政法规规定的其他情形；采取有效措施提高训练数据质量，增强训练数据的真实性、准确性、客观性、多样性。

在生成式人工智能技术研发过程中进行数据标注的，提供者应当制定符合本办法要求的清晰、具体、可操作的标注规则；开展数据标注质量评估，抽样核验标注内容的准确性；对标注人员进行必要培训，提升遵法守法意识，监督指导标注人员规范开展标注工作。

《网络安全技术生成式人工智能数据标注安全规范》相关要求。

专项行动任务5：“加强人工智能内容安全。”

企业工作要点：

（1）内容安全审核：针对人工智能生成内容是否存在违反我国意识形态、包含歧视性内容、侵犯知识产权、侵犯他人个人信息权益及违反我国法律法规和监管要求等情况进行严格审核。

（2）内容识别及拦截能力：制定完善的违法违规内容识别规则，部署相关识别和拦截技术工具，有效防范内容安全风险。

（3）内容标识：按照我国《人工智能生成合成内容标识办法》等法规标准要求进行显、隐性标识，履行相关用户提示义务。

相关法律法规及标准参考：《生成式人工智能服务管理暂行办法》：提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，坚持社会主义核心价值观，不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容。

《人工智能生成合成内容标识办法》及《网络安全技术人工智能生成合成内容标识方法》国家强制性标准相关要求。

3.安全预警与风险评估

专项行动任务6：“加强人工智能业务安全。”

企业工作要点：

（1）人工智能业务上线前的安全评估：自行或委托第三方在相关业务上线前对其开展全面的安全保障情况梳理和评估，建议包含网络、数据、模型、内容、业务等方面的安全保障现状评估。

（2）人工智能业务安全评测：自行或委托第三方针对相关业务开展定期安全技术检测，建议包含渗透测试、漏洞扫描及模型安全技术检测等。此外，企业应妥善留存相关评测记录以便应对监管抽检。

具体评估内容、评估模板及评测范围企业需继续关注专项行动后续发布的相关动态和文件。

相关法律法规及标准参考：《TC260-003生成式人工智能服务安全基本要求》及《GB/T 45654-2025网络安全技术生成式人工智能服务安全基本要求》提供了生成式人工智能安全评估的主要范围和内容参考。

专项行动任务7：“强化人工智能应急管理与能力。”，专项行动任务9：“建立人工智能安全风险监测巡查和处置机制。”

企业工作要点：

1.风险监测：全面开展人工智能模型、网络、数据、内容及业务等安全风险监测，及时向监管单位上报实质性风险情况，并及时整改风险，妥善留存相关处置记录，以便迎接后续监管巡查。

2.应急管理：制定人工智能网络、数据安全应急预案和应急演练计划，每年至少开展一次网络、数据安全应急演练，及时整改闭环演练中发现的安全风险，按照规定向主管部门报告，形成并妥善保存演练报告。

相关法律法规及标准参考：《网络安全法》：网络运营者应当制定网络安全事件应急预案，在发生危害网络安全的事件时，立即启动应急预案。采取监测、记录网络运行状态、网络安全事件的技术措施，并按照规定留存相关的网络日志不少于六个月。

《网络数据安全管理条例》：重要数据的处理者定期组织开展网络数据安全风险监测、应急演练等活动，及时处置网络数据安全风险和事件。

《工业和信息化领域数据安全管理办法（试行）》：工业和信息化领域数据处理者应根据应对数据安全事件的需要，制定应急预案，并定期进行演练。

三、结语

此次专项行动虽仅对相关企业提出了一项短期强制性要求，但已充分体现出相关监管部门对上海市电信领域人工智能安全的高度重视，释放出未来强化人工智能安全监管的信号，人工智能安全监管将逐步从“倡议引导”转向“刚性约束”。建议相关企业以此为契机，积极关注国内外人工智能安全政策法规及技术动态，从战略层面统筹人工智能安全管理工作，建立完善内部安全管理体系，重视安全风险监测和评估，以更坚实的安全保障能力面对相关法律法规和监管要求。