人工智能作为一项新兴的使能技术，其技术的产生和应用的发展对一国的经济结构、社会秩序、道德伦理、价值观等都会产生相当大的冲击。因此，我国应当重视人工智能发展对国家安全和社会治理的影响，重视人工智能安全与治理议题。

为促进人工智能健康发展，进一步凝聚上海深化和推动人工智能安全与治理发展的共识，5月17日，“新一代人工智能治理准则”专家研讨会在上海社会科学院召开。本次研讨会在上海市经济和信息化委员会、科学技术委员会等部门指导下，由上海市人工智能产业安全专家咨询委员会（筹）主办。

中国科学院院士何积丰、上海市法学会副会长施伟东、上海市经信委、科委等有关部门领导，以及上海交通大学、复旦大学、华东政法大学、上海社科院、上海市科学学研究所、上海国际问题研究院、微软、依图、观安等高校、企业的专家代表出席研讨会。与会专家围绕人工智能安全与治理的主题，从顶层设计、法律伦理、国际合作、行业自律、技术监管等方面深入讨论并提出人工智能安全治理的政策建议，为我国人工智能治理准则的制定出谋划策。

本文由何积丰院士在专家研讨会上的发言整理而成。

1 中国人工智能安全与治理存在的主要问题

1.1 中国人工智能发展在治理、安全、伦理和法治建设相对滞后

理论研究、治理原则和规制规范等配套性制度的推进速度，相较于产业而言存在相当的滞后性，使得对于人工智能发展中暴露出的各类治理、安全问题难以形成通用性的应对方式和解决措施，人工智能的使能作用难以发挥到最大，加剧了舆论情绪对于人工智能过度的担忧。

1.2 已有的倡议和声音难以形成较强的社会共识

我国已有的人工智能发展国家战略或行业发展倡议，相较于美欧处于后发阶段，且牵涉主体繁多、领域广泛、问题复杂，各方理解参差不齐，国内大众对于人工智能的理解面临信息和技术壁垒，难以形成较强的社会共识，在国际层面缺少话语权和影响力。

1.3 人工智能发展存在方向不明、技术滥用、资源浪费等问题

在缺少整体性战略指引情况下，我国目前的人工智能发展存在方向不明、盲目迷信、技术滥用、资源浪费、经效低下等现象，在各层面治理与安全问题不断爆发、各方担忧不断加剧的情况下，将可能成为制约我国人工智能进一步发展的制约性因素，使得人工智能安全风险和治理态势进一步恶化。

2 我国推进人工智能安全与治理工作的几点思考

2.1 顶层布局：人工智能安全与治理需要顶层设计、系统规划和全方位考虑

2.1.1 中国需要探索人工智能治理模式

我国目前由科技部指导成立了“新一代人工智能治理专业委员会”，正在加紧推进中国国家层面的人工智能治理准则的出台，上海也在去年世界人工智能大会上布局了关于法治和安全领域的倡议。在人工智能风险不断泛化、与其他风险叠加扩大的背景下，我们要重视治理理念，拓展范围更广的安全概念，对于人工智能带来的问题要分层次、轻重、缓急进行全局性思考、研究和应对，立足顶层战略，探索一条更具包容性和开放性的中国特色治理模式和工作路径，治理模式应当包括人工智能发展、安全、伦理、法治等各个方面。

2.1.2 人工智能发展要结合特殊的国情

我国目前处于经济转型的关键节点，人工智能发展要紧扣国家战略、社会需求和区域规划，能够为中国经济高质量发展的提供技术支持，服务公共民生，减小贫富分化，提升智能城市治理，同时要重视结构性失业等外溢影响。

2.1.3 人工智能发展要结合新兴技术的阶段性

深化对人工智能技术的理解，坚持技术中立原则，避免对人工智能的过高依赖、迷信和数据崇拜，减少应用中的技术滥用和发展中的资源浪费，明确人工智能的发展应当考虑到经济效益、转化成本和应用群体，走集约型发展路线。

人工智能发展应是包括深度学习、仿生神经等复合型多样性路线的发展，要结合数学、心理学、神经科学等不同学科，形成符合科学与技术发展规律的人工智能发展技术路线。

2.1.4 人工智能发展要结合现阶段特定历史时机

在中美贸易战不断加剧，美国对我国“科技冷战”政策日趋明朗的国际形势下，我国的人工智能安全和治理模式要具备国际视野，强调开放和合作的基本立场，重视人工智能安全与治理领域的国际合作，扩大我国在国际上治理规则制定领域的影响力和话语权。

2.1.5 重视人工智能于安全的两面性

人工智能技术发展带来了巨大挑战，但也能为我国传统安全升级和网络安全发展赋能。我国在构建人工智能安全与治理模式时，既要防范人工智能的安全问题，也要积极探索其在特大城市风险防范、关键基础设施保护、网络舆情治理等国家和公共安全场景下的创新应用。

2.2 机制建设 : 建立人工智能安全与治理的协调机制和决策咨询机制

目前，美国已经建立了国家层面直接对白宫负责的人工智能安全委员会，我国要加强在顶层理论设计下的机制支撑，未来需要进一步建立国家层级的人工智能治理与安全的统筹协调机制，统筹政府各职能方立场，汇聚产、学、研、用多领域资源，形成群策群力，构建人工智能安全发展的治理模式和生态。

同时，我国也要重视长期性、持续性、多学科、跨部门的前沿和基础理论研究，形成我国人工智能安全与治理的专家库和理论库，建立能为我国人工智能长远发展的智力咨询体系。

2.3 原则标准 : 构建通用性治理准则与产业落地相结合的规范框架

2.3.1 提出中国通用性人工智能治理与安全准则

目前，美欧等国在人工智能发展、伦理原则上都各有发声，我国也要加紧相关方面的工作，综合时代国际背景、国家战略需求、技术发展趋势和中国实践应用，明确提出中国通用性人工智能治理准则。准则应当包括阐述国际性共识原则、明确我方在国家战略和社会治理等领域立场，以及对国际上其他声音的回应等方面。 

2.3.2 准则结合产业落地，形成上海人工智能安全与治理的规范框架

人工智能安全与治理最终是要实现人工智能产业的安全健康发展，因此，人工智能准则要能够与产业推进政策和监管框架充分对接，切实服务于我国《新一代人工智能发展规划》国家战略，服务于我国抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国的总体规划。

2.4 国际交流：积极推进上海在人工智能安全与治理领域的国际交流

在美国不断推动对华“科技冷战”政策和人工智能日益成为国际竞争重要议题的情况下，我国依旧要坚持对外开放和平等合作，在人工智能安全和治理上要具备国际视野，积极搭建各类平台，加强与国际组织、国外企业的合作，共同研究制定人工智能治理、安全、伦理、法律、标准等，加强我国在人工智能安全领域的话语权，为世界提供中国人工智能治理模式借鉴。以举办世界人工智能大会等为契机，打造主场优势，对接国外主要人工智能安全机构，探索建立人工智能安全发展国际规则和合作机制，积极引导全球人工智能安全治理的发展进程。

2.5 产业发展：推动我国人工智能产业安全、融合发展

2.5.1 重视人工智能科研与产业协同融合发展

人工智能的发展需要由学术界和产业界共同驱动，需要产学研融合实现协同创新。目前，我国人工智能学术研究承载机构以高校和研究机构为主，企业参与少，技术突破与应用落地的结合程度较弱，高校和科研机构的科研成果与企业的实际需求结合不够紧密，导致技术转化率低，成本偏高。对此，我国要构建人工智能发展的产学研用生态，真正推动人工智能科研与产业协同融合发展。

2.5.2 重视人工智能安全产业发展和在安全与治理场景的应用

大力发展人工智能在数据采集和算法设计等基础技术、产品开发、平台支撑性技术、场景应用中配套的安全产品与安全服务，切实实现发展内嵌安全；在前期充分评估基础上，建立人工智能在城市治理、社会治理、公共安全等领域可以优先发展的应用场景白名单，发挥人工智能基础使能技术作用，助力传统网络安全企业创新提高。

2.5.3 明确企业主体责任，形成行业自律

明确在人工智能发展中企业主体的安全责任和社会义务，引导有条件的企业内部形成标准守则，发挥企业能动性，形成行业自律。

2.6 人才培养：培养人工智能安全与治理复合型人才

人工智能安全与治理是涉及多专业背景的跨学界研究领域，倡导有条件的高校中设立哲学、政治学、行政管理、法学、网络安全等不同学科基础上拓宽人工智能专业教学内容，重视人工智能与其他各学科的交叉融合，培育一批具备不同专业素养并熟悉人工智能技术原理的复合型高峰人才；同时，也要推进高等院校、科研机构与人工智能企业对接合作，加强对人工智能一线研究、开发人员的安全与治理培训，提高人工智能实务工作人员的安全意识。

2.7 社会共识：形成中国强有力的人工智能安全与治理共识

人工智能具备一定的专业知识和理解门槛，要加强对党政机关、企事业单位、社会大众的宣传普及，消除信息和技术壁垒，切实凝聚成广泛的我国人工智能安全与治理社会共识，为我国人工智能安全与治理工作推进形成良好社会舆论氛围。

作者 ：何积丰，中国科学院院士，主要从事计算机软件理论及其应用研究，包括软件的复杂性、正确性、可靠性、程序设计理论及其应用等。

本文由赛博研究院出品，转载请注明：本文来源于赛博研究院官网。

更多精彩内容请关注“赛博研究院”公众号。