人工智能技术革新的速度和力度令人眩目，在人们欢呼技术进步红利之余，越来越多的人担忧人工智能技术是否足够安全。霍金、比尔·盖茨等科技巨擘们都开始警示：无度发展可能导致人工智能最终反制人类，造成不可控的毁灭。毕竟在人类的漫漫进化之路上，人类经历无数次血与火的淬炼，才懂得相互之间沟通与妥协，才逐渐学会了如何同类合作及和睦相处，反观由人类一手创造出来的超级智能则会拥有远远超越人类的能力、意志，但是否还存在与人类相似的价值观和社会规范呢？人工智能时代，人类如何取得共识并相互协作，确保一个安全和谐的智能未来。

　　人工智能面临的安全挑战

　　美国兰德公司2017年发表报告指出人工智能时代最应关注的问题是安全和就业，次要问题还有健康、政策制定、冲突解决、网络安全和隐私等问题，本质原因是技术的潜在缺陷及其应用程度不同带来的不平等，而且人们倾向于无条件信任人工智能，从而造成“自动化偏见”。在就业领域，人工智能必然会取代许多职业，再现人们以往争论不休的“机器替代人类”的伦理道德问题，但技术进步还将创造新的工作机会。

　　从技术层面来看，人工智能的最大安全问题是存在黑盒风险，其研发目标及其实施、运行机制等均不透明且不可解释，另外当前通过挑选和响应大量数据来完成机器学习的模式，仅仅是考虑如何提供和保护这些数据，就带来了隐私保护、数据安全及潜藏的算法偏见和歧视问题。

　　从应用角度来看，人工智能将应用于健康、医疗、社会管理等领域，尤其是武器化人工智能，将带来人类尊严、伦理道德等价值观问题，未来人工智能技术的自我提升，将加剧此类问题。

　　在社会文化层面，潜在风险是人们对人工智能观念过度分化，普通人难以理解技术的复杂性和多样性，另外当前法律法规对人工智能的监管还存在大量的灰色地带，人工智能带来的安全责任无法分担等诸多问题。

　　这些问题若得不到稳妥解决，势必给人工智能技术的广泛应用蒙上阴影，给技术的进一步发展带来障碍。

　　全球各界的安全举措

　　当前各国政府、企业、智库以及专家学者等也纷纷提出各自的政策、倡议、举措或见解等，这些提议反映出人类对于人工智能技术发展的思考和忧虑，及针对性的对策。

　　关于人和智能机器如何相处，最著名的莫过于由科幻小说家阿西莫夫在1942年提出的“机器人三定律”：（1）机器人不得伤害人类，或因不作为使人类受到伤害；（2）除非违背第一法则，机器人必须服从人类的命令；（3）在不违背第一及第二法则下，机器人必须保护自己。在现实研究与应用领域中，这个原则略显空泛、难以操作。

　　在政府报告中，最典型的是2016年美国政府发布的白宫报告《为未来人工智能做好准备》，美国政府认为人工智能越来越重要，美国需为未来做好准备，因此制定人工智能的发展路线和策略。该报告一共有23条建议，覆盖人工智能应用及给社会和公共政策带来的挑战，如利用人工智能技术来提升社会福利和改进执政水平、鼓励协同创新并保护公众利益，提出为人工智能技术制定监管措施，采取措施确保技术应用应当是公正的、安全和可控的等建议。欧盟则在2018年4月由25个成员国共同签署了《人工智能合作宣言》，鼓励成员国在共同促进创新、增进技能和法律援助等3方面进行合作，达成如人工智能研发与应用、安全到责任区分等14条一致性事项。

　　联合国尚未形成正式的指导原则，但汇集当前数个较有影响力的呼吁、原则和建议等设计新框架，将全部事务分为14个领域，如“实现有益的人工智能研发”“全球治理、竞争条件与国际合作”“经济影响、劳动力转移、不平等及技术性失业”“责任、透明度和可解释性”“网络安全”“自主武器”“通用人工智能与超智能”等，在每个领域直接引用第三方提出的原则与建议。

　　业界则有《阿西洛马人工智能原则》、谷歌人工智能原则等，其中发表于2017年1月阿西洛马人工智能原则尤为突出，此原则合计23条、分为“科研问题”“伦理道德”及“长期问题”三部分，倡议全球工业界、研究界采取措施共同保障人类未来的利益和安全。同在2017年1月，美国IBM公司提出“目的、透明度、技能”的人工智能三原则。而近年来在此领域取得极大成就的美国谷歌公司，为回应2018年4月份数千名员工呼吁终止与美国国防部合作项目并要求不再“研发战争技术”，终于在6月份通过官方博客发布了关于使用人工智能的七项指导原则和四类场景不应用的承诺，如由人类担责、保证隐私、提前测试等原则，避免人工智能技术造成或防止加剧社会不公，承诺不将人工智能技术应用于开发武器等。

　　我国对人工智能的发展也极为重视，近几年相继发布了《“互联网＋”人工智能三年行动实施方案》《新一代人工智能发展规划》和《促进新一代人工智能产业发展三年行动计划》等一系列政策性文件，从战略层面引领人工智能发展。科大讯飞则在2016年发出人工智能四点宣言（深圳宣言），2017年腾讯则提出确保人工智能应走向“普惠”和“有益”，提出“自由、正义、福祉、伦理、安全、责任”六原则。

　　人工智能安全发展上海倡议

　　为了应对人工智能的安全挑战，守护智能时代的人类未来，在上海举办首届世界人工智能大会之际，世界人工智能大会安全高端对话联合国内外人工智能领域专家学者和产业同仁，充分吸纳国内外人工智能安全共识的基础上，发起“人工智能安全发展上海倡议”，内容包括：

　　面向未来：人工智能发展需要保持创新与安全的协同，以安全保障创新，以创新驱动安全。不仅要确保人工智能创新应用的安全，同时应当将人工智能积极应用于解决人类安全难题。

　　以人为本：各国需要科学规划人工智能发展的路径，确保人工智能按照人类预想并服务于人类福祉的目标发展，对人工智能自主进化和自我复制等须进行严格的评估和监管。

　　责任明晰：人工智能发展应当建立完备的安全责任框架，需要根据各国的法律法规和伦理规范，不断探索人工智能安全责任认定和分担机制。

　　透明监管：人工智能发展应当避免技术黑箱导致的安全风险，需要通过建立可审查、可回溯、可推演的透明监管机制，确保目标功能和技术实现的统一。

　　隐私保护：人工智能发展不得危害用户隐私和数据安全，人工智能技术和模式的创新不得以牺牲用户隐私权为代价，需要在各国法律框架下开展人工智能隐私和数据的保护。

　　算法公正：人工智能发展应避免由于算法偏见引发的社会危害，须明确算法设计动机和可解释性，克服算法设计和数据收集引发的不公正影响。

　　和平利用：人工智能技术需要审慎运用在军事领域，自主化武器的研发和使用须通过严格的风险评估，避免人工智能军事领域无序应用对全球和平稳定的威胁。

　　国际合作：人工智能发展需要各国秉持开放共进的精神，通过在国际范围建立人工智能规范和标准，避免技术和政策不兼容导致的安全风险，积极推动各国人工智能安全发展。

　　 （作者：石建兵，系上海赛博网络安全产业创新研究院高级研究员）