在数字化时代，人工智能正迅速成为推动社会持续健康发展的关键力量。从智能城市的构建到关键基础设施的运维，人工智能的应用无处不在。但随技术的快速的提升，我们如何确保人工智能的安全和可靠？元战略梳理概括美国兰德公司最新研究，探讨AI在关键基础设施的应用及其带来的风险，以期为读者提供参考。 美国国家标准与技术研究院（NIST）将AI定义为“致力于开发数据处理系统的计算机科学分支，这些系统通常执行与人类智能相关的功能，如推理、学习和自我改进”。人工智能分为狭义人工智能（Artificial Narrow Intelligence，ANI）、通用AI（Artificial General Intelligence，AGI）、超级人工智能(Artificial Super lntelligence，ASI)。狭义人工智能通常在汽车驾驶、游戏和医疗诊断等方面比人类更好、更快。通用AI是指具有高效的学习和泛化能力、可以依据所处的复杂动态环境自主产生并达成目标的智能体。超级AI可以设定自己的目标，而不是依赖于人类的认识和理解。研究指出，目前我们主要处于ANI阶段，尽管有些技术已展现出了AGI的初步迹象。 由于关键技术来自多个领域，每个领域都为人工智能技术制定了特定的分类标准，因此不存在单一的权威性人工智能分类标准。例如，在《AI在智慧城市中的应用：全面回顾》一文中，作者指出了六种关键的人工智能技术：机器学习(包括深度学习和预测分析)、自然语言处理(包括转译、信息提取和分类以及聚类)、计算机语音(包括语音转文本和文本转语音)、计算机视觉(包括图像识别和机器视觉)、专家系统和机器人技术。 此研究借鉴了有关智慧城市的文献，因此，研究认为在城市的关键基础设施中嵌入人工智能的早期能力是发展智慧城市的初始阶段。智慧城市这一假设的内在含义是，关键基础设施对于社会的安全和有效运行、人口的安全以及经济的运营至关重要。智慧城市的例子为AI应用如何融入教育、医疗保健、能源、环境、废物和危险管理、农业和灌溉和交通以及本地化灾害和风险管理等领域提供了路线图。此研究认为，AI将像互联网、移动蜂窝设备和GPS技术一样无处不在，并且在许多关键基础设施领域提高了生产力和效率。 研究者制定了一个评估新兴技术风险的框架，该评估包括对技术可用性(TAV)和风险和场景评估（RS）。TAV评估涵盖五个方面：科学和技术成熟度；用例、需求和市场力量；投入的资源；政策、法律、道德和监管障碍；和技术可得性。RS评估包括三个方面：威胁、脆弱性和后果。T类和R类的评级从1到5不等，其中1代表挑战很多，5代表挑战很少，甚至没有一点挑战。五个TAV领域的平均值被纳入新兴技术风险评估。为了在后果评估中对新兴技术作比较，研究者根据可能的受影响程度（国家、地区或地方）、潜在死亡率和发病率以及可能的经济和社会破坏程度对影响进行了评级。通过计算威胁、脆弱性、后果和TAV平均值，可将特定情景下的新兴技术风险评估为低（02）、中（24）或高（4至5）。这些评估在三个时期内重复进行：短期（最多三年）、中期（三至五年）和长期（五至十年）。这样，就可以对TAV和RS跟着时间的推移将受到的影响进行单独和集体评估。在评估中，考虑了威胁、脆弱性和后果跟着时间的推移会如何演变，还有是不是已经开展了任何能够更好的降低风险的准备、缓解和应对活动。 TAV评估是在不涉及具体潜在风险的情况下独立进行的。第一，构成人工智能的众多技术成熟度各不相同，这使得为AI领域确定一个精确的技术准备水平（TRL）变得具有挑战性。因此，一种更有效的方法是将各个人工智能技术的TRL与其可能的应用案例联系起来，做评估。第二，考虑到人工智能的加快速度进行发展可能会变得“不可控和不可逆，因此导致人类文明出现不可预见的变化”，为此，技术发展和相应的保护措施应当同步考虑，以确保避免这种失控状态的发生。第三，开发者、用户甚至整个社会都应该预见到，AI应用将面临固有的脆弱性和挑战，此研究认为这种影响将具有累积性。例如，数据科学、网络领域以及物联网都存在漏洞，这些漏洞可能会在人工智能平台中相互结合和融合。为确保人工智能的安全使用，这些影响需要得到妥善的缓解。 人工智能技术可能被滥用于攻击，如通过错误输入设计基础设施或利用生成对抗网络技术发动网络攻击。物联网的融合增加了网络攻击的脆弱性，AI系统可能被用于无人干预的网络侦察和攻击。人工智能还能开发逃避网络防御的恶意软件，利用生成对抗网络针对个人进行社会工程攻击。内部威胁也是核心问题，可能在AI系统的开发和使用中引入不安全因素。AI系统的自主权程度也是一个潜在风险，错误的自主响应可能会引起问题。 人工智能系统的规模、范围和复杂性是其脆弱性的重要的条件。小规模、特定领域的AI应用可能不可能会引起太多担忧，但随着应用的范围和规模扩大，例如无人驾驶车辆和金融服务，担忧也随之增加。AI在智慧城市或电网等关键基础设施中的应用可能会被用于攻击计划，而针对美国选举系统的人工智能使用，或AI在开发生物和化学武器方面的潜在用途，都引起了广泛的关注。随着AI系统复杂性的增加，接近通用AI时，人类理解人工智能决策的难度也随之增加，这增加了脆弱性。为减少这种脆弱性，需要遵循负责任、公平、可追溯、可靠和可控的AI技术原则，并重视使用生成对抗网络、验证人工智能模型的协议以及减少AI发展和使用有关技术的脆弱性。 与人工智能用例相关的后果也会受到应用场景范围、规模和复杂性的影响。范围广、规模大的关键基础设施项目和部门预计会产生难以处理的后果。如果关键基础设施受到人工智能威胁的攻击，或者人工智能设计系统发生故障，那么对整个部门甚至是单一部门重要部分的关键基础设施就非常有可能产生更大的影响。此研究认为谨慎地部署AI系统是一个有用的方法，特别是如果它们直接与公众交互。确保设置适当的防护栏，使AI反映适当的目标也十分重要。此外，建立公众对AI系统的信任，对利用人工智能带来的机遇并减少挑战也至关重要。 人工智能的影响力有望与互联网相媲美，并渗透至社会的各个层面，尤其是关键基础设施领域。AI已经大范围的应用于制造业、金融服务、交通、医疗保健、能源、食品和农业等多个关键领域。研究指出，人工智能的发展和安全性将受到与新兴技术相同的诸多因素的影响，包括网络安全的维护、知识产权的保护、关键数据的保障以及专有方法和流程的维护。若这样一些方面得不到妥善处理，可能会给国家的关键基础设施带来潜在的巨大风险。 研究指出，AI领域包含众多技术，这些技术一旦成熟，将被整合进人工智能关键基础设施相关系统中。因此，人工智能科学和技术成熟度将依赖于几个重要的技术领域，包括高性能计算、先进半导体开发和制造、机器人技术、机器学习和自然语言处理，以及积累和保护关键数据的能力。尽管AI在过去十年中受到广泛关注，但该技术仍处于相对初级的成熟阶段。 研究指出，未来AI在关键基础设施领域的应用将不断扩展，以提高现有基础设施的效能与效率。这既带来了挑战也带来了机遇，需要审慎地进行管理。研究指出，AI在某些应用和场景中的融入速度可能超过其他技术。因此，AI在关键基础设施中的应用应该更加谨慎且有序。 免责声明：本文转自元战略。文章的主要内容系原作者本人观点，本公众号编译/转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们！ 国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我们国家的经济、科技社会持续健康发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科学技术、经济发展形态趋势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科学技术创新洞见。
