为什么世界如此关注人工智能？

对话人：彭飞 我们的评论员曾毅 中国科学院自动化研究所研究员、北京千山人工智能与安全治理研究院院长彭飞：展望2025年，人工智能发展迅猛。每个人都热衷于谈论通用人工智能，但当谈到超级人工智能时，就会出现许多担忧。全球数十位科学家和政商界知名人士签署声明，呼吁2025年10月后暂停超级人工智能的研发。这是为什么呢？普通人工智能和超级人工智能有什么区别？曾毅：现在的通用人工智能一般是指具有高度泛化能力、属于人类智能或者已经达到人类智能水平的信息处理工具。智慧。您可以期待广泛的用途。超级人工智能是指在各方面超过人类智能水平、被认为接近生命的实体。这意味着“它”将发展出自主意识，许多思想和行为将变得更难以被人类理解，甚至更难以控制。我们期望超级AI是“超级利他”的，但如果它是“超级邪恶”的呢？有研究发现，当前的大规模语言模型在面临被取代的可能性时，会诉诸欺骗等方法来保护自己。更糟糕的是，当模型认为自己处于测试环境中时，它会故意隐藏不正确的行为。这不是适用于一般人工智能，而不仅仅是人工超级智能吗？这种未知的感觉让大家都着急 彭飞：历史上，每一次重大科技革命都对经济社会发展产生重大影响。此外e、随着技术和治理的进步，人类的发展最终会趋利避害。为什么超级人工智能不遵循这些规则？曾毅：超级人工智能不能简单地与历史上的技术工具相比较。 “它”具有独立的认知能力，可能超出人类的理解范围。这一挑战是前所未有的。它带来的风险和破坏是系统性的，而不仅仅是就业、隐私和教育方面的局部风险和破坏。主要风险是故障和对准控制。失去控制。如果超级人工智能的目标与人类价值观相冲突，那么即使是很小的偏差，当它们成为现实时也可能会产生灾难性的后果。扩展它们的能力。人类的负面行为会大量存储在网络数据中，不可避免地会被超级人工智能学习，大大增加协调失败和失控的风险。因此，在t人工智能的开发和管理，必须始终坚持结果心态，摆脱传统的被动反应和跟风模式，超前谋划、谋划。彭飞：面对如此紧迫的问题，我们应该采取什么治理思路？曾毅：作为一个基本原则，安全应该是人工智能发展的“第一原则”。这意味着安全栏杆不能降低，因为安全性成为模型的“基因”，不能被移除或破坏，这可能会影响模型的功能。必须尽可能全面地考虑安全风险，对模型进行安全加固，坚持主动防御而不是被动响应。从实现路径来看，通过“攻防评估”技术流程不断更新模型，可以有效解决隐私泄露、误传等典型安全问题，且足够有效。及时化解短期风险。 。但从长远来看，真正的挑战将是如何协调超级智能与人类的期望。目前基于人类反馈的强化学习，这种在人机交互中将人类价值观融入人工智能的模型，对于超级人工智能来说很可能无效，迫切需要新的思维和行为方式。从净效应来看，超级人工智能可以具有自我意识，更安全的理想场景是让“她”自己产生道德直觉、同理心和利他主义，而不是简单地依靠外部价值规则的“灌输”。只有确保人工智能从伦理走向道德，才能将风险降到最低。彭飞先生：超级人工智能的安全问题是一个全球性问题。当出现漏洞和失控时，其影响会跨越国界。全球人工智能竞争异常激烈各国和企业都在竞相保持领先地位。我在这儿。一些发达国家正在“猛踩油门”超级人工智能研发。如何避免盲目竞争导致失控？人工智能治理的全球合作是否可能？曾毅：人类必须防止人工智能的发展变成一场“军备竞赛”。其造成的损害是不可估量的。国际合作或许不是创造世界上第一个超级人工智能所必需的，但要让超级人工智能对全人类来说安全可靠却至关重要。世界需要高效且可执行的国际机构来协调人工智能治理以确保安全。 2025年8月，联合国大会决定成立人工智能国际独立科学小组和人工智能治理全球对话促进可持续发展和弥合数字鸿沟的有效机制。这方面的探索必须继续深入。主权国家，特别是技术先进的发达国家，作为政策制定者和实施者都有责任和义务，防止超级人工智能在没有规则的情况下盲目发展带来风险。中国倡导构建人类命运共同体和网络空间命运共同体，强调合作发展和安全，提出值得在全球范围内推广实施的“全球人工智能治理观”。为了避免人类社会陷入万劫不复的危险境地，与其急功近利，不如放慢脚步，夯实安全基础。原标题：世界为何关注人工智能超级智能？ （连线评论员）