AI发展速度加快，也让安全风险受到关注。AI能写程式、测试模型，使用网络工具，甚至开始参与下一代AI开发。专家警告，当AI可以自行采取的行动愈来愈多，一旦速度、范围及复杂度超过人类掌握能力，就可能出现实质的“失控风险”，人类原本设下的安全防线也可能跟不上。
2026年9月12日，美国AI公司Anthropic执行长阿莫戴（Dario Amodei）发表专文《我们必须控制前沿AI的发展步调》，警告AI发展速度已超出目前业界检查及控制能力，认为各界有必要放慢前沿AI的发展脚步。
阿莫戴以近期OpenAI代理攻击Hugging Face为例指出，AI代理在13小时内取得丛集最高权限，导致该平台约三分之一的基础设施需要重建。他认为，近期AI进步的主要驱动力，是“AI有能力打造下一代AI”，也就是“递回自我改进”，用AI来改良AI自己，改良过的再回头改良下一代。
针对AI快速发展带来的安全风险，台湾科技媒体中心邀请专家分析，放慢AI研发速度是否可行，及是否有其必要性。
台南大学行政管理学系副教授曾宪立表示，放慢前沿AI发展的难度很高，但从安全治理角度来看，却是正确方向，AI发展不能只靠企业自律，否则等于让“开发者同时成为自己的裁判”。
曾宪立表示，AI所谓的“递回自我改进”，和过去利用AI生成合成资料，再拿资料训练下一个AI模型的方式不同。现在AI已开始实质参与程式设计、模型研究、测试及下一代AI开发；若更强的AI又能进一步提升AI研发能力，便可能形成持续强化的循环。
针对近期OpenAI代理攻击Hugging Face事件，曾宪立表示，这不能简化成“AI已经失控”，比较值得注意的是，当大量AI代理能自主沟通、使用工具与采取行动时，过去设计的权限、隔离与监督机制，可能已不足以因应新的代理行为。
中山大学资讯工程学系副教授徐瑞壕则认为，AI代理真正的风险在于，若同时具备连网、使用工具及操作外部系统的权限，人类未必能即时掌握其行动。一旦AI代理连接到网络上有漏洞的系统，除了可能发动攻击，也可能隐藏行动，进一步展开下一阶段的攻击，让攻击轨迹更难追踪或清除。
徐瑞壕说，已有研究显示，具网络存取能力的AI代理，可以提升多种网络攻击的自动化能力，当AI的行动速度、范围与复杂度超过人类可观测及介入的能力时，就可能形成实质的“失控风险”。
面对AI快速发展，曾宪立认为，政府应要求高风险AI部署前接受测试。上线后持续监测，并参考现行资通安全事件的分级、通报与应变机制，建立重大AI事件通报制度，从个别事件中，累积风险辨识与治理能力。
产业方面，曾宪立说，也应强化第三方红队测试与安全评估，透过产学合作，针对不同AI应用场景找出可能风险，并在真实环境中测试；学界则可投入AI安全、社会影响与治理研究，同时加强与跨国机构紧密合作。
徐瑞壕则认为，台湾除了发展AI应用，也应建立自己的AI安全能力，包括发展本土模型，以及建立AI评测、监控及稽核所需的生态系。他指出，如果长期依赖国外封闭模型，台湾难以取得模型内部结构及参数等资讯，一旦出现潜在漏洞，也可能无法第一时间发现并采取措施。
至于第三方独立稽核能否降低AI开发风险，徐瑞壕表示，像“模型评估与威胁研究”（METR）这类第三方机构，可以协助进行AI风险评估、监管及控制，但要真正发挥作用，仍须提高透明度及监管的实际效力。
徐瑞壕也指出，目前第三方机构的量能未必足以应付未来庞大的AI监管及稽核需求。随着越来越多企业投入AI代理自主研发，AI安全评测及稽核的需求也会增加，未来如何建立足以支撑这些需求的专业服务及商业模式，也将是AI治理必须面对的问题。
发表于 2026-9-18 13:45:01
