OpenAI首席科学家Jakub Pachocki警告，人工智能正在以极快速度演进 ，以至于越来越难以为人类所理解和控制 ，并称他期望AI实验室将出于安全考虑自愿放慢开发速度。
Pachocki周日在一篇文章中写道，在相对较短的时间内 ，AI模型已经能够操作电脑、与人类及其他AI系统协作 ，并开展研究项目 。他称，用不了多久 ，这些模型还将能够在没有人类干预的情况下改进自身 ，这一过程被称为“递归式自我改进” 。
“这是一个需要极度谨慎的时刻，”Pachocki写道。“我担心 ，没有人为机器智能持续快速提升所带来的后果做好准备 。 ”
他写道 ，开发者可以尝试更严格地引导AI，使其与人类利益保持一致 ，也可以“在必要时放慢未来的开发速度 ” 。他说：“我预计并希望 ，在建立共同安全门槛之前，自愿放缓开发将成为普遍现象。”
Pachocki的言论与AI科技公司高管更广泛的悲观警告相呼应 。Anthropic首席执行官Dario Amodei曾警告，AI可能取代一半的入门级岗位 。OpenAI首席执行官Sam Altman过去也曾作出类似预测 ，但他上周接受采访时表示 ，AI行业在向公众传达这项技术可能给人类带来的益处方面做得还不够。
不过，AI产品高速迭代的同时 ，网络安全能力、科学发现以及一些长期数学难题的形式化处理方面也取得了突破 。OpenAI以最新GPT-6 Astra模型具备先进网络安全能力为由 ，选取 限制其发布范围 。Anthropic出于类似原因，也尚未向公众发布其最先进的Mythos模型。
越来越多初创公司正在推动的恰恰是Pachocki所警告的能力 ，即能够自我改进的AI 。投资者正大量涌入递归式自我改进领域 ，押注这是通往真正类人 、甚至超越人类水平人工智能的路径 。由前DeepMind研究人员创立的Inherent今年早些时候融资5000万美元。知名科学家Richard Socher创立 、从事类似研究的AI实验室Recursive Superintelligence，也获得了6.5亿美元融资。
Pachocki所在的OpenAI此前曾表示 ，希望在不到两年内打造出“真正的自动化AI研究员 ” 。
