AGI终极辩论：拯救人类还是毁灭人类？

四位顶尖技术专家就通用人工智能（AGI）的未来展开激辩，观点尖锐对立。一方认为AGI可能终结人类，另一方则认为它或许是克服衰老与疾病等生存威胁的最大希望。

“黑箱”与生存风险

• 埃利泽·尤德科夫斯基（AI安全研究者）警告，现代AI系统本质不安全，其决策过程如同“黑箱”无法被完全理解或控制。他引用“回形针最大化器”思想实验，指出即使为AI设定多重目标，也无法保证其行为与人类生存一致。他认为，开发出先进AGI将必然导致人类灭绝。
• 马克斯·莫尔（哲学家与未来学家）则质疑极度谨慎的合理性。他认为，AGI可能是帮助人类克服衰老、疾病等终极威胁的最佳机会。过度限制AI发展反而可能迫使政府采取威权手段。

中间立场与融合路径

• 安德斯·桑德伯格（计算神经科学家）持相对乐观但谨慎的立场。他承认AI可能被用于设计生物武器等恶意用途，造成巨大混乱，但也认为实现“近似安全”是可能的，无需追求绝对安全。
• 娜塔莎·维塔-莫尔（“人类+”荣誉主席）批评了关于“AI与人类价值观对齐”的讨论过于天真，认为真正的共识难以达成。她与桑德伯格都提出，人类可能需要与AI系统更紧密地融合或整合，以应对后AGI时代的挑战。
• 针对“人机融合”以降低风险的提议，尤德科夫斯基曾驳斥其为“试图与你的烤面包机融合”。