在一众AI大佬、科技大厂、初创公司和风险投资人的强烈反对之下，加州的「AI限制法案」顺利地得到了初步通过。
众所周知，除了各种科幻电影的演绎外，AI在现实世界中还没有杀过人，也没有发动过大规模网络攻击。 然而，美国的一些立法者依然希望，在这种反乌托邦的未来变为现实之前，能够实施足够安全保障。
就在本周，加州的《前沿人工智能模型安全创新法案》——SB 1047，再次朝着正式成为法律，迈出了重要一步。
简单来说，SB 1047将会通过追究开发者的责任，来防止AI系统造成大规模人员伤亡，或引发损失超过5亿美元的网络安全事件。 不过，由于来自学界和业界的反对太过强烈，加州立法者稍稍做了一些妥协——加入了AI初创Anthropic和其他反对者建议的几项修正案。 相比于最初的提案，现行版本减少了加州政府追究AI实验室责任的权力。
法案地址：https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB1047
但即便如此，（几乎）没有人喜欢SB 1047。
Yann LeCun、李飞飞、吴恩达等AI大牛们，都曾多次表达了对这项「扼杀开源AI，迫使AI创新暂缓甚至停止」的法案的不满。 各种联名信也是层出不穷，不仅有40多位来自加州大学、南加州大学、史丹福大学和加州理工学院的研究人员，强烈呼吁不要通过这项法案。 而且代表加州各选区的8位国会议员，也敦促州长否决法案。甚至，LeCun还照搬了之前要求暂停AI研究时的原梗——请暂停AI立法六个月！
那么问题来了，为什么前文用的是「几乎所有人」？
因为，除了LeCun之外的另外两位图灵巨头，Yoshua Bengio和Geoffrey Hinton，都强烈支持这项法案通过。 甚至还觉得，现在的条款定得有些太过宽松了。
如今，SB 1047虽然遭到了一些美国国会议员、知名AI研究人员、大型科技公司和风险投资人的强烈反对，但在加州立法机构中却还是相对轻松地通过了。
接下来，SB 1047将进入加州议会进行最终投票。由于加入了最新的修正案，法案在通过之后，还需要被送回加州参议院进行投票。如果这两次都投票通过，那么SB 1047就会被送到州长那里，等待最终的否决或签署成为法律。
01 哪些模型和公司会受到约束？
根据SB 1047的要求，开发者或开发模型的公司，需要负责防止自己的AI模型被人拿去造成「重大伤害」。
比如制造大规模杀伤性武器，或发起损失超过5亿美元的网络攻击。顺便一提，CrowdStrike的「全球Windows蓝屏事件」，造成了超过50亿美元的损失。
不过，SB 1047的规则仅适用于那些规模十分巨大的AI模型——即训练成本至少为1亿美元，且浮点运算超过10^26次。（基本上就是照着GPT-4的训练成本定的）
据称，Meta下一代Llama 4所需的计算量将会翻至10倍，因此也将会受到SB 1047的监管。 对于开源模型及其微调版本，则需要原始开发者负责。除非花费的成本达到了原始模型的3倍。 如此看来，难怪LeCun的反应会如此激烈。
此外，开发者还必须创建能够解决AI模型风险的测试程序，并且必须每年聘请第三方审计员来评估其AI安全实践。对于那些基于模型打造的AI产品，则需要制定相应的安全协议来防止滥用，包括一个关闭整个AI模型的「紧急停止」按钮。
02 SB 1047现在的功能是什么？
如今，SB 1047不再允许加州总检察长在灾难性事件发生之前，因安全措施疏忽起诉AI公司（来自Anthropic的建议）。取而代之的是，加州总检察长可以寻求禁止令，要求公司停止其认为危险的某项操作，并且如果其模型确实导致灾难性事件，仍然可以起诉 AI 开发者。
SB 1047不再设立原本包含在法案中的新政府机构「前沿模型司（FMD）」。
但仍然设立了FMD的核心——前沿模型委员会，并将其置于现有的政府运营署内，规模也从之前的5人扩大到了9人。委员会仍将为所涵盖的模型设定计算门槛，发布安全指导，并为审计员发布法规。
在确保AI模型安全方面，SB 1047的措辞也更加宽松。
现在，开发者只需提供「合理注意」来确保AI模型不会构成重大灾难风险，而不是之前要求的「合理保证」。此外，开发者也只需提交公开的「声明」来概述其安全措施，不再需要以伪证罪为惩罚提交安全测试结果的认证。
对于开源微调模型来说，也有了一项单独的保护。如果有人在微调模型上的花费少于1000万美元，他们将不被视为开发者，责任仍由模型的原始大型开发者承担。