여러 AI 리더, 대형 기술 기업, 스타트업, 벤처 투자자들의 강력한 반대에도 불구하고, 캘리포니아의 'AI 제한 법안'이 무사히 초도 통과되었습니다.
널리 알려져 있듯이, AI는 아직 현실 세계에서 사람을 죽이거나 대규모 사이버 공격을 일으킨 적이 없습니다. 하지만 미국의 일부 입법자들은 이러한 디스토피아적인 미래가 현실이 되기 전에 충분한 안전 조치를 취하고자 합니다.
이번 주, 캘리포니아의 '최첨단 인공지능 모델 안전 혁신법안(SB 1047)'이 법으로 공식 채택되기 위한 중요한 단계를 또 한 번 밟았습니다.
간단히 말해서, SB 1047은 AI 시스템이 대규모 인명 피해를 초래하거나 5억 달러 이상의 손실을 초래하는 사이버 보안 사건을 방지하기 위해 개발자들에게 책임을 묻는 법안입니다. 그러나 학계와 업계의 강력한 반대 때문에, 캘리포니아 입법자들은 몇 가지 타협을 했고, AI 스타트업인 Anthropic과 다른 반대자들이 제안한 몇 가지 수정안을 통합했습니다. 초기 제안과 비교해 현재 버전은 캘리포니아 정부가 AI 연구소에 책임을 묻는 권한을 줄였습니다.
법안 링크: SB 1047 링크
그럼에도 불구하고, (거의) 아무도 SB 1047을 좋아하지 않습니다.
얀 르쿤(Yann LeCun), 리 페이페이(Fei-Fei Li), 앤드류 응(Andrew Ng) 같은 AI 대가들은 이 법안에 대해 불만을 여러 차례 표명했으며, 이 법안이 '오픈소스 AI를 억제하고, AI 혁신을 지연시키거나 심지어 멈추게 한다'고 강하게 비판했습니다. 다양한 연명 서명도 잇따랐으며, 캘리포니아 대학, USC, 스탠퍼드 대학, 칼텍의 40여 명 이상의 연구원들이 이 법안을 통과시키지 말 것을 강력히 호소했습니다. 뿐만 아니라, 캘리포니아 각 지역구를 대표하는 8명의 연방 하원의원들도 주지사에게 이 법안을 거부할 것을 촉구했습니다. 심지어 르쿤은 AI 연구 중단을 요구했던 예전의 요청을 그대로 반복하며, "AI 입법을 6개월 동안 중단해달라!"고 외쳤습니다.
그렇다면 왜 "거의 모두"라고 했을까요? 왜냐하면, 르쿤 외에도 다른 두 명의 튜링 상 수상자, 요슈아 벤지오(Yoshua Bengio)와 제프리 힌턴(Geoffrey Hinton)은 이 법안의 통과를 강력히 지지하고 있기 때문입니다. 그들은 오히려 현재 조항이 너무 관대하다고 생각합니다.
SB 1047은 몇몇 연방 의원들, 유명한 AI 연구원들, 대형 기술 기업들, 벤처 투자자들의 강력한 반대에도 불구하고, 캘리포니아 입법부에서 상대적으로 쉽게 통과되었습니다.
다음 단계로 SB 1047은 캘리포니아 주의회에서 최종 투표를 진행하게 됩니다. 최근 수정안이 추가되었기 때문에, 법안이 통과되면 다시 캘리포니아 상원으로 보내져 추가 투표가 이루어질 것입니다. 두 번의 투표에서 모두 통과되면, SB 1047은 주지사에게 보내져 최종 거부 또는 서명을 통해 법으로 채택될 것입니다.
01 어떤 모델과 회사가 제약을 받을 것인가?
SB 1047에 따르면, 모델을 개발하는 개발자나 회사는 자신의 AI 모델이 '중대한 피해'를 초래하지 않도록 책임을 져야 합니다.
예를 들어 대량 살상 무기 제조나 5억 달러 이상의 손실을 초래하는 사이버 공격을 방지해야 합니다. 참고로 CrowdStrike의 '전 세계 Windows 블루스크린 사건'은 50억 달러 이상의 손실을 초래했습니다.
그러나 SB 1047의 규정은 훈련 비용이 최소 1억 달러 이상이고, 부동 소수점 연산이 10^26번 이상인 매우 대규모 AI 모델에만 적용됩니다. (기본적으로 GPT-4 훈련 비용을 기준으로 설정된 것입니다)
메타의 차세대 Llama 4는 필요한 계산량이 10배 증가할 예정이므로 SB 1047의 규제를 받을 것입니다. 오픈소스 모델 및 미세 조정된 버전은 원래 개발자가 책임을 져야 하며, 비용이 원래 모델의 3배 이상 발생하지 않는 한 책임을 지지 않습니다. 이러한 점을 감안할 때 르쿤의 반응이 왜 그렇게 강한지 이해할 수 있습니다.
또한, 개발자는 AI 모델의 위험을 해결할 수 있는 테스트 프로그램을 만들어야 하며, 매년 제3자 감사원을 고용하여 AI 안전 관행을 평가해야 합니다. 모델을 기반으로 한 AI 제품의 경우, 남용을 방지하기 위한 안전 프로토콜을 마련해야 하며, AI 모델 전체를 중지할 수 있는 '비상 정지' 버튼을 포함해야 합니다.
02 SB 1047의 현재 기능은 무엇인가?
SB 1047은 이제 캘리포니아 주 법무장관이 재앙적 사건이 발생하기 전에 안전 조치 소홀로 AI 회사를 기소할 수 없도록 하고 있습니다 (Anthropic의 제안). 대신 캘리포니아 법무장관은 회사가 위험하다고 판단한 작업을 중단하도록 금지 명령을 요청할 수 있으며, 모델이 실제로 재앙적 사건을 일으킨 경우 여전히 AI 개발자를 기소할 수 있습니다.
SB 1047은 법안에 원래 포함된 새로운 정부 기관인 '첨단 모델 부서(FMD)'를 더 이상 설립하지 않습니다.
그러나 여전히 FMD의 핵심인 '첨단 모델 위원회'를 기존 정부 운영 기관 내에 설립하며, 규모도 5명에서 9명으로 확대됩니다. 위원회는 여전히 포함된 모델의 계산 임계값을 설정하고, 안전 지침을 발행하며, 감사원을 규제하기 위한 규정을 발행합니다.
AI 모델의 안전을 보장하는 데 있어서도 SB 1047의 문구는 더욱 완화되었습니다. 개발자는 이제 '중대한 재난 위험을 초래하지 않도록' '합리적인 주의'를 기울이면 되며, 이전에 요구되었던 '합리적인 보장' 대신 '합리적인 주의'만 필요합니다. 또한 개발자는 더 이상 보안 테스트 결과를 허위 증언으로 처벌하는 인증서를 제출할 필요 없이, 공개 '선언'만 제출하여 보안 조치를 개괄적으로 설명하면 됩니다.
오픈소스 미세 조정 모델의 경우, 1천만 달러 미만의 비용으로 미세 조정된 경우 책임이 원래 대형 개발자에게 유지되며, 미세 조정된 개발자로 간주되지 않습니다.