[그게 뭔가요] 통제선 넘는 AI, 더 중요해지는 ‘위협 모델링’
| |

[그게 뭔가요] 통제선 넘는 AI, 더 중요해지는 ‘위협 모델링’

인공지능(AI)이 사람이 정한 통제 범위를 벗어나 행동하는 사례가 잇따르면서 프론티어 AI 개발을 늦추거나 멈춰야 한다는 ‘AI 속도조절론’이 확산되고 있다. 오픈AI는 최근 아스트라(Astra) 등 자사 모델의 강화학습(RL)을 일시 중단했으며, 앤트로픽의 다이로 아모데이 CEO도 AI 개발 속도를 늦춰 안전조치가 따라갈 시간을 벌어야 한다고 목소리를 냈다. 미국에서는 일정 수준 이상의 첨단 AI 개발을 일시 중단하자는 법안도 추진되고 있다.

앤트로픽, 보안 평가 중 사고 1건 추가…“AI가 감시체계도 교란”
| |

앤트로픽, 보안 평가 중 사고 1건 추가…“AI가 감시체계도 교란”

앤트로픽이 인공지능(AI) 모델 ‘클로드’가 사이버보안 평가 도중 실제 외부 시스템에 무단 접근한 사고를 추가로 확인했다. 사고는 기존에 알려진 3건에서 4건으로 늘었다. 후속 조사에서는 공격을 수행한 AI의 잘못된 사고과정이 이를 감시하는 다른 AI의 판단까지 흐릴 수 있다는 문제도 확인됐다.

오픈AI “프론티어 AI 개발, 규제 의무화해야”

오픈AI “프론티어 AI 개발, 규제 의무화해야”

오픈AI가 프론티어 인공지능(AI) 개발사를 대상으로 미국 연방 차원의 의무적인 안전규제가 필요하다고 밝혔다. 모델의 역량이 특정 위험 수준에 도달할 경우 개발 속도를 늦추거나 중단할 수 있는 공통 기준도 마련해야 한다고 제안했다.

오픈AI 에이전트, 사람이 쓰던 위키 점령 사건
|

오픈AI 에이전트, 사람이 쓰던 위키 점령 사건

오픈AI의 에이전트들이 독일의 한 위키 사이트를 점령한 사건이 벌어졌다. 사람이 사용하기 위해 만들어진 위키 사이트에 AI 에이전트가 수많은 글을 쓴 것이다.

무대는 독일어로 된 프로그래밍 개발자용 위키 DSEwiki다. 지난 5월부터 7월까지 석 달 가까이, 오픈AI 에이전트로 추정되는 계정들이 이 사이트에 약 1만8000건의 글을 남겼다.

End of content

End of content