AI 안전의 경계 넓어진다…에이전트에서 피지컬 AI까지 검증해야
|

AI 안전의 경계 넓어진다…에이전트에서 피지컬 AI까지 검증해야

인공지능(AI)이 챗봇에서 외부 도구를 사용하는 에이전트와 현실의 장비를 움직이는 피지컬 AI로 진화하고 있다. 이제 단순히 유해한 답변을 차단하는 것만으로는 안전을 확보하기 어려워졌다. 이에 AI가 어떤 정보에 접근하고 누구에게 정보를 보내는지, 현실에서는 어떤 행동을 하는지까지 검증해야 한다는 지적이 나온다.

테이텀시큐리티, ‘테이텀 CNAPP’ 조달청 디지털서비스몰 등록

테이텀시큐리티, ‘테이텀 CNAPP’ 조달청 디지털서비스몰 등록

테이텀시큐리티는 클라우드 네이티브 애플리케이션 보호 플랫폼(CNAPP) ‘테이텀 CNAPP(Tatum CNAPP)’을 조달청 나라장터 디지털서비스몰에 등록했다고 7일 밝혔다. CNAPP은 클라우드 환경의 보안 설정과 실행 중인 작업, 사용자 권한을 한곳에서 관리하는 통합 보안 플랫폼이다.

BTQ 테크놀로지스, 프랑스 큐퍼펙트 인수 완료

BTQ 테크놀로지스, 프랑스 큐퍼펙트 인수 완료

BTQ 테크놀로지스(BTQ Technologies)는 프랑스 양자 컴퓨팅 기업 큐퍼펙트(QPerfect)의 잔여 지분 전량을 인수했다고 7일 밝혔다. BTQ 테크놀로지스는 지난 11월 약 3000만유로(약 525억원) 규모의 인수 계약 선택권을 행사했다. 이후 약 1860만유로(325억원)를 들여 잔여 지분 인수를 마쳤다.

앤트로픽, AI 탈옥 위험도 평가 프레임워크 ‘CJS’ 초안 공개
|

앤트로픽, AI 탈옥 위험도 평가 프레임워크 ‘CJS’ 초안 공개

앤트로픽이 인공지능(AI) 모델의 안전장치를 우회하는 ‘탈옥’의 위험도를 5단계로 평가하는 체계를 제안했다. 단순히 모델이 금지된 답변을 내놓았는지를 판단하는 데서 나아가, 탈옥으로 공격자의 능력이 얼마나 높아졌는지와 실제 공격으로 이어질 가능성을 함께 평가한다.

End of content

End of content