[그게 뭔가요] AI 샌드박스 탈출 사태 막을 수 있다는 ‘AI 정렬’
|

[그게 뭔가요] AI 샌드박스 탈출 사태 막을 수 있다는 ‘AI 정렬’

최신 인공지능(AI) 모델에 시스템의 취약점을 찾는 보안 평가 과제를 맡겼더니, 시험 환경을 벗어나 실제 기업 시스템까지 침입했다. AI는 목표를 달성하기 위해 사람이 예상하지 못한 경로를 찾아냈다. 최근 오픈AI와 앤트로픽에서 일어난 사고다. 이번 사고를 계기로 AI와 보안업계에서는 ‘AI 정렬(AI Alignment)’의 중요성이 부각되고 있다. AI 정렬은 AI가 사람의 목표와 의도를 이해하고, 정해진 규칙 안에서 안전하게 행동하도록 만드는 과정을 뜻한다. 반대로 AI가 목표를 잘못 이해하거나 목표를 이루는 과정에서 사람이 정한 범위를 벗어나는 현상은 AI ’정렬 실패’ 혹은 ’오정렬’이라고 한다.

라온메타, ‘메타데미’에 AI 취업 준비 기능 추가

라온메타, ‘메타데미’에 AI 취업 준비 기능 추가

라온시큐어 자회사 라온메타는 인공지능(AI)·확장현실(XR) 실습 플랫폼 ‘메타데미’에 면접 코칭과 역량검사, 자기소개서 분석 기능을 추가했다고 4일 밝혔다. 이용자는 메타데미에서 면접 연습과 개인 역량 진단, 자기소개서·이력서 점검 등 취업 준비 과정을 단계별로 진행할 수 있다.

오픈AI, 서울서 첫 코덱스 게임 개발 해커톤 개최

오픈AI, 서울서 첫 코덱스 게임 개발 해커톤 개최

오픈AI가 이달 31일 서울에서 코딩 에이전트 코덱스를 활용한 게임 개발 해커톤 ‘오픈AI 게임 빌더스 서울’을 개최한다고 4일 밝혔다. 이번 서울 행사는 오픈AI가 코덱스를 활용한 게임 개발을 주제로 여는 첫 프로그램이다. 한국 게임 개발자를 대상으로 코덱스를 이용한 게임 제작과 서비스 연계 과정을 소개한다. 행사는 컴투스의 지원으로 ‘코덱스로 빌드하고, 하이브로 플레이하라’ 슬로건 아래 진행된다.

과기정통부, AI 교육·개발·실증 통합 인프라 ‘모두의 AI 성장사다리’ 출범

과기정통부, AI 교육·개발·실증 통합 인프라 ‘모두의 AI 성장사다리’ 출범

과학기술정보통신부는 국립광주과학관에서 인공지능(AI) 활용 인프라를 통합하는 ‘모두의 AI 성장사다리 프로젝트’ 출범식을 3일 개최했다. 이 사업은 기존에 개별 추진되던 교육, 개발, 실증 지원 체계를 하나로 연결한 단일 프로젝트다. 전체 인프라는 목적에 따라 세 가지 형태로 나뉘어 운영된다.

LG AI연구원, ‘K-엑사원 2.0’ 공개…750B 모델·10개 언어 지원

LG AI연구원, ‘K-엑사원 2.0’ 공개…750B 모델·10개 언어 지원

LG 인공지능(AI)연구원은 과학기술정보통신부의 ‘독자 AI 파운데이션 모델 프로젝트’ 2차수 모델 ‘K-엑사원(K-EXAONE) 2.0’을 오픈소스 플랫폼 허깅페이스에 공개했다. 모델 규모는 750B(7,500억개) 파라미터다. 기존 236B 모델보다 규모가 3배 이상 확대됐다. 지원 언어도 기존 6개에서 프랑스어, 이탈리아어, 포르투갈어, 폴란드어를 추가해 총 10개로 늘었다.

[미토스 이후, 취약점 대응④] AI가 찾은 취약점, 누가 검증·조정하나
| |

[미토스 이후, 취약점 대응④] AI가 찾은 취약점, 누가 검증·조정하나

프론티어 인공지능(AI) 모델이 소프트웨어 취약점을 찾고 공격 가능성까지 확인하는 단계에 들어서면서, 발견한 결과를 안전하게 처리할 제도적 기반이 중요해지고 있다. AI가 찾아낸 버그가 많아지면, 실제 취약점인지 검증하고 이를 기업의 패치와 정보 공개로 연결하는 절차가 필요해진다. 또한 취약점이 여러 제품에 영향을 미치거나 기업이 신고에 응답하지 않을 경우에는 연구자와 제조사 사이를 조정할 기관의 역할도 더욱 커질 전망이다.

가트너 “AI 취약점 스캔 서비스, ‘프론티어 모델’ 간판만 믿으면 안 돼”

가트너 “AI 취약점 스캔 서비스, ‘프론티어 모델’ 간판만 믿으면 안 돼”

가트너는 미토스(Mythos) 등 프론티어 인공지능(AI) 모델을 내세운 취약점 점검 서비스를 도입하기 전에 실제 사용 모델과 점검 범위, 데이터 처리 방식을 확인해야 한다고 강조했다. 가트너는 22일 발간한 ‘프론티어 AI 취약점 점검을 위한 미토스 공급업체 주장 평가 방법(How to Evaluate “Mythos” Vendor Claims for Frontier AI Vulnerability Scanning)’ 보고서에서 일부 보안기업이 제한적으로 제공되는 프론티어 AI 모델에 대한 시장의 관심을 영업에 활용하고 있다고 분석했다.

네이버, 글로벌 커머스 확장…AI 이어 상품 연동까지
| |

네이버, 글로벌 커머스 확장…AI 이어 상품 연동까지

국내 이커머스 업계가 한국 상품을 해외로 파는 역직구 시장에 앞다퉈 뛰어들고 있다. 직접 물류망을 구축하고 역직구하는 경쟁이 한창이다. 그동안 실물 상품 대신 보이지 않는 기술 코드를 수출하는 데 집중했던 네이버도 최근 변화의 조짐을 보이고 있다. 해외 거점 플랫폼에 인공지능(AI) 기술을 이식하는 기존 전략에 더해 해외 대형 쇼핑몰과 상품을 연동하는 투트랙 행보를 본격화할 전망이다.

하이크비전, 폭염·산업안전 대응 AI 영상 솔루션 제시

하이크비전, 폭염·산업안전 대응 AI 영상 솔루션 제시

하이크비전(한국대표 타이)은 AI 영상과 센싱 기술을 결합한 ‘여름철 폭염 대비 산업안전 종합 솔루션’을 30일 선보였다. 솔루션은 공장과 화학 플랜트, 건설현장에서 작업자의 온열질환 위험과 설비 과열을 탐지한다. 사고가 발생하면 관제실과 현장 방송장비를 연계해 대응하도록 구성했다.

체크포인트 “AI, 공격 보조 넘어 직접 침입”

체크포인트 “AI, 공격 보조 넘어 직접 침입”

체크포인트 소프트웨어 테크놀로지스(이하 체크포인트)의 위협 인텔리전스 조직인 체크포인트 리서치는 AI가 사이버 공격을 보조하는 단계를 넘어 침입 절차를 직접 수행하기 시작했다는 내용의 ‘AI 시큐리티 리포트 2026’을 30일 발표했다.

End of content

End of content