AI 안전의 경계 넓어진다…에이전트에서 피지컬 AI까지 검증해야
인공지능(AI)이 챗봇에서 외부 도구를 사용하는 에이전트와 현실의 장비를 움직이는 피지컬 AI로 진화하고 있다. 이제 단순히 유해한 답변을 차단하는 것만으로는 안전을 확보하기 어려워졌다. 이에 AI가 어떤 정보에 접근하고 누구에게 정보를 보내는지, 현실에서는 어떤 행동을 하는지까지 검증해야 한다는 지적이 나온다.
인공지능(AI)이 챗봇에서 외부 도구를 사용하는 에이전트와 현실의 장비를 움직이는 피지컬 AI로 진화하고 있다. 이제 단순히 유해한 답변을 차단하는 것만으로는 안전을 확보하기 어려워졌다. 이에 AI가 어떤 정보에 접근하고 누구에게 정보를 보내는지, 현실에서는 어떤 행동을 하는지까지 검증해야 한다는 지적이 나온다.
최근 개발자 커뮤니티에서 화제가 된 ‘포켓OS(PocketOS) 데이터베이스 증발 사건’은 회사 운영 인프라에 에이전트를 성급하게 연결했을 때 어떤 일이 벌어질 수 있는지 보여준다. 창업자 ‘제르 크레인(Jer Crane)’이 X(옛 트위터)에 직접 밝힌 이 사건의 전말과 원인을 짚어봤다.
메일을 읽고, 문서를 찾고, 외부 도구를 호출해 일을 처리하는 AI 에이전트는 이미 업무 환경에 들어왔다. AI 에이전트는 단순히 답을 내놓는 도구가 아니라 권한을 가진 실행 주체다. 그만큼 보안도 모델의 답변을 점검하는 수준에서 멈춰서는 안된다. AI 에이전트를 통제하려면 어떤 권한을 줄 것인지, 어떤 도구와 연결할 것인지, 어떤 환경에서 실행할 것인지부터 정해야 한다. 위험한 입력과 출력은 중간에서 걸러야 하고, 실행 환경은 격리해야 한다. 어떤 행동을 했는지 추적할 수 있는 로그와 배포 전 시험 평가도 필요하다.
파이오링크는 인공지능(AI) 기술을 보안 서비스에 도입하고 글로벌 시장을 확대하기 위해 빅스테크놀로지와 차세대 보안 솔루션 개발 협력을 강화한다고 20일 밝혔다.
지난주 막을 내린 세계 최대 규모의 사이버보안 전시회 RSAC 2026(RSA Conference 2026)은 보안업계의 시선이 어디로 옮겨가고 있는지를 보여줬다. RSAC 공식 보도팀에 따르면, 이번 행사에는 4만3500명 이상의 청중과 700명 이상 연사, 600개 이상 전시기업이 참여했다.
퀄컴은 5일(현지시각) 미국 라스베이거스에서 열린 CES 2026에서 스냅드래곤 디지털 섀시, 에이전틱 AI를…
자연어 기반으로 요구 분석부터 설계, 코딩, 테스트, 품질 진단까지 전 과정 AI가…
조직 전반에 설치, 글로벌 고객 관리 및 운영 체계 고도화 지원 세일즈포스는…
에이전틱 AI 기반 자동화 업무 혁신 크래프톤(대표 김창한)은 23일 사내 소통 프로그램인…
뷰티 브랜드 사례) 이 브랜드는 다양한 채널에서 소비자 반응 데이터를 수집했지만, 채널마다…
에이전틱 인공지능(AI)는 스스로 목표를 설정하고, 계획을 수립하며, 도구를 사용해 문제를 해결하는 자율적인…
한글과컴퓨터(이하 한컴)는 자체 개발한 핵심 인공지능(AI) 기술에 대한 논문 2편을 글로벌 기술…
솔트룩스는 오는 10월 1일 서울 강남구 한국과학기술회관 국제회의실에서 ‘에이전틱 AI의 마지막 퍼즐,…
와이즈넛(대표 강용성)은 국민건강보험공단의 에이전틱 인공지능(AI) 기반 전 국민 맞춤형 민원 상담 서비스…
LG CNS는 국내 공공 및 금융 시장에서 쌓아온 AX 사업 노하우를 바탕으로,…
End of content
End of content