텍스트 한 줄에 뚫리는 AI, “듀얼 LLM 격리가 해법”
인공지능(AI)이 사용자 대신 검색하고 판단하며 각종 작업을 수행하는 에이전트(Agent) 시대가 본격화하면서, 외부 데이터를 악용해 AI의 판단과 행동을 조작하는 ‘프롬프트 삽입(Prompt Injection)’ 공격이 새로운 보안 위협으로 떠오르고 있다.
인공지능(AI)이 사용자 대신 검색하고 판단하며 각종 작업을 수행하는 에이전트(Agent) 시대가 본격화하면서, 외부 데이터를 악용해 AI의 판단과 행동을 조작하는 ‘프롬프트 삽입(Prompt Injection)’ 공격이 새로운 보안 위협으로 떠오르고 있다.
인공지능(AI)과 대규모언어모델(LLM) 서비스에서 발견된 취약점이 지난해 말과 비교해 크게 증가한 것으로 나타났다. 카스퍼스키(한국 지사장 이효은)는 ‘분기별 익스플로잇·취약점 보고서(Quarterly Exploits and Vulnerabilities Report)’를 분석한 결과 올해 2분기 AI·LLM 서비스에서 기록된 취약점이 935건으로 집계됐다고 7일 밝혔다. 2025년 4분기와 비교하면 10배 증가한 수치다.
데비안 커뮤니티가 리눅스 배포판 프로젝트에 대형언어모델(LLM) 기반 AI 코딩 도구 사용을 허용할 것인가를 두고 투표를 진행했다. 전면 금지부터 제한적 허용과 전면 허용까지 8가지 선택지 가운데 다소 모호한 ‘생성형 AI의 책임있는 사용’이 최종 선택됐다.
뉴타닉스는 27일 기업의 기존 가상화·컨테이너 환경에서 인공지능(AI) 워크로드를 운영할 수 있도록 뉴타닉스 엔터프라이즈 AI(NAI) 2.8을 정식 출시하고 뉴타닉스 쿠버네티스 플랫폼(NKP) 2.19의 출시를 예고했으며, 파트너 대상 인센티브와 프로그램, 리소스도 함께 공개했다.
메타빌드가 기획예산처의 약 49억원 규모 ‘데이터플랫폼 인공지능(AI)-ON 구축사업’을 수주했다. 계약은 지난 24일 체결됐으며 사업 기간은 계약체결일로부터 300일이라고 26일 밝혔다.
KT, 국산 AI 반도체・LLM 결합 ‘AI 어플라이언스’ 출시
글로벌 벤치마크 평가 1위를 기록한 모티프테크놀로지스(모티프)가 정부 주관 ‘독자 인공지능(AI) 파운데이션 모델(독파모)’ 2차 단계평가에서 탈락했다. 사용자 평가에서 상대적으로 높은 점수를 확보한 업스테이지와 SK텔레콤, LG AI연구원이 3차 단계 진출을 확정했다. 실험실 환경의 기술 점수보다 실제 서비스 적용 능력을 확인하는 사용성이 최종 결과를 갈랐다.
대전시가 오픈소스 기술을 활용해 내부 전산망에 최적화된 ‘사전 예방 스캐너’를 자체 개발하고 있다. 수억원 규모의 외부 기업 시스템을 구매하는 대신에, 시 정보시스템 환경에 적합한 보안 취약점 진단 도구 개발을 추진하고 나섰다.
모티프테크놀로지스가 자체 개발한 대규모 언어 모델(LLM) ‘Motif-2-12.7B’를 마이크로소프트 마켓플레이스에서 제공해 글로벌 애저 고객을 대상으로 모델 공급을 확대한다고 11일 밝혔다. Motif-2-12.7B는 127억개 매개변수를 갖춘 추론 특화 LLM이다.
“LLM은 현재 충분히 좋다. LLM과 AI는 단순히 패턴을 찾는 것이고, 코드는 특정 형식의 패턴일 뿐이다. 과거의 버그를 살펴보고, 현재 코드에서 부족한 부분을 찾아 수정하는 것이다. 복잡한 기술이 아니다. 아주 간단한 패턴 매핑이고, 표준화된 데이터에서 아주 잘 작동한다. 이런 걸 찾아낼 수 있다는 건 좋은 일이다. 문제는 취약점이 드러나는 데 걸리는 시간이 엄청나게 줄어든다는 것이다. 기업과 개인은 더 이상 보안 취약점을 천천히 수정하고 다시 배포할 시간이 없다.” -그렉 크로아하트만 리눅스커널 유지관리자.
메타가 새로운 오픈웨이트 모델 ‘뮤즈 글리머(Muse Glimmer)’를 발표했다. 메타슈퍼인텔리전스랩에서 공개한 첫 오픈웨이트 모델이지만, 과거 라마 수준의 대규모 모델은 아니다.
정부가 추진하는 독자 인공지능(AI) 파운데이션 모델(독파모) 프로젝트의 2차 단계평가가 이달 11일 마무리된다. 지난 8일부터 진행된 국민평가단 200명의 사용자 평가가 종료되고 이르면 12일 전후로 최종 3차 평가에 진출할 3개 정예팀이 발표될 예정이다.
오후 3시에 해외 근무하는 팀원에게 메일을 보낸다. 샌프란시스코는 밤 11시. 답장을 받기 어려운 시간대지만, 회신은 2분만에 온다. 평소 팀원의 말투와 유사하지만, 사람이 보낸 메일이 아니다. 팀원을 복제한 인공지능(AI) 에이전트다. 더플레이토에서 AI 에이전트의 업무 대리는 일상이다. 메일 답장, 문서 정리, 코딩까지 돕고 있다. 더플레이토의 정규직 규모는 12명. 스타트업에서 납득되는 규모지만, 이 회사는 30만 이용자 앱 ‘티로’를 운영 중이다. 동시에 300곳이 넘는 고객사를 보유하고 관리하고 있다.
정부가 추진하는 ‘독자 AI 파운데이션 모델(독파모)’ 프로젝트 2차 단계평가에서는 기술 성능뿐 아니라 실제 사용 환경에서의 활용성이 평가 대상에 포함된다. 평가단에는 벤치마크와 전문가뿐 아니라 일반인으로 구성된 국민평가단 200명도 포함됐다.
F5는 ‘엔비디아 네모 가드레일(NVIDIA NeMo Guardrails)’과 통합한 인공지능(AI) 보안 솔루션 ‘F5 AI 가드레일(F5 AI Guardrails)’을 공개했다고 6일 밝혔다. F5 AI 가드레일은 실제 운영 단계에 들어간 AI 애플리케이션의 프롬프트와 대규모언어모델(LLM) 응답을 검사한다. 여러 AI 애플리케이션에 보안 정책을 중앙에서 적용하고 운영 현황을 확인하는 기능도 제공한다.
End of content
End of content