개정 개인정보보호법이 지난 9월 11일 본격 시행되면서 기업과 기관의 보안 관리 책임이 한층 무거워졌다. 중대하거나 반복적인 개인정보 유출 사고 발생 시 부과되는 과징금 상한이 대폭 상향됐고, 최고개인정보보호책임자(CPO)와 대표자의 법적 책임 범위도 한층 명확해졌다. 문제 기업 내부에서 생성형 인공지능(AI) 도입이 급격히 늘어나는 시점과 맞물리면서, AI 서비스 내부에서 오가는 개인정보와 내부 기밀을 어떻게 통제할 것인지가 보안 업계의 새로운 과제로 떠올랐다.
기존 보안 체계는 대개 네트워크 경계나 데이터베이스(DB) 접근을 통제하는 방식에 머물러 있었다. 대형언어모델(LLM)이나 검색증강생성(RAG) 기술을 활용하는 생성형 AI 환경에서는 이러한 전통적인 방화벽이 제대로 작동하지 않는다. AI 정보보안 전문기업 에이아이딥은 생성형 AI 환경에서 발생하는 보안 위협을 크게 네 가지로 분류하고 통합적인 전주기 관리 필요성을 제기했다.
대표적인 위협 요소로는 권한이 없는 내부 기밀문서에 대한 AI 검색 접근, 질문이나 첨부파일 및 답변을 통한 개인정보·민감정보 노출, 악의적인 프롬프트 조작(Prompt Injection, 탈옥)을 통한 보안 정책 무력화, 그리고 사고 발생 시 원인을 규명하기 어려운 투명성 부재가 꼽힌다.
실제로 기업 내부 문서나 고객 데이터를 RAG 형태로 연결해 사용할 경우, 일반 직원이 AI에 질문을 던지는 과정에서 권한 밖의 내부 인사 정보나 재무 데이터가 답변 형태로 출력되는 사고가 발생할 수 있다. 질문 자체에 민감한 개인정보를 실어 보내거나 프롬프트를 정교하게 조작해 시스템 가이드라인을 우회하는 공격 기법도 늘어나는 추세다.
에이아이딥 AI 기술 컨설팅팀 민성현 팀장은 "생성형 AI 보안은 최종 출력되는 답변 결과만 단순 점검해서는 한계가 명확하다"며 "사용자의 질문과 첨부파일, AI가 참조하는 데이터, 사용자별 접근 권한, 그리고 시스템 운영 이력까지 AI가 데이터를 처리하는 전체 과정을 함께 통제해야 한다"고 지적했다.
에이아이딥이 선보인 ‘딥젠가드(DeepGenGuard)’는 이러한 위협에 대응하기 위해 개발된 생성형 AI 특화 통합 보안 솔루션이다. AI 시스템으로 입력되는 프롬프트부터 외부로 출력되는 답변까지 양방향으로 실시간 감시하고 보호한다.
이 솔루션은 사용자 질문과 첨부파일, AI 답변에 포함된 개인정보와 민감정보를 자동으로 탐지해 마스킹이나 비식별화 처리를 진행하며, 필요 시 출력을 즉시 차단한다. AI 모델로 프롬프트가 전달되기 전 질문의 의도를 실시간으로 분석해 프롬프트 주입이나 우회 공격 시도를 미리 걸러내는 기능도 갖췄다.
데이터 접근 권한 관리도 세분화했다. 역할 기반 접근 제어(RBAC)와 보안 등급에 맞춰 벡터 DB(Vector DB) 접근 범위를 조절한다. 권한을 부여받은 문서만 AI 검색과 답변 생성 과정에 활용되도록 통제해 내부 정보 유출을 막는 구조다.
데이터 오염 문제인 데이터 포이즈닝 탐지와 격리 기능도 포함됐다. 소프트웨어 자재명세서(SBOM) 개념을 AI 영역에 적용해 AI 모델과 학습·참조 데이터의 출처 및 변경 이력을 관리한다. 질문부터 데이터 검색, 답변 출력에 이르는 전체 작업 이력을 기록하고 이를 통합 대시보드로 제공해 사고 발생 시 원인 추적이 가능하도록 했다.
이러한 전주기 관리 체계는 정부가 제시한 보안 가이드라인과도 궤를 같이한다. 개인정보보호위원회의 과징금 투자 감경제도 안내서에 따르면, 접근 권한의 체계적 관리, 접속 기록 등 로그 보관 및 이상 행위 탐지, SBOM 확보·관리 등은 법적 최소 기준을 넘어서는 추가적인 안전 조치 사례로 명시되어 있다.
민 팀장은 "기업의 AI 활용 범위가 넓어질수록 검증된 구성요소와 신뢰할 수 있는 데이터만 운영 환경에 적용하는 정교한 체계가 필수적"이라며 "딥젠가드를 통해 기업과 기관이 보안 리스크에 대한 부담 없이 AI를 도입할 수 있도록 지원할 것"이라고 전했다.
코스닥 상장사 케이사인 계열사인 에이아이딥은 2013년 설립 이후 모바일 간편인증, 블록체인 및 분산인증, 대용량 이미지 DB 보안 등 다양한 보안 솔루션을 개발해 온 테크 기업이다. 금융, 공공, 대학 등 유관 인프라 구축 경험을 바탕으로 최근 생성형 AI 보안 분야로 사업 영역을 확장하고 있다.
