[AI Frontier]11. AI 에이전트 보안: 기업이 맡겨도 되는 일과 맡기면 안 되는 일-에이전트 돋보기

[AI Frontier]

AI 에이전트 보안의 핵심은 “모델이 안전한가”보다 “어떤 데이터와 도구를 어디까지 허용할 것인가”다. 기업은 읽기, 초안, 승인 대기, 제한 실행을 구분해야 한다.

Image generated by OpenAI

AI 에이전트는 챗봇보다 보안 기준이 더 까다롭다. 챗봇은 잘못 답해도 사람이 수정할 수 있지만, 에이전트는 사내 문서를 읽고, 업무 앱을 호출하고, 고객에게 메시지를 보내거나 데이터를 바꿀 수 있다.

그래서 보안팀과 현업팀이 먼저 합의해야 할 질문은 간단하다. 이 에이전트가 읽어도 되는 데이터는 무엇인가. 호출해도 되는 도구는 무엇인가. 사람 승인 없이 실행하면 안 되는 행동은 무엇인가. 그리고 문제가 생겼을 때 멈출 수 있는가.

SECURITY DECISION MAP

데이터

무엇을 읽을 수 있나

권한

무엇을 실행할 수 있나

입력 공격

지시 조작을 막나

로그

무엇을 추적하나

중단

언제 멈추나

SYSTEM SUMMARY

AI 에이전트 보안은 데이터, 권한, 입력 공격, 로그, 중단 장치의 문제다. 맡겨도 되는 일은 읽기, 요약, 분류, 초안 생성처럼 되돌리기 쉬운 업무다. 맡기면 안 되는 일은 결제, 환불, 계약 변경, 권한 수정, 민감 정보 외부 공유처럼 되돌리기 어렵거나 외부 영향이 큰 업무다.

AI 에이전트 보안은 왜 챗봇 보안과 다른가

챗봇 보안은 주로 잘못된 답변, 민감한 내용 출력, 부적절한 사용을 줄이는 데 초점이 있다. AI 에이전트 보안은 여기에 실행 권한 문제가 더해진다. 에이전트는 모델의 답변을 넘어 업무 시스템에 실제 행동을 요청할 수 있기 때문이다.

예를 들어 사내 문서 검색 에이전트가 오래된 보안 정책을 요약하는 것과, 보안 설정 변경 도구를 호출하는 것은 전혀 다른 위험이다. 전자는 설명 오류에 가깝지만, 후자는 실제 시스템 상태를 바꿀 수 있다.

AS-IS TO-BE SECURITY SHIFT

구분	AS-IS 위험한 접근	TO-BE 보안 기준	실무 포인트
데이터 접근	업무 편의를 위해 넓은 문서 접근 허용	사용자 권한 상속과 문서 등급별 제한	에이전트가 사용자보다 더 많이 보면 안 된다.
도구 권한	조회, 수정, 발송 권한을 한 번에 부여	읽기, 작성, 실행 도구를 분리	쓰기 권한은 가장 늦게, 가장 좁게 연다.
입력 공격	외부 문서와 웹페이지 지시를 그대로 처리	외부 입력은 불신하고 도구 호출 전 검증	검색 결과 안의 지시문도 공격면이 될 수 있다.
최종 실행	자동 실행 후 문제 발생 시 확인	고위험 행동 전 사람 승인	되돌리기 어려운 일은 승인 대기 상태로 둔다.

AI 에이전트에 맡겨도 되는 일은 무엇인가

먼저 맡겨도 되는 일은 읽기 중심 업무다. 사내 문서 검색, 공개 자료 요약, 고객 문의 분류, 회의록 정리, 리포트 초안 작성처럼 결과를 사람이 검토할 수 있고 되돌리기 쉬운 업무가 적합하다.

이 단계에서는 에이전트가 조직 시스템을 바꾸지 않는다. 정보를 읽고, 정리하고, 후보를 제안한다. 실무자는 시간을 줄이면서도 최종 판단권을 유지할 수 있다. 보안팀 입장에서도 권한 범위를 좁게 유지하기 쉽다.

SAFE TASK ZONE

읽기 전용

문서 검색, 정책 조회, 공개 자료 탐색

분류와 요약

문의 유형 분류, 회의록 요약, 이슈 묶기

초안 생성

답변 후보, 보고서 초안, 체크리스트 작성

검토 보조

누락 항목, 근거, 위험 표현 표시

AI 에이전트에 맡기면 안 되는 일은 무엇인가

맡기면 안 되는 일은 되돌리기 어렵거나 외부 영향이 큰 행동이다. 결제, 환불, 계약 변경, 고객 대량 발송, 계정 권한 수정, 보안 정책 변경, 민감 정보 외부 전송은 자동 실행 대상이 되어서는 안 된다.

이런 업무는 에이전트가 하지 못하게 막는 것이 아니라, 승인 대기 상태로 바꾸는 것이 현실적이다. 에이전트는 근거를 모으고 변경 후보를 제안한다. 사람은 영향 범위와 책임을 확인하고 최종 실행을 승인한다.

HIGH-RISK ACTIONS

결제, 환불, 계약 변경, 고객 발송, 권한 수정, 보안 설정 변경, 민감 정보 외부 공유는 에이전트가 초안을 만들 수는 있어도 사람 승인 없이 실행해서는 안 된다.

프롬프트 인젝션은 왜 에이전트에서 더 위험한가

프롬프트 인젝션은 사용자의 입력이나 외부 문서, 웹페이지 속 문구가 모델의 행동을 조작하는 공격이다. OWASP는 프롬프트 인젝션을 모델 응답을 조작해 안전장치를 우회하도록 만드는 취약점으로 설명합니다. :contentReference[oaicite:2]{index=2}

챗봇에서는 이런 공격이 잘못된 답변으로 끝날 수 있다. 하지만 에이전트는 검색 결과, 이메일, 문서, 티켓 안의 악성 지시를 읽고 실제 도구를 호출할 수 있다. 그래서 외부 입력과 시스템 지시를 분리하고, 도구 호출 전 검증 단계를 둬야 한다.

PROMPT INJECTION DEFENSE FLOW

외부 입력 격리

웹페이지, 메일, 문서를 불신 데이터로 다룬다.

도구 호출 검증

입력 문구가 직접 실행으로 이어지지 않게 한다.

민감 정보 차단

토큰, 키, 고객 정보는 출력과 전송을 제한한다.

사람 승인

외부 발송과 시스템 변경 전 멈춘다.

실무 사례: 내부 문서 검색 에이전트는 어디까지 허용할까

내부 문서 검색 에이전트는 보안팀이 가장 먼저 검토해야 할 대표 사례다. 직원 입장에서는 편리하지만, 문서 권한이 정리되지 않은 상태에서는 원래 보지 말아야 할 정보가 요약으로 노출될 수 있다.

TO-BE 기준은 사용자 권한 상속이다. 에이전트는 사용자가 열람할 수 있는 문서만 읽어야 한다. 답변에는 원문 링크와 문서 등급을 표시하고, 민감 정보는 마스킹한다. 권한 없는 문서의 내용은 “접근 권한 없음”으로 처리하는 것이 맞다.

업무	맡겨도 되는 범위	맡기면 안 되는 범위	통제 장치
내부 문서 검색	권한 있는 문서 검색, 요약, 원문 링크 제공	권한 없는 문서 요약, 민감 정보 추론	사용자 권한 상속, 문서 등급 표시, 마스킹
고객 응대	문의 분류, 정책 조회, 답변 초안	환불 확정, 보상 약속, 민감 정보 발송	상담사 승인, 발송 전 검토, 발송 로그
CRM 업데이트	회의록 요약, 다음 액션 후보, 필드 변경 제안	딜 단계 변경, 매출 전망 자동 수정	담당자 승인, 변경 전후 값 기록
보안 운영	알림 요약, 로그 분류, 대응 절차 초안	계정 차단, 권한 회수, 방화벽 정책 변경	보안 담당자 승인, 즉시 중단, 감사 로그

보안팀은 도입 전 무엇을 확인해야 하나

보안팀은 모델 성능표보다 에이전트 운영표를 먼저 봐야 한다. 에이전트 이름, 소유자, 목적, 접근 데이터, 호출 도구, 금지 행동, 승인 기준, 로그 항목, 중단 조건이 정리되어 있어야 한다.

Microsoft는 에이전트가 사람의 의도를 증폭해 데이터와 권한 맥락 안에서 행동하기 때문에 강한 거버넌스와 보안 운영이 없으면 데이터 노출, 책임 불명확, 비용 증가 같은 위험이 생길 수 있다고 설명합니다. :contentReference[oaicite:3]{index=3}

SECURITY CHECKLIST

에이전트 소유자와 업무 목적을 문서화했는가?
사용자 권한과 에이전트 권한을 분리하고 상속 기준을 정했는가?
공개, 내부, 민감, 제한 데이터 등급별 접근 기준이 있는가?
읽기 도구, 작성 도구, 실행 도구를 분리했는가?
프롬프트 인젝션과 악성 외부 입력에 대한 검증 절차가 있는가?
고객 발송, 결제, 환불, 계약 변경, 권한 수정 앞에 사람 승인을 넣었는가?
도구 호출, 참조 문서, 출력 결과, 승인자, 중단 사유를 로그로 남기는가?
이상 행동, 반복 실패, 예상 비용 초과, 민감 데이터 감지 시 즉시 중단할 수 있는가?

Summary

AI 에이전트 보안은 모델 보안만의 문제가 아니다. 데이터 접근, 도구 권한, 프롬프트 인젝션 방어, 사람 승인, 실행 로그, 중단 장치를 함께 설계해야 한다. 읽기와 요약, 분류, 초안 생성은 맡겨도 되지만, 결제, 환불, 계약 변경, 고객 발송, 권한 수정, 민감 정보 외부 공유는 승인 없이 맡기면 안 된다.

AI 에이전트 돋보기 시리즈

AI 에이전트란 무엇인가: 챗봇과 다른 핵심 구조 이전 글
AI 에이전트와 생성형 AI 차이: 답변하는 AI와 실행하는 AI 이전 글
AI 에이전트 활용 사례: 리서치, 보고서, 고객 응대는 어디까지 맡길 수 있나 이전 글
업무 자동화 AI란 무엇인가: 반복 업무를 줄이는 실무 기준 이전 글
엔터프라이즈 AI 에이전트 도입 체크리스트: 데이터, 권한, 보안 이전 글 · URL 확인 필요
AI 에이전트 아키텍처: 모델, 도구, 메모리, 워크플로의 관계 이전 글 · URL 확인 필요
마케팅 AI 에이전트: 광고 운영 자동화는 어디서부터 시작되나 이전 글 · URL 확인 필요
AI 검색과 AI 에이전트: 검색은 왜 답변에서 실행으로 이동하나 이전 글 · URL 확인 필요
멀티 에이전트란 무엇인가: 여러 AI가 함께 일한다는 말의 실제 의미 이전 글 · URL 확인 필요
AI 에이전트 실패를 막는 법: 자동화보다 먼저 정해야 할 운영 기준 이전 글 · URL 확인 필요
AI 에이전트 보안: 기업이 맡겨도 되는 일과 맡기면 안 되는 일 현재 글
AI 에이전트 시대의 조직 구조: 사람의 역할은 어디로 이동하나 예정

이 블로그 검색