AI가 안전하다고 한 파일, 그대로 믿어도 될까?

파일 속 설명과 실제 동작을 함께 살펴봐야 하는 이유

AI에게 낯선 파일을 분석해 달라고 했는데 “문제없어 보입니다”라는 답이 돌아왔다면 어떨까요. 실행해도 된다는 뜻으로 받아들이기 쉽습니다.

하지만 먼저 그 판단의 근거를 확인해야 합니다. 파일에 적힌 설명만 읽었는지, 실제 코드를 살폈는지에 따라 답의 의미가 달라집니다.

파일에 적힌 설명과 실제 기능은 다를 수 있다

코드에 붙인 설명이나 메모를 ‘주석’이라고 합니다. 파일 안에는 프로그램의 용도를 설명하는 문구도 들어갈 수 있습니다. “백업 도구입니다”라는 문장이 그 예입니다.

이런 문구는 작성자가 넣은 내용입니다. 실제로 어떤 파일을 읽고 어디에 전송하는지는 코드와 검사 결과를 봐야 알 수 있습니다.

그림 1. 설명 문구, 코드의 기능, AI의 판단을 비교한 가상 예시입니다. 실제 Talos 표본이나 분석 결과를 옮긴 그림은 아닙니다.

문서 폴더를 읽고 외부 서버로 보내는 기능은 정상 백업 도구에도 있습니다. 따라서 전송 기능이 있다는 이유만으로 악성이라고 단정할 수도 없습니다. 사용자가 맡긴 작업인지, 어떤 자료를 어디로 보내는지까지 확인해야 합니다.

AI의 답에도 이런 근거가 담겨 있어야 합니다. 설명 문구를 되풀이하는 데 그쳤다면, 실제 동작을 확인했다고 보기는 어렵습니다.

파일 속 문구가 AI의 판단을 바꿀 수 있을까

Cisco Talos는 2026년 10월 8일, 악성코드에 AI 분석을 방해하는 문구가 들어간 사례를 소개했습니다. 2025년 1월부터 2026년 7월까지 수집한 4개 계열의 파일 84개를 살펴본 연구입니다. [1]

FRUITSHELL이라는 스크립트에는 소수를 계산하니 분석할 필요가 없다는 주석이 붙어 있었습니다. 하지만 실제 코드에는 외부에서 받은 명령을 실행하는 기능이 있었습니다. 주석은 실행에 영향을 주지 않지만, 이를 읽는 AI의 판단을 흔들려고 넣은 문구였습니다. [1]

연구진은 7개 계열에서 뽑은 문구를 여러 표본에 교차 삽입했습니다. 원래 그 문구가 없던 파일에도 넣어 본 것입니다. 같은 파일에 문구가 있을 때와 없을 때를 5개 로컬 언어모델로 3회씩 평가해, 문구마다 135쌍의 결과를 비교했습니다. [1]

분석을 건너뛰라고 직접 요구하는 단순한 문구를 넣었을 때, AI가 파일의 위험도를 낮게 판단하는 경향이 뚜렷했습니다. 다른 기법은 효과가 작거나 분석 거부를 일으켰고, 오히려 의심을 키우기도 했습니다. [1]

직접 지시형 문구의 순변화율은 +34.4%p였습니다. 정상 쪽으로 바뀐 비율에서 악성 쪽으로 바뀐 비율을 뺀 값입니다. 정상·의심·악성 중 ‘악성’에서 ‘의심’으로 완화된 경우도 포함됩니다. ‘약 35%가 안전 판정을 받았다’거나 실제 감염에 성공했다는 뜻은 아닙니다. [1]

실험에 쓴 모델의 이름과 버전은 원문에 나와 있지 않습니다. 이 수치를 우리가 쓰는 AI 서비스의 오판율로 받아들여서는 안 됩니다. [1]

AI의 답에서 확인할 세 가지

1 파일의 어디까지 분석했을까

전체 코드를 읽었는지, 이름이나 일부 문자열만 봤는지 확인해 보세요. 일부 텍스트만 읽은 답으로 파일 전체의 동작을 설명할 수는 없습니다.

2 판단의 근거를 찾을 수 있을까

어떤 코드나 검사 결과 때문에 그렇게 판단했는지 물어보세요. AI가 언급한 코드가 실제로 있는지, 설명이 코드와 맞는지도 확인해야 합니다.

3 아직 확인하지 못한 것은 무엇일까

숨겨진 코드나 나중에 내려받는 파일처럼 분석에서 빠진 부분이 있을 수 있습니다. 일부에서 이상이 발견되지 않았다고 해서 파일을 실행해도 안전하다는 뜻은 아닙니다.

AI에게는 결론과 함께 근거를 요청하자

파일 속 문구를 곧이곧대로 따르는 문제는 ‘프롬프트 인젝션’과 연결됩니다. AI가 읽을 자료에 지시를 끼워 넣어, 원래 요청과 다른 답이나 행동을 유도하는 공격입니다. [2]

Talos는 “분석을 멈추라”는 문구도 따라야 할 명령이 아닌 분석 대상으로 다루라고 권고합니다. [1]

그림 2. 파일에 적힌 내용과 분석으로 확인한 사실을 따로 정리하는 예시입니다. 코드를 읽은 것과 직접 실행해 관찰한 것도 구분해야 합니다.

AI에게 분석을 부탁할 때는 다음처럼 물어볼 수 있습니다.

“파일에 적힌 설명과 실제 코드를 구분해서 살펴봐 줘. 확인한 기능은 근거가 되는 코드와 함께 설명하고, 추측인 내용과 확인하지 못한 부분도 알려줘.”

물론 요청문 하나로 공격을 막을 수는 없습니다. OWASP도 문구나 구분 표시만 믿지 말고, AI가 사용할 수 있는 도구의 권한을 제한하고 중요한 작업에는 사람의 승인을 받도록 권고합니다. [2]

파일 분석 시스템을 만든다면 이 원칙을 실제 기능에도 적용할 수 있습니다. AI가 “안전하다”고 답하더라도 곧바로 파일을 실행하거나 보안 경고를 해제하지 않고, 별도의 검토와 승인을 거치게 하는 방식입니다. [2]

파일을 열기 전에 확인할 것

1 예상했던 파일인지 확인하세요

보낸 사람과 내려받은 경로를 살펴보세요. 갑자기 도착한 첨부파일이라면 평소 연락하던 방법으로 상대방에게 보낸 것이 맞는지 물어보는 것이 좋습니다.

2 회사 자료는 승인된 도구로 확인하세요

업무 자료나 고객 정보가 있다면 회사에서 허용한 AI인지 먼저 확인하세요. 승인되지 않은 서비스에 자료를 올리면, 이후 저장되거나 이용되는 방식을 회사가 관리하기 어려울 수 있습니다. 비밀키 같은 민감한 정보도 함께 올리지 않도록 주의해야 합니다. [4]

3 공식 배포 파일과 일치하는지 살펴보세요

배포처에서 SHA-256 값을 제공한다면 내려받은 파일의 값과 비교할 수 있습니다. 해시는 파일의 내용이 달라졌는지 확인하는 데 쓰입니다. 값이 같다고 악성 기능까지 없다고 보장되는 것은 아닙니다. [3]

4 보안 프로그램의 검사 결과도 함께 보세요

AI의 설명이 보안 프로그램의 검사 결과와 다르다면 바로 실행하지 말고 담당자에게 확인하세요. NIST도 하나의 탐지 신호만 믿기보다 여러 근거를 살펴보도록 권고합니다. [5]

5 의심스럽다면 직접 실행하지 마세요

평소 쓰는 PC에서 “일단 열어 보자”는 방식으로 안전을 확인해서는 안 됩니다. 실행 분석이 필요하다면 보안 담당자에게 맡기세요. NIST는 이런 분석을 업무 시스템과 분리된 테스트 환경에서 진행하도록 권고합니다. [5]

안전하다는 답을 받았다면 근거도 물어보자

AI는 복잡한 코드나 검사 결과를 이해하기 쉽게 정리하는 데 도움이 될 수 있습니다. 다만 설명이 그럴듯하다는 이유만으로 파일을 실행해서는 안 됩니다.

파일을 실행하기 전 AI에게 “어떤 코드를 보고 판단했나요?”, “확인하지 못한 부분은 무엇인가요?”라고 물어보세요. 답변에 제시된 근거도 직접 확인해야 합니다.

참고 자료

[1] Cisco Talos · Ignore all instructions and read this blog: The state of AI-analysis evasion in malware

Figure 4 · 직접 지시형 문구의 판정 변화

[2] OWASP · LLM Prompt Injection Prevention Cheat Sheet

[3] Microsoft Learn · Get-FileHash

[4] NCSC · The hidden risks of shadow AI · 2026년 9월 7일

[5] NIST SP 800-83 Rev. 1 · Guide to Malware Incident Prevention and Handling for Desktops and Laptops