01한 번이면 끝납니다
사내 AI를 도입한 회사에서 가장 흔한 실패 곡선이 있습니다. 첫 주에 다들 신기해하며 씁니다. 그러다 누군가 답을 확인해 보고 틀린 걸 발견합니다. 그 이야기가 퍼집니다. 3주차에 사용량이 절반이 되고, 두 달 뒤엔 아무도 안 씁니다.
개인용 AI와 업무용 AI의 결정적 차이가 여기 있습니다. 개인이 쓸 때 틀린 답은 불편입니다. 업무에서는 의사결정의 근거가 되므로, 한 번의 그럴듯한 오답이 도구 전체의 신뢰를 무너뜨립니다.
그래서 기업용 AI의 목표는 정답률 최대화가 아닙니다. 오답을 내지 않는 것입니다.
02장치 1. 근거 없으면 답하지 않는다
가장 강력하고 가장 덜 쓰이는 장치입니다.
일반적인 RAG는 검색 결과가 부실해도 어떻게든 답을 만듭니다. LLM은 "모르겠다"보다 그럴듯한 문장을 만드는 데 최적화되어 있기 때문입니다. 검색이 실패한 순간이 정확히 환각이 생산되는 순간입니다.
해법은 프롬프트가 아니라 파이프라인입니다.
- 검색 결과의 관련성이 기준 미만이면 LLM을 호출하지 않고 곧바로 "관련 기록을 찾지 못했습니다"로 응답합니다.
- 호출하는 경우에도 "제공된 근거에 없으면 모른다고 답하라"를 시스템 지시로 강제합니다.
- 답변에 근거로 표시된 문서가 실제 검색 결과에 있는지 사후 검증합니다.
3번까지 해야 완결됩니다. 프롬프트로만 지시하면 모델은 종종 근거를 지어냅니다.
사용자 경험 관점에서도 "모릅니다"는 나쁜 답이 아닙니다. 틀린 답보다 훨씬 낫습니다. 사용자는 못 찾았다는 걸 알면 다른 방법을 찾지만, 틀린 답은 그대로 보고서에 들어갑니다.
03장치 2. 답변마다 출처를 붙인다
출처 인용은 정확도를 높이지 않습니다. 검증 가능하게 만듭니다. 그리고 이 차이가 신뢰를 만듭니다.
컴키의 답변은 이런 형태입니다.
○○기업은 RCS 신규 도입 제안이 진행 중이며, 단가 협의가 남아 있습니다.[1][2]
---
[1] ○○기업 미팅 결과 · 2026-07-28 · 김프로 · 영업1팀 · [일반]
[2] RCS 제안 단가 검토 · 2026-07-30 · 이프로 · 사업기획팀 · [리더]
인용에 작성일·작성자·팀·분류까지 노출하는 이유는 세 가지입니다.
- 검증 — 클릭 한 번으로 원문 확인. 의심되면 바로 볼 수 있다는 사실만으로 신뢰가 올라갑니다.
- 최신성 판단 — 근거가 6개월 전 문서면 사용자가 스스로 할인해서 받아들입니다.
- 책임 추적 — 누구의 기록에 근거했는지가 드러나면, 기록의 품질도 함께 올라갑니다.
여기에 하나를 더합니다. 답변 스코프 표기 — "본인 + 팀 [일반] 범위에서 답변했습니다. [경영]·인사 데이터 제외"처럼, 어떤 권한 범위로 답했는지를 답변에 명시합니다. 사용자가 "전부 다 본 것"이라고 오해하는 것을 막습니다. 부분 정보를 전체로 착각하는 것도 일종의 환각입니다.
04장치 3. 없는 것을 만들지 못하게 한다
환각은 답변 생성 단계에서만 생기지 않습니다. 엔티티 추출 단계에서 더 조용히 발생합니다.
문서에서 고객사·제품을 자동 추출할 때 LLM에게 자유롭게 뽑으라고 하면, 존재하지 않는 회사명을 만들어냅니다. 사람 이름을 회사로 인식하기도 하고, 오타를 새 고객사로 등록하기도 합니다. 그리고 이건 아무도 눈치채지 못합니다. 대시보드 숫자가 조용히 틀릴 뿐입니다.
해법: 화이트리스트 방식.
- 회사가 관리하는 마스터데이터에 실재하는 엔티티만 추출 결과로 허용합니다.
- 사전에 없는 이름이 나오면 등록하지 않고 '후보'로 큐에 쌓아 관리자가 검토 후 승인합니다.
- 승인 전까지는 집계에 반영되지 않습니다.
생성형 모델의 자유도를 의도적으로 제한하는 설계입니다. 창의성이 필요 없는 자리에서는 자유도가 곧 오류입니다.
05장치 4. 최종 확정은 사람이 한다 (HITL)
자동화가 100%일 필요는 없습니다. 컴키는 Human-in-the-Loop을 기본 흐름으로 둡니다.
- AI가 일지에서 고객사·제품·정보 분류를 제안합니다.
- 작성자가 화면에서 확인·수정한 뒤 저장합니다.
- 확정된 값만 집계·그래프·검색에 반영됩니다.
작성자에게 드는 추가 시간은 몇 초입니다. 대신 데이터 품질의 기준선이 확보됩니다. 자동화의 속도와 사람의 판단을 둘 다 가져가는 지점이 여기입니다.
06신뢰는 기능이 아니라 누적입니다
정리하면 네 겹입니다.
| 층 | 막는 것 |
|---|---|
| 근거 없으면 답변 거부 | 검색 실패가 만드는 창작 |
| 출처 인용 + 스코프 표기 | 검증 불가능한 주장, 부분 정보의 전체화 |
| 화이트리스트 추출 | 존재하지 않는 엔티티의 조용한 생성 |
| 사람의 최종 확정 | 위 셋을 통과한 잔여 오류 |
어느 하나도 단독으로 완벽하지 않습니다. 그러나 넷을 겹치면, 사용자가 "이 도구는 모르면 모른다고 한다"를 경험하게 됩니다. 그 경험이 쌓인 조직에서만 AI가 실제 의사결정에 쓰입니다.