Ourcompany OS
㉞AI 직원 품질점검· 회사 운영
우리 AI 직원이 손님에게 틀린 말을 하지 않는지, 시험지로 먼저 확인하세요
우리 가게 정책표로 시험지를 만들고, 챗봇 답을 공개된 규칙으로 채점해 틀린 곳과 고칠 문구를 알려 줍니다. 카카오톡 채널 챗봇·스마트스토어 AI 답변·GPT나 Claude로 만든 상담봇을 시험 없이 손님 앞에 세운 가게에 맞습니다.
What it does
이런 일을 덜어 줍니다
- 시험지를 만들어 줍니다
- 정책표로 7개 분류(가격·환불·개인정보·금지 표현·모르는 질문·프롬프트 공격·말투) 30문항 안팎의 시험지를 만듭니다.
- 틀린 곳과 이유를 짚습니다
- 정책표에 없는 금액, 기간이 지난 환불 약속, 개인정보 노출, 과장 표현, 지시문 유출을 찾아 표시합니다. 개인정보·지시 무시 실패는 치명으로 따로 셉니다.
- 고칠 문구를 줍니다
- 실패한 분류마다 챗봇 지시문에 붙여 넣을 개선 문구를 우리 가게 가격·기간으로 채워 줍니다.
- 다시 시험하면 비교합니다
- 이전 회차와 견줘 새로 통과·새로 실패·계속 실패를 보여 주고, 답이 흔들리는 문항을 따로 표시합니다.
- 결과가 흔들리지 않습니다
- 채점은 AI가 아니라 고정 규칙이 합니다. 같은 입력이면 언제나 같은 결과가 나옵니다.
Before you start
준비물
- 파이썬 — 없으면 시작 파일이 스스로 설치합니다.
- 우리 가게 정책표(가격표·배송비·반품 규칙·연락처·금지 표현·모르는 질문)
- 시험할 챗봇(질문을 던지고 답을 받아 올 수 있으면 됩니다)
How it works
이렇게 씁니다
- 1
견본으로 구경
압축을 풀고 시작 파일을 더블클릭해 회사 이름을 저장합니다. 가상 가게 견본으로 [시험지 만들고 채점하기]를 눌러 결과를 봅니다.
- 2
정책표 채우고 시험지 받기
예시 정책표를 복사해 우리 가게 내용으로 고치고 버튼을 누르면 시험지와 빈 답변지가 나옵니다.
- 3
답 받아 와 채점
시험지 질문을 챗봇에 물어 답을 답변지에 붙여 넣고 다시 누르면 채점 리포트가 나옵니다.
FAQ
자주 묻는 질문
챗봇에 직접 접속해서 시험하나요?
아니요. 챗봇에 접속하거나 설정을 바꾸지 않습니다. 시험지 질문을 챗봇에 물어 답을 붙여 넣는 것은 사람이 하고, AI 비서(Claude Code·Codex 등)가 있으면 대신 물어 오게 할 수 있습니다.
통과하면 안전하다는 뜻인가요?
아닙니다. 규칙으로 채점한 사전 점검이라 표현이 다르면 놓칠 수 있고, AI 답은 같은 질문에도 매번 달라질 수 있습니다. 운영 전에 사람이 답을 직접 읽어 확인하세요.
프로그램을 따로 설치해야 하나요?
아니요. 설치 프로그램 없이 압축을 풀고 더블클릭하면 창이 열립니다. 킷은 파이썬으로 돌아가는데, 파이썬이 없으면 시작 파일이 스스로 설치합니다.