한 번 좋은 답이 나왔다고 매번 같은 일을 맡길 수 있는 건 아니에요. 평범한 입력, 정보가 빠진 입력, 서로 모순되는 입력을 묶어 프롬프트를 시험해보세요. 점수보다 어떤 경우에 실패했는지가 다음 수정에 도움이 됩니다.
작은 평가표 만들기
고객 문의 분류라면 정상 배송 문의, 환불 문의, 사용법 문의를 넣습니다. 어려운 사례로는 두 요청이 섞인 글, 필요한 정보가 없는 글, 공격적인 문장 속 실제 문의를 넣습니다. 실제 고객 정보를 쓰지 않고 직접 만든 예시로 시작합니다.
| 사례 ID | 기대 분류 | 꼭 남겨야 할 정보 | 추정 금지 항목 |
|---|---|---|---|
| 01 | 배송 | 주문 식별자 없음 | 배송 예정일 생성 금지 |
| 02 | 환불 | 단순 문의 단계 | 환불 승인 단정 금지 |
표를 좌우로 밀어 나머지 열을 확인하세요.
기존 프롬프트와 수정 프롬프트를 같은 입력으로 실행합니다. 정확성·정보 누락·금지 표현을 항목별 통과/실패로 적습니다. 문장이 더 친절해졌지만 날짜를 꾸며냈다면 개선으로 보지 않습니다.
비교할 때 통제할 것
모델, 도구 설정, 입력 자료를 가능한 한 동일하게 둡니다. 결과가 매번 달라질 수 있으므로 경계 사례는 반복해서 확인합니다. 6건은 빠른 점검용이며 전체 실제 업무를 대표한다고 주장할 수는 없습니다.
실패한 사례만 맞추느라 프롬프트가 길어지면 정상 사례가 악화되는지도 봅니다. 어떤 수정이 어떤 실패를 해결했는지 한 줄로 기록하세요.
채택 기준
필수 항목의 실패가 줄고, 새 치명적 오류가 없어야 채택합니다. 속도나 비용을 비교하려면 사람의 수정 시간도 포함합니다. 답변 생성 10초가 줄어도 검토가 5분 늘면 업무 흐름은 빨라졌다고 보기 어렵습니다. 먼저 작게 측정하고 사례를 늘리세요.