관리 단위를 '답 한 건'으로
답마다 지시문 · 지식과 그 판 · 넣은 방식 · 검색 · 모델을 묶어 둡니다. 무엇이 바뀌어도 그 답만 골라낼 수 있습니다.
관리 단위를 '모델 한 번'에서 '답 한 건'으로 옮깁니다.
채점 기준도, 채점하는 자리도, 그 자산도 고객사에 남습니다.
회사 문서를 찾아 같이 넘겨 업무 화면·설비로 잇는 것 여기까지가 흔히 말하는 'AI 도입'입니다.
LLMOps는 그다음입니다.
정답에 재 본 적이 있어야 압니다.
정답집으로 채점 → 느낌이 아니라 점수로
근거가 남아 있어야 짚습니다.
어느 문서 몇 쪽인지 근거를 담습니다
이미 나간 답을 되불러야 합니다.
근거가 바뀌면 그 답을 골라냅니다
다른 도구는 "지금 이 답이 맞나"를 봅니다. 저희는 "어제 내보낸 답이 오늘도 맞나"를 봅니다.
답마다 지시문 · 지식과 그 판 · 넣은 방식 · 검색 · 모델을 묶어 둡니다. 무엇이 바뀌어도 그 답만 골라낼 수 있습니다.
고객사 문서로 답하고 어느 문서 몇 쪽인지 표시합니다. 근거를 못 찾으면 "찾지 못했다"고 답합니다.
공개 벤치가 아니라 고객사 문서로 잽니다. 기준도, 채점하는 자리도 고객사 서버 안입니다.
'좋아 보인다'가 아니라 '기준을 통과한 증거가 있다'일 때만 배포가 이루어집니다. 급하다고 건너뛰는 사람을 막습니다.
추적은 물어봐야 답해 주는 사후 조회입니다. 저희는 근거가 바뀐 그 순간, 흔들린 답이 어느 것인지 먼저 골라냅니다.
공개 벤치가 아니라 고객사 문서로 재고, 채점을 고객사 서버 안에서 진행하며, 모델을 바꿔도 기준은 그대로 따라옵니다.
품질에서는 변경이 생기면 영향 범위를 추적합니다 — 설비도 원자재도 그렇게 합니다. 문서만 그 규율 밖에 있습니다.
그 설비로 만든 로트를 추적합니다
이미 하고 계십니다그 원자재가 들어간 제품을 찾습니다
이미 하고 계십니다그 문서로 답한 것을 →
여기가 비어 있습니다4판을 근거로 답한 것이 얼마나 되는지 세어 본 적이 없습니다.
그 답을 받아 그대로 움직인 사람을 찾을 방법이 없습니다.
개정 공지는 나가지만, 이미 받은 답까지 따라가지는 않습니다.
지침이 개정되면 그 지침으로 답한 과거 답은 흘린 채 남습니다. 구현은 근거에서 내리는 순간 흔들 대상을 찾기 시작합니다 → 그 답을 골라낼 수 있는 것은 기록 덕분입니다.
바뀐 지식을 근거로 삼은 과거의 답을 찾아냅니다.
지금 동작담당자에게 "이 답은 근거가 바뀌었습니다"라고 통지합니다. (받은 사람 찾기 포함)
다음 단계같은 흘린 답이 다시 나오지 않도록 막습니다.
다음 단계이 여섯 중 무엇이 바뀌어도 그 답만 골라냅니다.
검증 없이 AI를 현장에 내보내는 일 — 이를 앞(사전) · 이송 중(위험) · 뒤(사후) · 기록까지, 배포 흐름 그대로 막습니다.
고객사 서버에 정답집으로 진행합니다. 데이터를 밖으로 내보내지 않고, 품질과 서버 용량을 함께 잽니다.
'좋아 보인다'가 아니라 '기준을 통과한 증거가 있다'일 때만 배포가 이루어집니다 → 급하다고 건너뛰는 사람을 막습니다.
근거를 못 찾은 비율 · 검색 점수 하락 · 인용 누락 · 현장 오답 신고를 계속 재고, 기준을 벗어나면 담당자에게 먼저 알립니다 → 흔한 감각가 바뀌는지 않습니다.
놀려지는 것이 신호입니다 → 답 완성까지 걸리는 시간과 대기 줄 길이를 함께 재 서버 증설 시점을 판단합니다.
저희가 확인한 범위에서, 출처를 추적하는 도구들은 답을 '추적'하는 데에 머쳤습니다 → 되집이 필요하는 기능을 찾지 못했습니다.
저희는 근거가 바뀐 답을 묻지 않아도 먼저 골라냅니다. 받은 사람을 찾아 알리고 필요하는 단계는 다음입니다.
행위 자 어디에 남기되지 — 확인한 5개 제품의 공통 규격이 있습니다.
어떤 배포가 누가 · 언제 · 왜 나갔는지를 나중에 지우거나 고칠 수 있게 남깁니다. 감사·인증 심사에서 '전 이 버전을 왜 내보냈나'를 물으면 바로 근거를 그대로 냅니다.
그 칸이 리콜입니다 → 저희가 확인한 범위에서, 뒤집이 필요하는 기능은 없었습니다. 추적은 '왜 그렇게 답했는지'를 물어봤을 때만 답해 줍니다. 저희는 근거가 바뀐 그 순간, 묻지 않아도 먼저 짚어 냅니다.
기준 미달 모델을 코드가 자동 거부
지금 동작바뀐 근거의 과거 답을 표시
다음 단계누가 · 언제 · 왜 나갔는지 고칠 수 있게
설계 단계