시즐론의 요구사항 대조 엔진
요구 문서에서 요구조건을 원자 단위로 뽑고, 응답 문서가 그것을 채웠는지 원문 인용으로 대조합니다. 미리보아와 감리 대비표 사전 검토가 이 엔진 위에 있고, 데이터 피드는 HWP·PDF 표 추출 층만 같이 씁니다(수집은 자체 크롤러와 API 로 따로, 판정 층은 쓰지 않습니다). 한 사람이 만들고 운영합니다. 수치는 잣대와 함께 공개하고, 잰 적 없는 도메인은 없다고 씁니다.
이 엔진으로 하는 일 — 둘, 그리고 표 추출 층만 같이 쓰는 일 하나
나라장터·미 연방조달 공고의 요구조건 전부를 응찰 서류와 대조합니다.
측정치 있음 — 위 recall·precision 이 이 도메인의 것입니다.
감리 대비표 사전 검토RFP 요구사항을 설계 산출물과 대조하고, 대비표의 행과 ID 를 규칙으로 맞춥니다.
감리 산출물 기준 측정치 없음 — 고객이 공유한 실제 감리 지적과 지적 예상 목록을 요구사항 ID로 대조한 수치를 쌓아 공개합니다.
데이터 피드이 엔진의 표 추출 층만 같이 씁니다 — 공공 공고의 HWP·PDF 첨부를 표째 읽는 부분. 수집은 자체 자동 복구 크롤러와 API 로 따로 하고, 요구조건 추출·판정 층은 쓰지 않습니다.
표 보존율 99.4% 가 그 층의 수치입니다. 판정 수치는 이 서비스와 무관합니다.
작동 방식 — 네 단계
- 파싱
HWP·HWPX·PDF·DOCX·XLSX 를 표를 표째 읽습니다. 한국 공공 문서의 요구조건은 표 안에 있는 일이 많아, 표를 잃는 추출은 조용히 틀립니다.
HWP·PDF 첨부 표 보존율 99.4% — 2026-09-08 나라장터 하루치 첨부 500건, 선호 형식·파싱 오류 제외. 범용 도구는 같은 종류 문서에서 표 셀의 85~87%를 잃었습니다(공고 214건). 표 추출 실험 →
- 추출
요구 문서에서 요구조건을 문장 하나가 조건 하나인 원자로 뽑습니다. 중복은 병합하고 의무·권고와 중요도를 나눕니다. 규칙으로 센 지시어 문장 수가 추출의 하한선이 되어, 그보다 적게 뽑히면 확인 후보를 남깁니다.
요구조건 추출 recall 87.4% — 나라장터 공고 3건 골든셋 2,013항목 전수 기준. 측정 방법 →
- 대조
원자마다 응답 문서에 반영됐는지 반영·부분·미반영으로 판정하고 근거 문장을 원문 그대로 붙입니다. 규칙으로 닫히는 것은 규칙으로 잽니다 — 서류 존재, 서류 간 식별 정보 일치, 금액 정합, 응찰 구조 선언. 날짜 순서와 발급 기한, 표 합계, 금액 상한·하한, 단위와 부가세 기준, 조건부 서류 검사는 2026년 9월에 넣어 그림자 실측 중입니다.
"확실" 판정 precision 96.5% — 같은 골든셋. 같은 질문을 세 번 따로 물어 답이 모두 같고 인용이 원문에 접지된 판정만 확실로 셉니다.
- 검증·납품
판정이 나가기 전에 규칙 게이트를 다시 통과합니다. 인용이 원문에 실재하는가, 요약의 숫자가 본문과 같은가, 본 서류가 접수 서류와 같은가, 내부 흔적이 없는가. 원문에서 확인되지 않는 판정은 확정하지 않고 "확인 필요"로 둡니다.
입찰 서류 검증: 자동 게이트 7종 — 걸리면 운영자에게 넘어가고, 통과 건은 운영 설정에 따라 사람 검수를 거치거나 바로 납품됩니다. 감리 대비표 검토: 사람 검수 없이 엔진 출력 그대로. 리포트 렌더러에는 언어 모델이 없어 같은 판정 자료에서 언제나 같은 리포트가 나옵니다.
- 규칙 층 — 서류 존재, 서류 간 식별 정보 일치, 금액 정합, 대비표 ID 대조처럼 규칙으로 닫히는 것. 같은 입력이면 같은 결과입니다.
- 언어 모델 층 — 해석이 필요한 반영 여부. 같은 질문을 세 번 따로 물어 답이 모두 같고 인용이 원문에서 확인되어야 "확실"이고, 아니면 "확인 필요"입니다.
판정을 어떻게 믿나
- 해석이 필요한 판정은 같은 언어 모델에 같은 질문과 문서를 서로 모르게 세 번 따로 묻습니다. 세 답이 모두 같고 근거 인용이 원문에 글자 그대로 있을 때만 "확실"로 내고, 아니면 "확인 필요"로 넘깁니다. 이 방식은 답이 흔들리는 판정을 걸러내지만, 모델이 세 번 똑같이 틀리는 경우까지는 막지 못합니다. 그래서 모든 판정에 원문 인용을 붙입니다. 감리 대비표 검토는 세 답이 갈리면 두 번 더 물어 다섯 중 넷이 같을 때 그 판정을 씁니다. 모르면 모른다고 씁니다.
- 규칙으로 닫히는 것은 언어 모델 없이 잽니다. 언어 모델이 낸 판정도 규칙 게이트를 다시 통과해야 나갑니다.
- 인용이 원문에 글자 그대로 있어도 뜻까지 맞는다는 보장은 아닙니다. 그래서 인용을 붙여 받는 사람이 30초 안에 확인할 수 있게 둡니다.
같은 형태의 근거 — 다른 분야에서 잰 것
우리 엔진의 수치가 아닙니다. 우리가 쓰는 방식(만장일치·규칙 검증·인용 접지)이 다른 분야에서 어떻게 재어졌는지입니다.
- 의료 기록 추출에서 모델 다섯이 만장일치일 때 정확도 99.4%, 합의에 이른 비율 81.7% — 합의가 안 되면 "합의 없음"으로 남깁니다 (MacKay 외, British Journal of Anaesthesia, 2025). 출처 →
- 데이터 계보 검증에서 규칙 검증기의 재현율 0.99, 언어 모델 검증기 0.74 (Valiax 기술보고, 2026). 출처 →
- 언어 모델이 붙인 인용이 원문에 글자 그대로 있는 비율 83~91%, 그중 뜻까지 뒷받침한다고 판정된 비율 48~79% — 판정자는 언어 모델 (Windisch 외, Cureus, 2026). 출처 →
하지 않는 일
- 적합·부적합을 확정하지 않습니다. 감리원·심사위원·감사인이 볼 것을 먼저 보고 예상을 드립니다.
- 원문을 요약하거나 다시 쓰지 않습니다. 근거는 언제나 문서의 그 문장입니다.
- 문서 밖의 사실은 보지 않습니다. 실물, 시험 수행 여부, 회사의 실제 자격은 문서로 알 수 없습니다.
- 한 도메인에서 잰 수치를 다른 도메인에 옮겨 쓰지 않습니다.
도메인마다 골든셋을 새로 잡습니다
추출과 판정의 정확도는 문서 종류에 따라 다릅니다. 입찰 공고에서 잰 87.4%·96.5% 는 감리 산출물이나 정산 서류의 수치가 아닙니다. 새 도메인은 실제 문서로 골든셋을 만들고 나서야 숫자를 말하고, 합성 문서로 만든 숫자는 어디에도 쓰지 않습니다. 골든셋은 답안을 먼저 쓰고 동결한 뒤 엔진을 돌려, 사후에 답을 맞추지 않습니다. 한국어·영어 두 로케일이 같은 엔진입니다.
문서 검증 의뢰
세 서비스 어디에도 딱 맞지 않는 문서도 받습니다. 조건 문서(요구·규정·계약)와 응답 문서(제출물·산출물·증빙)의 종류를 알려 주시면 영업일 1일 안에 이 엔진으로 판정이 가능한지, 어떤 형태로 드릴 수 있는지 회신합니다. 접수는 무료이고, 결제는 범위와 형태를 확인한 뒤입니다.
문서 검증 의뢰하기 →문의 폼에서 주제는 "기타"를 고르고, 조건 문서와 응답 문서의 종류를 한 줄씩 적어 주세요.