검색·RAG 품질 진단 — Elasticsearch · OpenSearch

이런 팀을 위해

• ES/OpenSearch 를 운영 중인데 "검색이 이상하다"는 CS 가 반복되는 팀
• RAG 답이 엉뚱하게 나오는 팀 — 대부분 검색 문제입니다
• 형태소·사전·동의어 관리의 주인이 없는 조직
• 검색 담당자가 없거나 겸직인 팀

진행

1. 1주 — 진단

   로그·설정 분석. 실패 질의 100건과 대조 질의 30건을 확정하고, 질의마다 나와야 하는 문서를 고객이 지정한 뒤 동결합니다.

   골든셋을 동결하고 재측정하는 방법은 미리보아 벤치마크와 같습니다 — 같은 잣대로 요구조건 추출 재현율 73.5% → 87.4%. 벤치마크 보기 →

2. 2주 — 재설정

   analyzer·사전·동의어·랭킹 재설정. 고객 클러스터 안의 재측정 인덱스에서 같은 문서·같은 쿼리로 before/after 를 잽니다.

실측 노트

• 검색이 못 찾으면 RAG 는 답할 수 없다 — 한국어는 토크나이저부터 본다 →

  공고명 183,240건, Nori 기본 vs 코퍼스 사전. P@10 0.906→0.986.

결과물

• 진단 보고서 — 문제 유형별 정량 근거
• 바로 적용 가능한 settings·analyzer·사전 파일
• 재현 가능한 평가 셋 — 실패 질의 100건 + 대조 질의 30건, 질의별 before/after 결과표

자주 묻는 것

데이터를 반출해야 하나요?

아닙니다. 읽기 계정과 화면 공유로 진행합니다. 로그·설정 파일이 밖으로 나가지 않습니다.

어떤 스택을 다루나요?

Elasticsearch·OpenSearch, Nori 를 포함한 한국어 형태소 분석기, 사용자 사전·동의어 사전, BM25 랭킹. 그 외 스택은 통화에서 확인합니다.

무엇을 보장하나요?

수치로 보장합니다. 1주차에 확정한 실패 질의 100건의 적중률이 10%p 이상 오르지 않거나, 함께 재는 대조 질의 30건이 나빠지면 2주차분 150만원을 청구하지 않습니다. 기준과 측정 방법은 계약서에 수치로 적습니다. 재측정은 고객 클러스터 안의 인덱스에서 하며, 그 인덱스가 준비되지 않으면 보장은 적용되지 않습니다.

우리 개발자가 직접 하면 되지 않나요?

할 수 있습니다. 차이는 골든셋으로 전후를 재고, 사전·동의어를 운영 가능한 파일과 절차로 넘기는 것입니다. 2주 뒤에는 개발자가 이어서 관리할 수 있게 인계합니다.

우리 쪽에서 시간을 얼마나 내야 하나요?

담당자 기준 총 3~4시간입니다 — 권한 발급 30분, 골든셋 검수 2시간(질의마다 "나와야 하는 문서"를 고르는 일), 1주차 말 점검 30분, 결과 발표 1시간. 그 밖에 엔지니어 시간이 별도로 듭니다 — 재측정용 인덱스를 고객 클러스터에 준비하는 1~2시간, 그리고 진단 도구를 돌릴 리눅스 호스트(VM 이나 컨테이너, 클러스터 접근 가능) 하나. 절차서와 설정 파일은 드립니다.

적용은 누가 하나요?

설정 파일과 적용 절차를 드립니다. 원하시면 화면 공유로 함께 적용합니다.

이 다음에 보통 필요한 것

• 색인할 외부 데이터가 필요하면 →

  공공 공고·HWP 첨부·PDF 표를 매달 정제해 색인 가능한 형태로 넣습니다.

• 키워드로 안 잡히는 질의가 남으면 →

  BM25 + kNN 하이브리드 설계. 진단 뒤 별도 견적.

• 이 검색 모듈이 공공 SI 납품물이면 →

  감리 전에 대비표를 대조해 빈 칸과 반영 미흡을 찾습니다.