데이터 피드 — 필요한 데이터를 매달 정제해서 납품합니다

이런 팀을 위해

• 매주 사람이 복사해 넣는 팀
• HWP·PDF 안의 표가 필요한 팀
• 검색·RAG·분석용 외부 데이터를 지속 공급받아야 하는 팀

진행

1. 구축 — 100~300만원

   대상 분석, 수집 규칙, 스키마 확정, 과거분 백필, 검증, 납품 경로. 대상 수·첨부 파싱·백필 기간에 따라 정해집니다.

2. 월정액 — 월 30~80만원

   정해진 주기로 수집, 사이트 변경 시 복구, 갱신 로그.

API가 있으면 API로, 없으면 자체 자동 복구 크롤러로 수집합니다.

이 피드를 돌리는 시스템

• 시즐론이 직접 만든 수집 시스템입니다(사내 이름 Crawler Platform). 대표가 매체 7,000곳을 돌리던 설계를 시즐론에서 다시 지었습니다.
• 수집→정규화→적재가 파이프라인 단위로 나뉘고, 대상 사이트가 바뀌면 실패를 격리해 두었다가 규칙을 고친 뒤 재처리합니다. 납품물에 갱신 로그와 실패·복구 이력이 붙는 이유입니다.
• 적재는 고객이 쓰는 곳으로 — 관계형 DB, 클라우드 스토리지, 메시지 큐, 스프레드시트, 검색엔진, CSV·엑셀 파일, HTTP API.
• 처음부터 설치형 납품을 전제로 만들어 운영 문서, 매주 자동으로 도는 납품 리허설, 자동 테스트 2,411건(2026-09-11, 테스트 함수 수 집계)이 있습니다.
• 개찰 원자료는 나라장터 API로 매일 어제까지 받고, 개찰 뒤에도 행이 바뀌므로 최근 창은 다시 받아 덮어씁니다. 첨부는 자체 추출기로 텍스트와 표를 풉니다. hwp·hwpx·pdf·xlsx·xls·docx·pptx·html·csv·txt 10종과 zip 첨부를 처리하고, HWP 바이너리는 표 구조가 유지되는 변환 경로만 씁니다(텍스트 변환은 표를 잃습니다). 추출 결과는 골든 픽스처 회귀 테스트로 지키고, 표 보존율은 같은 추출기에 하루치 첨부 전체를 넣어 잽니다. 수집·파싱·집계 각 단계가 파일과 로그로 남고, 실패는 알림으로 옵니다.
• 운영 실적이 쌓인 피드는 고객 서버로 이전해 드립니다 — 설치형, 별도 견적. 데이터도 시스템도 시즐론에 묶이지 않습니다.

실측 노트

• 표가 사라지면 RAG 는 틀린 숫자를 자신 있게 말한다 — 공고문 214건으로 잰 HWP·PDF 표 추출 →

  범용 추출은 셀 85% 를 버리거나 행 구조 4% 만 남긴다. 같은 문서의 PDF 는 최선 도구도 셀 87%.

• 이 피드가 낸 표의 실물 — 나라장터 개찰 데이터 6개월 관측 (미리보아 리포트) →

  응찰 1,747만 행·공고 183,240건. 관측치 셋과, 숫자 옆에 같이 나가는 데이터의 사정 셋(빈 날·수집 시점·미확정).

결과물

• CSV / JSON / API — 스키마 고정
• 갱신 로그 — 시각·신규·변경·삭제
• 실패·복구 이력

데이터 수집 원칙

• 로그인 뒤의 데이터, 개인정보, 약관상 수집 금지 사이트, 저작권 있는 본문 전문은 금액과 무관하게 받지 않습니다.
• robots 와 요청 간격을 준수합니다.
• 고객 데이터를 재판매하거나 다른 고객에게 재사용하지 않습니다.
• 납품 표에는 빈 날과 그 사유, 미확정 비율, 수집 기준일을 숫자와 같은 표에 적습니다. 고지가 빠진 표는 틀린 표보다 위험합니다.

일회성 추출 50만원 미만은 받지 않습니다.

자주 묻는 것

자체 서버로 옮길 수 있나요?

있습니다. 운영 실적이 쌓인 피드에 한해 수집 시스템째 고객 서버로 이전하며, 별도 견적입니다. 그때까지는 매달 저희가 운영 위험을 지고 파이프라인을 다듬는 기간입니다.

대상 사이트가 바뀌면요?

복구는 월정액에 포함됩니다.

주기는 어떻게 정하나요?

구축 단계에서 대상과 함께 확정합니다.

이 다음에 보통 필요한 것

• 받은 데이터를 검색에 넣었는데 안 나오면 →

  대개 형태소·사전에서 시작합니다. 실패 질의로 골든셋을 만들어 전후를 잽니다.

• 이 데이터가 공공 SI 산출물에 들어가면 →

  감리 전 대비표 검토 — 행마다 판정과 원문 근거까지.