글로벌 보안 및 웹 인프라 기업 클라우드플레어가 검증된 자동화 프로그램인 ‘Verified Bot’의 사후 행적을 지속해서 모니터링하고 평가하는 신규 시스템을 구축했다.
단순히 신원을 확인해 보증을 부여하던 기존 방식에서 한 단계 더 나아가, 인증 이후 웹사이트 운영자의 지시나 요청을 실제로 잘 이행하는지 계속 지켜보겠다는 취지다.
그동안 클라우드플레어는 정확한 신원 표식, 공지한 목적에 들어맞는 동작, 악의적 남용 금지 등 세 가지 기준을 충족한 크롤러나 에이전트에 Verified Bot 지위를 부여해 왔다. 이들은 웹 봇 인증(Web Bot Auth) 체계나 IP 검증을 거쳐 신원을 증명하고 공공 목록인 봇베이스(BotBase)에 등록되어 웹사이트 보안 장벽을 비교적 수월하게 통과해 왔다.
하지만 검증 절차를 통과한 봇이라도 운영 과정에서 설정 오류나 과도한 수집 정책 탓에 웹 서버에 부하를 주거나 수집 거부 의사를 무시하는 사례가 잇따랐다. 운전면허증이 있다고 해서 그 운전자가 앞으로도 항상 안전운전을 한다는 보장이 없는 것과 같은 이치다.
이번에 가동된 시스템은 이러한 허점을 메우기 위해 일회성 신원 평가와 장기적 신뢰도를 분리한다. 봇이 사이트의 세부 지침에 얼마나 정직하게 반응하는지를 다각도로 수집해 기록한다.
평가 과정에서는 특정 시점의 단발성 위반보다 반복되는 행동 패턴을 중점적으로 살핀다. 대표적인 지표가 웹사이트 수집 규칙 규격(RFC 9309)에 따른 robots.txt 준수 여부다. 특정 경로에 대한 접근 금지 명령을 지속해서 무시하고 기계적으로 접근을 시도하는 크롤러는 감점 대상이 된다.
웹사이트가 과도한 요청을 제어하기 위해 보내는 HTTP 429 'Too Many Requests' 응답에 어떻게 반응하는지도 주요 관찰 항목이다. 서버로부터 거부나 요청 속도 줄임 신호를 받았을 때 요청 간격을 늘리거나 작업을 일시 중단하는 봇은 신뢰 점수가 오르지만, 이를 무시하고 기존 속도대로 수집을 강행하면 신뢰 구간이 자연스럽게 깎인다.
관찰된 데이터는 단순한 흑백 논리식 상벌점이나 영구 차단으로 처리되지 않는다. 클라우드플레어는 행동 이력을 바탕으로 정당성을 설명할 수 있는 '신뢰 구간(Trust Band)'을 계산해 반영한다. 일시적인 시스템 오류로 발생한 우발적 요청과 의도적인 무단 수집 행위를 구분해 억울한 차단을 방지하기 위함이다.
클라우드플레어는 현재 내부 플랫폼에서 이 시스템을 활용해 글로벌 Verified Bot의 실시간 트래픽을 관찰·평가하고 있다.
앞으로 수집된 평가 데이터를 분석 플랫폼인 클라우드플레어 레이더(Cloudflare Radar)에 순차적으로 공개할 예정이다. 각 웹사이트 운영자와 고객사들이 자사 기준에 맞춰 특정 신뢰 구간 이하의 Verified Bot 트래픽을 직접 제한하거나 통제할 수 있는 차단 기준 설정 기능도 제공한다.
