KillSpider 集成与配置

http {
    # ... 其他配置 ...

    server {
        listen 80;
        server_name www.your-website.com;

        # =========================================================
        # [核心配置] 定义 KillSpider 验证接口
        # 该 location 是内部调用的，外部无法直接访问
        # =========================================================
        location = /_killspider_check {
            internal; # 仅允许内部访问

            # 转发给 KillSpider 运行的地址
            proxy_pass http://127.0.0.1:5000/check;

            # [关键] 必须传递原始请求的特征信息，否则无法判断！
            proxy_pass_request_body off; # 不需要请求体，只发头信息
            proxy_set_header Content-Length "";

            # 1. 传递真实 IP (KillSpider 封禁的基础)
            proxy_set_header X-Real-IP $remote_addr;
            
            # 2. 传递原始访问的 URL (用于关键字过滤)
            proxy_set_header X-Original-URI $request_uri;
            
            # 3. 传递 User-Agent (用于识别爬虫特征)
            proxy_set_header User-Agent $http_user_agent;
        }

        # =========================================================
        # [应用配置] 保护您的业务页面
        # =========================================================
        location / {
            # 1. 开启鉴权：每个请求都会先去 /_killspider_check 跑一遍
            auth_request /_killspider_check;

            # 2. 定义拦截后的行为 (当 KillSpider 返回 401 时)
            error_page 401 = @error401;

            # 正常业务转发
            proxy_pass http://127.0.0.1:8080; 
        }

        # [可选] 自定义拦截返回页面
        location @error401 {
            default_type text/plain;
            return 401 "Access Denied: Blocked by KillSpider Firewall.";
        }
    }
}