小偷程序

介绍如何通过 robots.txt 发布采集规则，并结合 Nginx、登录验证、速率限制和内容设计控制网页采集；说明这些措施的能力边界、安全用途与常见配置错误。

介绍如何从 Nginx 访问日志发现疑似内容采集，涵盖日志配置、命令行筛查、可运行的 Python 分析脚本、判读边界、误报来源及安全处置建议。

介绍“小偷程序”与网站抓取的基本原理、合规边界和识别方法，附带限域、限速、遵守 robots.txt 的 Python 示例，以及站长的日志排查与防护建议。