直接说结论，如果你的域名开启了 Cloudflare 的 AI 防护，你的网站会多出来一份 robots.txt。哪怕你自己没写过，它会禁止绝大部分的 AI 或者爬虫。带来的结果是什么呢？你的网站在搜索引擎上掉排名，甚至根本就搜不到。如果不是必应警告我，我根本不知道还有 robots.txt 这回事。解决办法很简单，就是把这个功能关了，自己写一个 robots.txt。

除非你根本不在乎排名，甚至不希望你的网站有任何爬虫访问，只在乎记录自己，平时都是朋友访问自己的网站。说真的从来就没想过 robots.txt 的事情，特地写了一篇长篇大论思考个人网站的意义，说什么 AI 访问网站、内容被拿去训练、网站排名不靠前之类的，还是太肤浅了。我还以为只要懂 Linux，运维就学明白了，没想到还要懂这玩意。