爬虫技术

本文介绍了作者在 B 站发现“我的世界小站”功能后，对 MC 玩家社区需求的分析以及通过技术手段批量探索小站的过程。作者认为玩家真正缺失的不是论坛形式，而是优质资源和联机玩伴。为了了解 B 站共建了多少个小站，作者尝试编写爬虫，但发现网站采用 Vue 等前端框架进行客户端渲染，普通 HTTP 请求无法获取完整 HTML。随后利用 Playwright 库调用无头 Chromium 浏览器，模拟真实用户加载页面，等待 JS 执行完毕后提取 div.name 元素内容。脚本从数字 1 开始递增访问，遇到超时（视为 404）自动停止，成功获取到共 72 个小站的名称列表，包括艾尔登法环小站、Switch 小站、佛学学习分享小站等。文章还分享了脚本的 UA 伪装、依赖库配置、以及开发者对开源文档的考量，最终为读者提供了一个可直接运行的自动化工具，并鼓励对 B 站小站生态感兴趣的用户收藏使用。