「项目实战」 Milky Way Idle Wiki 爬虫工具开发

仓库地址：https://cnb.cool/shenhuanjie/milkywayidle-wiki-crawler

一、项目背景

1.1 需求来源

用户需要将 Milky Way Idle 游戏维基 的内容批量爬取并转换为 Markdown 格式，便于离线存档、本地阅读或二次加工。同时需支持 自动抓取站内链接，实现全站内容递归爬取，避免手动逐个页面处理的低效问题。

1.2 目标场景

• 离线文档库：将维基内容存档为 Markdown，用于本地知识库或团队协作。
• 内容迁移：为后续可能的内容迁移（如自建 Wiki、博客）提供标准化数据。
• 数据分析：通过爬取全站内容，分析游戏玩法、用户贡献等信息（扩展场景）。

二、功能需求

2.1 核心功能：页面爬取与格式转换

2.2 辅助功能：文件与链接管理

2.3 输入输出要求

三、技术要求

3.1 技术选型

3.2 关键技术实现

3.2.1 链接处理逻辑

1. 相对路径转绝对路径：
   • 输入：/Game_Overview → 输出：https://milkywayidle.wiki.gg/Game_Overview。
2. 去重规则：
   • 使用全局集合crawled_links存储已处理的 URL，每次请求前检查是否已存在。
3. 过滤策略：
   • 排除非正文链接（如编辑页面、文件页面），仅保留用户可阅读的内容页面。

3.2.2 Markdown 转换规则

3.3 项目代码结构

核心模块说明

模块调用关系

main.py
├── 初始化 → config.py（加载配置）
├── 爬取循环 → link_processor.py（提取新链接）
│   └── 有效链接 → file_manager.py（保存内容）
└── 异常处理 → config.py（记录日志）

3.3 Python 虚拟环境配置

1. 安装virtualenv：

pip install virtualenv

2. 创建虚拟环境：

virtualenv venv

3. 激活虚拟环境：

source venv/bin/activate

4. 安装依赖：

pip install requests beautifulsoup4

3.4 运行参数示例

python crawler.py --start_url https://milkywayidle.wiki.gg/ --output_dir ./docs/

3.5 调试技巧

在调试过程中，可以通过查看日志文件crawler.log来排查问题。日志文件记录了爬取成功、失败、重复链接等信息，格式为：时间+URL+状态。

3.6 Docker 使用示例

1. 构建 Docker 镜像：

docker build -t milkywayidle-wiki-crawler .

2. 运行 Docker 容器：

docker run -v $(pwd)/docs:/app/docs milkywayidle-wiki-crawler

四、非功能需求

4.1 性能要求

• 爬取速度：单线程模式下，建议每页面间隔 1-2 秒（避免触发网站反爬机制）。
• 并发扩展：未来可支持多线程或异步爬取（需添加代理池和速率限制）。

4.2 稳定性与容错

• 重试机制：对网络超时的请求自动重试 3 次（间隔 5 秒）。
• 日志记录：记录爬取成功、失败、重复链接等信息，便于排查问题（日志格式：时间+URL+状态）。

4.3 合规性

• 遵守网站 robots.txt 协议（爬取前检查 https://milkywayidle.wiki.gg/robots.txt，避免爬取禁止的路径）。
• 控制爬取频率，避免对目标服务器造成负载压力（符合“君子协议”）。

五、验收标准

六、风险与应对

七、后续扩展建议

1. 增强格式支持：添加对表格、代码块、图片（下载并本地化路径）的转换功能。
2. 增量爬取：仅更新新增或修改的页面，避免重复爬取历史内容（需记录页面最后更新时间）。
3. 可视化界面：开发图形化工具（如 GUI 或 Web 界面），支持配置爬取参数、查看进度和日志。

附录：参考链接

• 目标维基地址：https://milkywayidle.wiki.gg/
• 技术文档：requests 官方文档、BeautifulSoup 官方文档