给内容抓取工具加 Playwright 兜底
Web Search + Playwright
研究网页内容抓取时,我发现很多微信文章、社媒文章都有反爬限制,普通搜索或请求不一定能拿到正文。于是我给自己的内容抓取工具加了一层兜底:默认先通过 Web Search 获取内容,如果抓不到,就切到 Playwright 浏览器操作,让工具像真实用户一样打开页面再提取内容。
这个思路让抓取链路更稳,也让我看到 MCP 加浏览器自动化在资料整理场景里的价值。
研究网页内容抓取时,我发现很多微信文章、社媒文章都有反爬限制,普通搜索或请求不一定能拿到正文。于是我给自己的内容抓取工具加了一层兜底:默认先通过 Web Search 获取内容,如果抓不到,就切到 Playwright 浏览器操作,让工具像真实用户一样打开页面再提取内容。
这个思路让抓取链路更稳,也让我看到 MCP 加浏览器自动化在资料整理场景里的价值。