最近试了几个爬虫工具,分享下我的使用体验 做 AI Agent 的时候,数据采集是最头疼的环节
最近试了几个爬虫工具,分享下我的使用体验
做 AI Agent 的时候,数据采集是最头疼的环节。
MediaCrawler(45K+ stars) 如果你要做国内社交媒体的内容抓取,这个几乎是唯一选择。
支持的平台很全:小红书、抖音、B站、微博、快手、知乎、百度贴吧。代码质量不错,社区活跃,更新也及时。
最近试了几个爬虫工具,分享下我的使用体验
做 AI Agent 的时候,数据采集是最头疼的环节。
MediaCrawler(45K+ stars) 如果你要做国内社交媒体的内容抓取,这个几乎是唯一选择。
支持的平台很全:小红书、抖音、B站、微博、快手、知乎、百度贴吧。代码质量不错,社区活跃,更新也及时。