Screaming Frog SEO Spider是一款专业的网站资源检测搜索工具，软件支持抓取网站并查找断开的链接（404）和服务器错误、审计重定向、发现重复内容、分析页面标题和元数据等功能，是一款非常使用的网站优化和SEO工具；Screaming Frog SEO Spider具有查找破碎的链接、审核重定向、分析页面标题和元数据、发现重复的内容、使用XPath提取数据、审查机器人和指令、生成XML站点地图等功能,软件界面十分简洁明晰，并且软件使用起来方便快捷。
使用方法
一、爬行抓取
1、常规抓取
在常规抓取模式下，Screaming Frog SEO Spider 13破解版会抓取您输入的子域名，并将默认情况下所遇到的所有其他子域名视为外部链接（显示在“外部”标签下）。在该软件的许可版本中，您可以调整配置以选择抓取网站的所有子域。搜索引擎优化蜘蛛最常见的用途之一是在网站上发现错误，如断开的链接，重定向和服务器错误。为了更好地控制抓取，请使用您的网站的URI结构、SEO spider配置选项，例如只抓取HTML（图像、CSS、JS等）、排除功能、自定义robots.txt、包含功能或者更改搜索引擎优化蜘蛛的模式，并上传一个URI列表抓取
2、抓取一个子文件夹
SEO Spider工具默认从子文件夹路径向前抓取，因此如果您希望抓取站点上的特定子文件夹，只需输入具有文件路径的URI即可。通过直接输入到SEO Spider中，它将抓取/blog/sub目录中包含的所有URI
3、抓取网址列表
通过输入网址并点击“开始”来抓取网站，您可以切换到列表模式，粘贴或上传要抓取的特定网址列表。例如，在审计重定向时，这对于站点迁移尤其有用
二、组态
在该工具的许可版本中，您可以保存默认的爬网配置，并保存可在需要时加载的配置配置文件
1、要将当前配置保存为默认值，请选择“文件
还没有评论，来说两句吧...