网站地图,又称站点地图,也就是Sitemap。它就是一个页面,上面放置了网站上所有页面的链接。
大多数人在网站上找不到自己所需要的信息时,可能会将网站地图作为一种补救措施,这是HTML格式的网站地图。另一方面,搜索引擎也需要网站地图,对于网站结构层次较深的网站,一个好的网站地图就显得格外重要。
制作网站地图最核心的就是分析获取页面所有链接,过滤掉非本域的链接,然后拼接入库,继续获取分析接下来的所有链接。过滤掉重复的,这样就可以通过一个入口获取全站所有的链接。
WEB视界网站地图SITEMAP 2.0版本与2月27日正式上线,SITEMAP 2.0版本,重构了整个处理过程,有效降低了服务器压力。
通过浏览器本身能力,处理大量数据,抓取整个网站所有链接。
SITEMAP 2.0版本,可以生成XML、HTML、TXT格式的网站地图文件,这个版本中,如果不小心关闭了浏览器,直接打开浏览器,重新抓取,会继续之前的数据,不会从头重新开始。