基于网站sitemap 抓取网页生成静态HTML

tengxunyun cera

以下说明仅适用于动静分离的网站,目前仅支持最多二级抓取,嗯,如果不是就不要看了,局限性还是比较大,后面再修改。

最近某度云有活动,看了下说明,虚拟机有buff加成,所以买了台来试试。

想法是为搜索引擎专门开辟一条线路,但是发现数据库不好同步,目前数据库是良心云的MySql,所以想了想弄个静态站点得了。

周五下午的时候构思了下,回来写了点点,今天把她完善了下。

其实功能挺简单的,简单讲file_get_contents 和 file_put_contents 两个函数即可轻松实现。

不过难点在于如何优化,比如抓取回来的数据一次遍历的话,PHP 肯定会超时,而且源站也有可能宕机。

另外一个就是数据存放,抓取后的sitemap 存放在哪里?

代码请看这里 https://github.com/Hegreen/sitemap_robot

用法:

首先配置源站信息和sitemap,配置当前文件所在站点目录即可。

然后再浏览器运行即可,效果如下。

嗯,更多功能关注后续版本。

cera cloudiplc

相关推荐

如何给网站添加网站地图Sitemap

从网上了解得知了网站地图Sitemap的格式分为两种 Sitemap.html和Sitemap.xml Sitemap.xml的作用就是给搜索引擎提供和通知该网站上可供抓取的网页。通常网络蜘蛛会通过网站内部的链接和其他网站上的链接来查找网页。Sitemap.xml可以提供网站数据方便抓取工具抓取和使用该使用网站所提供的所有网址。说白了Sitem.xml是提供给搜索引擎用的。该文件里面的内容就是网站上链接的列表,让搜索引擎更好的收录网站的文章。 而Sitemap.html格式的网站地图是根据网站层次结构而制定的。把一个网站的功能结构和内容有条理的列出来。从而让用户对该网站的整体有个认知。一般的,网站的首页都会添加一个Sitemap.html格式的网站地图链接。也就是说Sitemap.html格式的文件是展示个访问用户看的。 一直以来我的网站都没有添加网站地图Sitemap,因为要安装插件,又不想安装过多的插件,想着自己手动生成。百度了一下Sitemap的生成软件,挺多的。有SitemapX软件,我也下载一个,感觉挺好用的,只是生成的Sitemap里面中文都是乱码,更改了编码格式也没用。而后试着用了爱站网的SEO工具包,里面也有网站地图功能,两个软件的用法大体一样。 打开网站地图/Sitemap功能,里面的设置完成后点击抓取,即可开始抓取网站的页面。 完成后,生成xml文件。记得勾选html格式的Sitemap,不然就没有Sitemap.html文件,只有Sitem.xml文件。   生成文件后会提示打开文件目录查看。就会看到已经成了Sitemap.xml和Sitemap.html文件,同时还有robots.txt和一个Sitemap.xsl。 用编辑软件打开Sitemap.xml和Sitemap.html看看有没有想要删除的URL链接。编辑完成后就可以上传到网站根目录下。修改robots.txt里面Sitemap的文件路径。再在网站后台添加网站地图的链接就可以实现网站地图sitemap功能了。分别点击Sitemap.xml和 Sitemap.html查看,就会发现浏览器所展示的内容不一样了,一个是面向搜索引擎,一个是面向访问用户的。在上传Sitemap.xml的时候记得要把Sitemap.xls也一起上传,不然的话,打开Sitemap.xml就会是一片空白。没有内容。      

Eqservers测评|优惠码|45刀每月|E3-1230|32G内存|8T硬盘|30T流量|1Gbps带宽|弗吉尼亚|达拉斯|荷兰

Eqservers,荷兰主机商,成立于2011年,主要提供独立服务器。现在有一些特价独立服务器,性价比还不错。 CPU:E3-1230 内存:32 GB 硬盘:4 × 2 TB 流量:30 TB / 月(1Gbps端口) IPv4:1 $45/月 数据中心:弗吉尼亚 购买地址 CPU:E3-1230 内存:32 GB 硬盘:2 x 240GB SSD + 2x 2TB 流量:30 TB / 月(1Gbps端口) IPv4:1 $45/月 数据中心:弗吉尼亚 购买地址 CPU:E3-1230 内存:32 GB 硬盘:4 x 240 GB SSD 流量:30 TB / 月(1Gbps端口) IPv4:1 $45/月 数据中心:弗吉尼亚 购买地址 CPU:E3-1230 内存:32 GB 硬盘:4 x …

hostyun测评|优惠码|美国|洛杉矶MC|GIA|VPS主机|1G内存|月付15.3元

#hostyun#老牌IDC商家,自定义为“垃圾”主机商,运营时间超过10年时间,在7月底,商家对脱销有一段时间的美国洛杉矶#MC机房#与洛杉矶廉价GIA系列KVM VPS主机进行了补货,对于有需求便宜洛杉矶GIA系列的用户可以关注一下,折扣之后月付15.3元起,如果用于建站等有重要数据请做好本地备份业务,同时商家也只支持月付。   洛杉矶廉价版GIA: 说明:美国上游机房亏本销售,去程为高防线路,走三网CN2GIA回国,但不保证一定走CN2 GIA;限时9折优惠码:#hostyun# 内存 CPU SSD 流量 带宽 价格 购买 1G #1核# 10G 500G/月 60Mbps 17元/月 链接 1G 1核 20G 700G/月 70Mbps 19元/月 链接 测评款为韩国鸡非本次推荐   区域:韩国 线路:CN2,KT,LG混合BGP VPS产品测速: http://kr-speedtest.hostyun.com/ 韩国专属#优惠码#:kr85 (终身优惠85折) 全场长期#优惠码#: HostYun 韩国512M,10GSSD,50M带宽,500G流量,折后:17.85元/月 订购地址: https://my.hostyun.com/   回程路由测试: 北京电信(天翼云) 回程: Start: Thu Jul 23 23:17:55 2020 Loss% Snt Last Avg Best …

Advin Servers测评|优惠码|2.5刀每月|2核|4G内存|80G SSD空间|不限流量|1Gbps端口|KVM|达拉斯

#AdvinServers#,国外商家,似乎新成立,主要提供#虚拟主机#、#VPS#、#VDS#、#独立服务器#等。现在有一些优惠,性价比不错。支持#Paypal#付款。 VPS-RAM Lineup 购买页面可自定义内存、IP等,默认无IPv4,#达拉斯# vCPU:2 内存:4 GB 空间:80 GB SATA 或 NVMe SSD 流量:不限 / 月 #1Gbps端口# IPv4:1 $2.5/月 #优惠码#:BB1VN4G7HO 购买地址 Storage – 7.5TB HDD Hybrid [Clearance] 芬兰 vCPU:1 @ E3-1275 v5 内存:8 GB 空间:7.5TB HDD (Shared) 流量:不限 / 月(125 Mbps端口) IPv4:1 $19.99/月 购买地址   CPU频率:2999.996兆赫 总磁盘大小:246.2 GB(已使用26.2 GB) 内存总量:481 MB(已使用90 MB) 交换总量:511 MB(已使用28 MB) 系统正常运行时间:12天17小时3分钟 …

微信扫一扫,分享到朋友圈

基于网站sitemap 抓取网页生成静态HTML