2 cg010 cg010 于 2016.03.24 17:12 提问

智能建立网址列表程序意外停止但不出现错误?

最近想用PHP写一个收集站内网址列表的程序,如果要是为每个独立的网站都配置单独的规则程序就显得不够智能,所以想一次性写一个智能点的,我的思路是,程序从一个入口进入“www.xxx.com”后用FILE_GET_CONTENT 或CURL获取该页的HTML,然后通过正则分析出所有的链接保存到数组中。

这个时候问题就出现了,因为HTML写法问题,会出现很多情况,下面举例说明。

标题
标题
标题
标题
标题
标题
标题

等等吧,还有很多情况就不逐一写出来了,由于FILE_GET_CONTENT是必须能够访问到该页面才可以返回HTML,但是如果在访问之前不处理的话,就会出现无法访问被跳过的现象,于是我就根据一定情况对上述地址进行拼接使其能够被访问到。

但是我写出的程序依旧不能解决所有问题,而且现在会出现程序没执行完毕就停了,程序不报任何错误,好像结束了一样。

想赖咨询一下,大家有没有什么好的方法去匹配所有情况,因为网址拼接这块是个重点,如果不能有效拼接就无法抓取更多网址,但是通常的拼接不能解决所有情况。

希望大家给予指导。

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
vmware dhcp service 意外停止
这个问题造成的后果是NAT模式的网络连接不好使。 原因很可能是使用的vmware程序出问题了,或者是使用了精简过的vmware 解决方法:使用官方原版。 今天想用vmware弄个linux玩玩,结果NAT模式上不了网,大家都说这个模式最简单,哥哥弄了一下午。还是没有在linux下ping到可爱的百度。 气急败坏之下,发现vmware dhcp service 没有启动,手动启动,起
android提示:很抱歉!应用程序xxxx(进程:xxx.xxx.xxx)意外停止,请重试 强行关闭
照着别人的代码写,总是会出现意想不到的惊喜 
error MSB4014: 生成已意外停止 发生内部故障
错误1 error MSB4014: 生成已意外停止,因为发生内部故障。 Microsoft.Build.Exceptions.BuildAbortedException: 已取消生成。未能以子节点形式启动 MSBuild.exe,因为在位置“C:\WINDOWS\Microsoft.NET\Framework\v4.0.30319\MSBuild.exe”处找不到该程序。如有必要,请在
无法启动mysql服务错误 1067: 进程意外终止的解决方法大全
无法启动mysql服务错误 1067: 进程意外终止的解决方法大全MYSQL1067错误这里看 ************* 1 安装MYSQL后更改了ROOT的密码后用 net startmysql 启动时我就遇到了这样的问题.使用以下命令后 c:\mysql\bin\mysqladmin-u root -p shutdown 再net start mysql就没有这个错误提示了! **
如何解决EDIUS总是意外停止工作问题
有些小伙伴在一开始使用EDIUS的时候,总是会出现一些小问题,比如添加素材时总是意外停止工作
mongoDB 服务无法启动 错误1067:进程意外终止
解决办法: 在MongoDB的数据库路径下(MongoDB/data/下)移除.lock文件,重启服务。
mongodb意外退出问题解决
C:\Users\Administrator\Desktop\starts>mongod --dbpath C:\mongodbStore\dbTwo --st orageEngine=mmapv1 2017-09-02T18:50:53.627+0800 I CONTROL  [main] 2017-09-02T18:50:53.628+0800 W CONTROL  [main] 32-
LR运行常见错误解决办法
LR运行常见错误解决办法   一、Step download timeout (120 seconds)  这是一个经常会遇到的问题,解决得办法走以下步骤:  1、修改run time setting中的请求超时时间,增加到600s,其中有三项的参数可以一次都修改了,HTTP-request connect timeout,HTTP-request receieve timeout,Step do...
apache使用 端口冲突问题
问题 我在使用apache的时候,安装上不能使用,安装结束时有dos窗口提示一个错误好象是"ould not bind to address 0.0.0.0:80no listening sockets avaailable, shutting downunable to op
彻底禁止Microsoft Security Client OOBE 程序错误解决办法 (关闭Windows Defender)
照着之前的方法试了几次,