在用selenium+chromdriver 解析动态网页时,出现无法解析出网页源码的问题

在写一个爬虫,本来用selenium+chromdriver可以解析出网页源码。今天重新跑爬虫,
发现出现,AttributeError: 'NoneType' object has no attribute '****' 的问题,查看
变量发现网页源码解析出错,想问一下为什么出现这样的问题?

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
selenium geckodriver and chromdriver
selenium geckodriver版本为v0.21.0 以及chromdriver 版本v0.24
解析ASP.NET网页时返回的网页上出现
在解析生成asp.net网页里有如下的代码:rnrnrn这行代码究竟是什么意思啊?能不能不让返回这样的代码?rn原代码:rn<%@ Page Language="VB" ContentType="text/html" ResponseEncoding="gb2312" %>rnrn rnrnrn rn 无标题文档rnrnrn rn rn rnrnrn
用HTMLParser解析网页时,有一部分网页节点无法解析
今天在用HTMLParser解析学校团委的网页时发现一个问题,无法解析我所需的节点,经过几次尝试后依然不行。这令我很困惑,在反复查看了节点过滤设置后也没发现什么问题。这令我万分不解,于是我把整张网页的所有节点都打印了出来,发现只得到部分节点还有不少节点没有解析出来,而我需要的节点正是在无法解析的节点中。在查了百度之后没有在网上发现相关的资料,特发此文,希望有达人可以解惑!!!   PS:  ...
【爬虫】selenium解析网页
解析网页,获取关键信息,保存至本地或者数据库中。 淘宝女装为例 解析网页的方式: 1、selenium from collections import OrdereDict #有序字典 from selenuim import webdriver from selenium.webdriver.support.ui import WebDriverWait from
chromDriver
seleniumDriver,一个用来进行自动化测试和爬虫的工具,
Jsoup解析网页时出现乱码的问题
使用jsoup解析网页时,出现了局部数据的乱码,必须一句话是:我非常喜欢java. rn解析下来就变为:我非常??java.请大神赐教.
selenium 网页动态元素的定位
使用selenium做网页UI自动化的时候,会遇到网页元素ID是动态加载生成的情况,这个时候使用传统的xpath精确定位,会找不到元素,这个时候可以考虑模糊匹配定位,匹配元素定位中不变且唯一的地方 可以使用的方法有 starts-with(以什么开始) ends-with(以什么结束) contains 包含 以contains 为例子: 比如我们在定位中使用的xpath定位一个...
使用selenium的webdriver动态爬取网页时遇到的问题
一、浏览器驱动文件(如phantomjs.exe/chromedriver.exe)的自动读取        1、PhantomJS与chrome的区别:           chrome不用说,就是chrome浏览器嘛,使用chromedriver.exe文件就是用来启动chrome浏览器的,当在程序中运行chromedriver.exe时会自动启动chrome浏览     器(前提是电脑中
Python使用selenium爬取动态网页时遇到的问题
我们在做京东手机信息的爬取时,遇到的一些问题,现在就来跟大家分享一下。 1.首先,京东的网页是动态的,当我们搜索一个商品时,需要把页面往下翻,下面的内容才会出来,这也是我们选selenium方法的原因 解决方法:让浏览器模拟下拉几次页面即可 from selenium import webdriver import time import random url = 'https://www.jd....
如何解析网页源码?
[code=Java]rn public static boolean GetWebPrice(java.sql.Date lDate)rn //抓取网价rn URL strUrl = null;rn URLConnection uConn = null;rn BufferedReader br = null;rn tryrn strUrl = new URL("http://www.ex-silver.com/nettrading.php?big_type_id=4&small_type_id=11");rn uConn = strUrl.openConnection();rn br = new BufferedReader(rn new InputStreamReader(rn uConn.getInputStream()));rn String inputLine;rn rn while((inputLine = br.readLine())!=null)rn rn System.out.println(inputLine);rn rn rn catch (MalformedURLException e)rn rn e.printStackTrace();rn return false;rn rn catch (IOException e)rn rn e.printStackTrace();rn return false;rn rn finallyrn rn if(br != null )rn rn tryrn rn br.close();rn rn catch (IOException e)rn rn e.printStackTrace();rn return false;rn rn rn rn return true;rn [/code]rn这个获取源码后,请问如何得到rnrn品名 规格 价格范围 结算价 交割地 产地 rn白银 一号国标 5905-5915 5905 上海 国产 rnrn的价格范围和结算价?
Python:selenium动态爬取网页常见问题
自己写爬虫遇到的一些问题:一,窗口下运行的Firefox中的静默模式在网上搜索经常会看到这个内容:pyvirtualdisplay,创建虚拟屏幕,将浏览器运行在这个虚拟的屏幕之中下载依赖包$ sudo apt-get install xvfb python-pip然而XVFB的是Linux的的下运行的东西,窗户没有,所以想要无头浏览器,建议用phantomjs!二,phantomjsphantom...
Python网页测试库selenium,动态网页抓取
selenium是自动化网页测试工具,它支持各种浏览器,包括 Chrome,Safari,Firefox 等主流界面式浏览器,使用selenium需要浏览器版本与selenium版本匹配,同时配合浏览器驱动便可实现Web界面的测试,也就是 selenium 支持这些浏览器驱动。 首先,在命令行窗口安装selenium库:pip install selenium, 通过命令:pip show se
浏览网页时出现的不同步问题?
我每天都浏览新浪网页看新闻,但总是以前日子的网页,总是不能显示当天的网页,要我刷新一次才可以,rn第二天再看的时候又只显示上次刷新日子的网页,我的COOKIE已设为自动了为什么呢?
使用Selenium和PhantomJS解析带JS的网页
有的网页,不能直接通过wget/curl等命令、或者直接使用Python中的liburl这样的函数库来直接获取其真正展现给用户的信息,因为里面包含有JavaScript脚本(而该JS和页面数据的生成相关),需要通过Firefox、Chrome等浏览器渲染后才能得到想要看的结果。 例如,我想查询的一个根据IP查询到地理位置的网页:http://www.ip.cn/125.95.26.81 为了写...
Scrapy通过selenium 解析js网页代码
在学习scrapy技术的时候遇到了一个难点就是解析js网页,因为scrapy本身并不具备解析js的功能,网上的介绍有一些是介绍使用scrapy-spasch来进行解析的,但是scrapy-spasch的安装需要docker,docker安装到电脑上并且还要开启虚拟化,比较麻烦,就想着一种别的方式来替代,今天分享一种方法来解析js。使用到的工具是selenium,通过调用火狐浏览器插件的方式来进行解...
在用AfxBeginThread 出现的问题
使用 rnAfxBeginThread (WriteLogFileProc ,tmpbuf );rn的时候rnrn提示error C2665: 'AfxBeginThread' : none of the 2 overloads can convert parameter 1 from type 'unsigned int (void *)'rnrn使用rnAfxBeginThread ( (AFX_THREADPROC)WriteLogFileProc ,tmpbuf );时rn又提示error C2440: 'type cast' : cannot convert from '' to 'unsigned int (__cdecl *)(void *)'rnrn而函数定义为rn UINT WriteLogFileProc( LPVOID pParam );rn应该没错rnrn哪里错了呢?rnrnrnrn
在用Json解析的时候,出现了非法65279
可能原因:文件使用了文本编辑器编辑了utf-8的文件,导致文件开头部分有BOM的标识符,解析的时候不认识。 解决:换成其他编辑器编辑,去掉BOM标识符(编码格式给成utf-8)。
在ubuntu下出现的域名无法解析问题
问题根源:觉得很奇怪,在加上系统需要的源后,apt-get update 想要更新系统却出现***域名无法解析出错的问题, 上网搜索了其中一个解决方法,觉得不错,记录一下 解决方法如下: 在终端键入代码: sudo vi /etc/resolv.conf 在其中添加nameserver 8.8.8.8 用:wq保存退出之后重启系统即可。 ...
seleunim的jar包与chromdriver驱动
seleunim的jar包与chromdriver驱动
jsoup解析网页出现转义符问题
网友给出了hack方案 Document doc = Jsoup.connect(“http://sports.163.com/13/0830/22/97IFSI5I00051CD5.html“).get(); //清空jsoup的转义表,会使jsoup失去转义能力 Entities.EscapeMode.base.getMap().clear(); Elements e...
在使用python的selenium库 抓取动态网页时,浏览器内容出现空白的解决方式
转载请标明出处,谢谢~。 我使用的版本: 1、python 3.7 (IDE 用的 pycharm) 2、selenium(通过pip install 安装的最新版本:3.14 时间:2018.9.6 ) 3、 geckodriver.exe 21.0 4、firefox 浏览器最新版本(62.0 时间:2018.9.6 ) 问题: 向Path添...
动态模板解析技术源码
动态模板解析技术源码 功能: 中小型网站模板技术(动态模板解析)示例,以Xml文件为载体(扩展名为.aspx),使用HttpHanlder进行解析; 实现了主明细表;View控件;简单的Repeat控件;
加载网页时出现“请稍等...”
我在打开一个页面的时候,先是报错"无法找到资源"rn然后才加载正确的数据rn这是加载速度的问题吧。。rn rn如何实现在加载完数据之前不报错,请出现“请稍等。。。”的提示
浏览网页时出现错误……
浏览一个网页时出现如下提示:rn出现了运行时间错误。rn是否要进行调试?rn行:1rn错误:无效字符
htmlparser解析网页出现中文乱码
http://www.21golf.com/communityarticleinfo/36606rn 就这个网址 不知道为什么中文就是乱码 设置了Encoding 是UTF-8还是GBK都不行
selenium显示网页所有源码内容
print driver.page_source
selenium源码
selenium源代码
chromdriver的安装和更新
最近学习对象调用方法和类调用方法的时候,跑代码的发现提示错误: 网站查了一下,说是chrome版本与chromedriver版本不一致导致的,但是执行打开浏览器,打开百度,输入““helloword””,关闭,一切正常(执行的这段代码没有用函数或类,执行成功没有报错,不知道什么原因)。 然后我去下载了最新版本的chromedriver,参考http://blog.csdn.net/cz
动态获得目标网页源码
在第一个页面通过post提交数据,访问第二个页面,如何获得第二个页面的HTML源码(第一个页面中会有参数传递)?请大侠们帮忙!!!
出错了,无法解析的外部符号
#include "psapi.h"rnrnvoid Caaaa::GetProcessesID()rnrn DWORD aProcesses[1024], cbNeeded, cProcesses;rn unsigned int i;rnrn if ( !EnumProcesses( aProcesses, sizeof(aProcesses), &cbNeeded ) )rn return;rnrn cProcesses = cbNeeded / sizeof( DWORD );rnrn for ( i = 0; i < cProcesses; i++ )rn ShowProcessesNameID( aProcesses[ i ] );rnrnrnvoid Caaaa::ShowProcessesNameID( DWORD processID )rnrn char szProcessName[MAX_PATH] = "unknown";rnrn HANDLE hProcess = OpenProcess( PROCESS_QUERY_INFORMATION | PROCESS_VM_READ, FALSE, processID );rnrn if ( hProcess )rn rn HMODULE hMod;rn DWORD cbNeeded;rn if ( EnumProcessModules( hProcess, &hMod, sizeof( hMod ), &cbNeeded ) )rn GetModuleBaseName( hProcess, hMod, szProcessName, sizeof( szProcessName ) );rn rnrn sprintf( szProcessName, "%s (Process ID: %u)\n", szProcessName, processID );rn m_list.InsertString( 0, szProcessName );rn CloseHandle( hProcess );rnrnrn上面这段代码是MSDN中的,原来是控制台程序,我稍做修改,加到一个MFC应用程序中。编译时报如下错误:rnrnaaaa.obj : error LNK2019: 无法解析的外部符号 _EnumProcesses@12 ,该符号在函数 "public: void __thiscall Caaaa::GetProcessesID(void)" (?GetProcessesID@Caaaa@@QAEXXZ) 中被引用rnaaaa.obj : error LNK2019: 无法解析的外部符号 _GetModuleBaseNameA@16 ,该符号在函数 "public: void __thiscall Caaaa::ShowProcessesNameID(unsigned long)" (?ShowProcessesNameID@Caaaa@@QAEXK@Z) 中被引用rnaaaa.obj : error LNK2019: 无法解析的外部符号 _EnumProcessModules@16 ,该符号在函数 "public: void __thiscall Caaaa::ShowProcessesNameID(unsigned long)" (?ShowProcessesNameID@Caaaa@@QAEXK@Z) 中被引用rn
在学做asp动态网页时的问题
我在学用ASP vbScript做动态网页,由于自学所以先随便建了一个小的数据库做测试,安装了MS的IIS组件,数据源也设置了,在网页上设置了连接数据库的地方,预览网页是却出现如下错误:rnMicrosoft VBScript 编译器错误 错误 '800a03f6' rnrn缺少 'End' rnrn/iisHelp/common/500-100.asp,行242 rnrnMicrosoft OLE DB Provider for ODBC Drivers 错误 '80004005' rnrn[Microsoft][ODBC Microsoft Access Driver] 找不到文件 '(未知的)'。 rnrn/site/untitled.asp,行8 rnrn不知道可能是何种原因?rn请教!谢谢了!rn
Selenium中常常会出现的问题
//因为Selenium默认的是firefox浏览器 import org.openqa.selenium.ie.InternetExplorerDriver; import org.openqa.selenium.By; import org.openqa.selenium.WebDriver; import org.openqa.selenium.WebElement; public cl
使用python_selenium爬取动态网页时要注意的问题
简单介绍下自己爬取淘宝商品时遇到的问题
ubuntu16.04出现DNS无法解析
1. #sudo gedit /etc/resolv.conf 打开DNS配置文件 加入一行: nameserver 114.114.114.114(之前用的8.8.8.8今天突然无法解析) 2. #sudo /etc/init.d/networking restart 或者 #sudo /etc/init.d/network-manager restart
主函数调用函数出现无法解析???
将函数声明放在.h文件,定义放在.c文件,主函数调用时出现函数无法解析??rn[img=https://img-bbs.csdn.net/upload/201711/10/1510298375_394569.png][/img]rn[img=https://img-bbs.csdn.net/upload/201711/10/1510298397_400599.png][/img]rn[img=https://img-bbs.csdn.net/upload/201711/10/1510298408_254210.png][/img]rnrn自我感觉是头文件包含错误了,但不知道具体错哪里,请指教
Spring4.xx出现无法解析xml文件
在测试的时候,发现了以下错误 三月 07, 2016 10:36:08 上午 org.springframework.context.support.ClassPathXmlApplicationContext prepareRefresh 信息: Refreshing org.springframework.context.support.ClassPathXmlApplicationCon
python自动化登陆chromdriver
用于python的自动化登陆senlenium的使用,以及对自动化测试会有很大帮助,资源确信可用,放心1!!
在用IE在浏览网页时程序经常出现未响应??
我刚重新装了XP系统,在用IE在浏览网页时程序经常出现未响应??特别是刚开机的时候,打开IE肯定出现程序未响应,关掉IE在重新打开就好一点,过会有时还会出现,我装得是盗版的XP啊,又升不了级,怎么办啊??
在用InstallShield时出现的问题?
制作完后安装,最后出现自注册错误,指出一些文件没能自注册,找不到指定的程序。这些文件是dll动态链接库文件和chm说明文件。rn我该如何去问这些文件类型注册?
在用comm.jar时出现的问题
最近用java做一个串口通信然后自动测试的小程序,从网上下了comm.jar包,然后模仿了一个例子 列出电脑上的可用串口 但是什么输出都没有, 同时我还开着串口调试程序,用的是com3,可以正常收发数据的啊,这是为什么呢,是不是我开发环境的配置有问题呢,我是用myeclipse来编程的,但是我只安装了myeclipse,没有装jre和jdk,因为之前在练习的时候都正常的也就没怎么关心,是这个原因么?下边是代码rnrnimport java.util.Enumeration;rnrnimport javax.comm.CommPortIdentifier;rnrnpublic class Testcomm rnrn void listPortChoices()rn rn CommPortIdentifier portId;rn Enumeration en =CommPortIdentifier.getPortIdentifiers();rn while(en.hasMoreElements())rn rnrn portId=(CommPortIdentifier)en.nextElement();rn if(portId.getPortType()==CommPortIdentifier.PORT_SERIAL)rn rn System.out.println(portId.getName());rn rn rn rn rn rn rnrn /**rn * @param argsrn */rn public static void main(String[] args) rn // TODO Auto-generated method stubrn Testcomm myTest=new Testcomm();rn myTest.listPortChoices();rn rnrn
相关热词 c++和c#哪个就业率高 c# 批量动态创建控件 c# 模块和程序集的区别 c# gmap 截图 c# 验证码图片生成类 c# 再次尝试 连接失败 c#开发编写规范 c# 压缩图片好麻烦 c#计算数组中的平均值 c#获取路由参数