WebClient.DownloadData失败?

catch报An exception occurred during a WebClient request.错误
代码如下:
string url=http://act.lexun.com/ztapp/Templates/release/cc1d2175_3506_44b2_be7a_b0add0bb5f5f.zip
byte[] buffer = new WebClient { Credentials = CredentialCache.DefaultCredentials }.DownloadData(url);
这里直接跳到异常。
zip压缩包只有2M大小。

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
WebClient循环DownLoadData
WebClient循环DownLoadData,有时超时有时直接停在那里不动了,十几分钟也不报错什么的。![图片说明](https://img-ask.csdn.net/upload/201611/08/1478574694_371386.png)![图片说明](https://img-ask.csdn.net/upload/201611/08/1478574683_970879.png)
htmlunit模拟浏览器访问页面,请问怎么设置页面停留时间
WebClient webClient = new WebClient(BrowserVersion.FIREFOX_38,ip,port); webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setCssEnabled(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.getOptions().setTimeout(15000); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); webClient.addRequestHeader("Referer", "http://www.hao123.com"); HtmlPage rootPage= webClient.getPage(url);
html访问页面,怎么设置停留时间
页面停留时间,是根据操作才会有的,操作有了,没有停留时间, WebClient webClient = new WebClient(BrowserVersion.FIREFOX_38,ip,port); webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setCssEnabled(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.getOptions().setTimeout(15000); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); HtmlPage rootPage= webClient.getPage(url);
.Net访问Java WebService 链接报 405method not allowed
.Net调用Java的WebService 链接报 the remote server returned an error(405 )method not allowed Java的WebService给的是个WSDL的链接,我用浏览器一直能访问。但是用代码访问时,偶尔能访问,偶尔访问不通,访问不通时,报“405 method not allowed”。 我用的 System.Net.WebClient.DownloadData 来访问的链接。 堆栈信息如图:(汉字是我自己加的日志) ![图片说明](https://img-ask.csdn.net/upload/201604/06/1459933339_398917.jpg) 请问各位大侠,这个错误该怎么整啊,完全没辙了。
VS17添加了using System.Net;但使用不了WebClient.webAddres
using system; using system.Net; ..... WebClient wclient = new WebClient; wclient.***(*** = webAddress属性找不到,为什么?)
JAVA htmlunit 抓取不到 页面 元素
下面代码中 能获取到百度页面的Form 表单, 但是获取不到另外一个 网页的表单, 此时该如何处理? ps:获取另外一个网页的源码保存html后,用浏览器打开,能看到 form 表单。 package com.xttx.cn.fetchpro.fetchImp; import java.io.IOException; import java.net.URL; import java.util.List; import com.gargoylesoftware.htmlunit.BrowserVersion; import com.gargoylesoftware.htmlunit.CollectingAlertHandler; import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException; import com.gargoylesoftware.htmlunit.HttpWebConnection; import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController; import com.gargoylesoftware.htmlunit.WebClient; import com.gargoylesoftware.htmlunit.WebRequest; import com.gargoylesoftware.htmlunit.html.HtmlForm; import com.gargoylesoftware.htmlunit.html.HtmlPage; import com.xttx.cn.fetchpro.exception.PageNotFoundException; public class SimulationFetch { protected static WebClient webClient = null; public WebClient getWebClient() { return webClient; } public void setWebClient(WebClient webClient) { this.webClient = webClient; } static WebRequest request = null; public static void main(String[] args) throws FailingHttpStatusCodeException, IOException, PageNotFoundException, InterruptedException { // TODO Auto-generated method stub BrowserVersion.FIREFOX_24.setBrowserLanguage("zh-CN"); BrowserVersion.FIREFOX_24.setSystemLanguage("zh-CN"); BrowserVersion.FIREFOX_24.setUserLanguage("zh-CN"); BrowserVersion.FIREFOX_24.setUserAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0"); BrowserVersion.FIREFOX_24.setBrowserVersion(46.0f); BrowserVersion.FIREFOX_24.setCpuClass("x64"); webClient = new WebClient(BrowserVersion.FIREFOX_24); webClient.setWebConnection(new HttpWebConnection(webClient)); webClient.getCache().clear(); webClient.getCookieManager().clearCookies(); webClient.getOptions().setJavaScriptEnabled(true); webClient.setJavaScriptTimeout(60*1000); webClient.getOptions().setCssEnabled(true); webClient.getOptions().setActiveXNative(true); webClient.getOptions().setPopupBlockerEnabled(true); webClient.getOptions().setRedirectEnabled(true); webClient.getOptions().setTimeout(10000); webClient.getOptions().setDoNotTrackEnabled(true); webClient.getCookieManager().setCookiesEnabled(true); webClient.getOptions().setThrowExceptionOnFailingStatusCode(true); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setUseInsecureSSL(true); webClient.getOptions().setSSLInsecureProtocol("TLSv1.2"); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.setAlertHandler(new CollectingAlertHandler()); HtmlPage loginPageWithForm =(HtmlPage)webClient.getPage(new WebRequest(new URL("https://login.youzan.com/sso/index?service=kdt&from_source=pzshouye"))); List<HtmlForm> htmlForm0 = loginPageWithForm.getForms(); HtmlPage loginPageNoForm = (HtmlPage)webClient.getPage(new WebRequest(new URL("https://www.baidu.com/"))); HtmlForm htmlForm = loginPageNoForm.getForms().get(0); System.out.println("---"); } }
java 使用htmlunit框架,设置代理,连接网页出现connection refused异常
做爬虫项目需要用到代理,问题代码如下 ``` ProxyConfig proxyConfig = webClient.getOptions().getProxyConfig(); proxyConfig.setProxyHost(ipPort.getIp()); proxyConfig.setProxyPort(ipPort.getPort()); HtmlPage page = webClient.getPage(ipTestWeb); ``` 其中ip和port的值都死存在的,在client获取页面时报错 rg.apache.http.conn.HttpHostConnectException: Connect to 58.61.185.70:9797 [/58.61.185.70] failed: Connection refused: connect at org.apache.http.impl.conn.DefaultHttpClientConnectionOperator.connect(DefaultHttpClientConnectionOperator.java:158) at org.apache.http.impl.conn.PoolingHttpClientConnectionManager.connect(PoolingHttpClientConnectionManager.java:353) at org.apache.http.impl.execchain.MainClientExec.establishRoute(MainClientExec.java:388) at org.apache.http.impl.execchain.MainClientExec.execute(MainClientExec.java:236) at org.apache.http.impl.execchain.ProtocolExec.execute(ProtocolExec.java:184) at org.apache.http.impl.execchain.RetryExec.execute(RetryExec.java:88) at org.apache.http.impl.execchain.RedirectExec.execute(RedirectExec.java:110) at org.apache.http.impl.client.InternalHttpClient.doExecute(InternalHttpClient.java:184) at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:71) at com.gargoylesoftware.htmlunit.HttpWebConnection.getResponse(HttpWebConnection.java:183) at com.gargoylesoftware.htmlunit.WebClient.loadWebResponseFromWebConnection(WebClient.java:1351) at com.gargoylesoftware.htmlunit.WebClient.loadWebResponse(WebClient.java:1268) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:381) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:303) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:450) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:435) at cn.com.test.proxy.TestIP.parseIP(TestIP.java:67) at cn.com.test.proxy.TestIP.getRandomUsefulProxy(TestIP.java:140) at cn.com.test.proxy.TestIP.main(TestIP.java:41) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)
WebClient.UploadValues方法调用第三方接口返回400错误
问题:webclient请求的时候,远程服务器返回400错误, 但是数据又传送给对方了,很困惑为啥会catch到400错误。 代码在: byte[] byRemoteInfo = webClientObj.UploadValues(strUrl,postVars); 这里报的异常,返回 {"远程服务器返回错误: (400) 错误的请求。"} //注释里的更改请求头的几个方法都试过了,不好使。 ``` private void SendPost(int agent, string secretKey, string strUrl, ViewModels.GetReInfoViewModel viewModel, string cameraName) { agent = 1;//代理人id secretKey = "miyao"; strUrl="请求串";//第三方接收的url,demo:http://www.baidu.com/webapi/postvalues?access_token=passsecrete try { var webClientObj = new WebClient(); var postVars = new System.Collections.Specialized.NameValueCollection(); //返回状态内容 postVars.Add("BusinessStatus", viewModel.BusinessStatus.ToString()); postVars.Add("StatusMessage", viewModel.StatusMessage); //webClientObj.Encoding = Encoding.UTF8; byte[] byRemoteInfo = webC**lientObj.UploadValues(strUrl,postVars); //返回值 string remoteInfo = Encoding.UTF8.GetString(byRemoteInfo); logInfo.Info(string.Format("请求第三方{0}接口返回消息:{1}", agent, remoteInfo)); } catch (Exception ex) { logError.Error("调用" + agent + "接口传摄像头续保信息接口异常,Url为:" + strUrl + ";\n 异常信息:" + ex.StackTrace + " \n " + ex.Message); } } ```
htmlunit 如何监听来自页面的alert 请说的详细些
package com.hommsun.util; import java.io.IOException; import java.net.MalformedURLException; import java.util.ArrayList; import java.util.Collections; import java.util.List; import org.springframework.util.Assert; import com.gargoylesoftware.htmlunit.AlertHandler; import com.gargoylesoftware.htmlunit.BrowserVersion; import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException; import com.gargoylesoftware.htmlunit.Page; import com.gargoylesoftware.htmlunit.WebClient; import com.gargoylesoftware.htmlunit.html.HtmlPage; public class weizai implements AlertHandler { public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException { WebClient webClient = new WebClient(BrowserVersion.INTERNET_EXPLORER); webClient.getCookieManager().setCookiesEnabled(true);// 开启cookie管理 webClient.getOptions().setTimeout(90000); webClient.getOptions().setCssEnabled(true); webClient.getOptions().setJavaScriptEnabled(true); webClient.setJavaScriptTimeout(40000); webClient.getOptions().setRedirectEnabled(true); webClient.getOptions().setThrowExceptionOnScriptError(false); HtmlPage page= webClient.getPage("http://192.168.1.108/"); } @Override public void handleAlert(Page arg0, String arg1) { } } 以上的连接是我些的测试页面 会直接弹出 alert 控制台也会输出 10:35:52.651 [main] WARN com.gargoylesoftware.htmlunit.javascript.host.Window - window.alert("asdsa") no alert handler installed 我想拿到提示 然后 给页面显示
使用HtmlUnit 选中点击后弹出来的小窗空里的某一项
![图片说明](https://img-ask.csdn.net/upload/201908/01/1564641459_609548.png) 自己写的代码实现不 : public static void main(String[] args) throws Exception { String baseUrl = "https://www.amazon.com/Crayola-Crayons-Assorted-Toddler-16Count/dp/B07L6VQDSC/ref=br_asw_pdt-5?pf_rd_m=ATVPDKIKX0DER&pf_rd_s=&pf_rd_r=AVBEXB73DT8S9TDFXAEJ&pf_rd_t=36701&pf_rd_p=35b30473-3e76-4fb0-bbe5-6c819fe05b28&pf_rd_i=desktop"; WebClient webClient = new WebClient(); webClient.addRequestHeader("user-agent", "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Mobile Safari/537.36"); webClient.getOptions().setUseInsecureSSL(true); webClient.getCookieManager().setCookiesEnabled(true);//开启cookie管理 webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setCssEnabled(false); webClient.setJavaScriptTimeout(5000); //设置不自动重定向 // webClient.getOptions().setRedirectEnabled(false); //设置出现302重定向不会报错 // webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.getOptions().setDoNotTrackEnabled(false); //执行请求 HtmlPage page = webClient.getPage(baseUrl); webClient.waitForBackgroundJavaScript(5*1000); DomNodeList<DomElement> input2 = page.getElementsByTagName("input"); // //获取指点标签 HtmlSubmitInput submitInput = null; for (DomElement domElement : input2) { if (domElement.getAttribute("title").equals("Add to Shopping Cart")) { submitInput = (HtmlSubmitInput) domElement; } } HtmlPage page1 = submitInput.click(); //设置下拉框数量 HtmlSelect quantity = page1.getElementByName("quantity"); HtmlOption option = quantity.getOption(5); option.click(); //下拉框下的商品数量(还是不能改变数量) // DomNodeList<DomElement> span = page1.getElementsByTagName("span"); // HtmlElement htmlElement=null; // for (DomElement domElement : span) { // if (domElement.getAttribute("data-a-class").equals("quantity")) { // htmlElement= (HtmlElement) domElement; // } // } // if (htmlElement!=null) { // HtmlPage page2 = htmlElement.click(); // } DomNodeList<DomElement> span1 = page1.getElementsByTagName("span"); HtmlElement htmlElement1= null; for (DomElement domElement : span1) { if (domElement.getAttribute("class").equals("a-button-text a-declarative")) { htmlElement1= (HtmlElement) domElement; } } if (htmlElement1!=null) { HtmlPage page2 = htmlElement1.click(); String contentAsString = page2.getWebResponse().getContentAsString(); System.out.println("打"+contentAsString); } } }
htmlunit的问题 大牛进
由于公司需求,需要做一个模拟登录招商银行查询银行流水。 地址:https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/LoginOLD.aspx 我一开始尝试模拟表单,控件可以加载,但是密码无法输入。 所以准备换方式。换成POST提交方式 地址:https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/LoginOLD.aspx 但是可能因为某些参数影响了,导致一直提示: 由于您长时间未操作本功能,系统已自动关闭本功能,请重新操作#1 以下是本人代码 WebClient webClient = new WebClient(); webClient.getOptions().setUseInsecureSSL(true); webClient.getCookieManager().setCookiesEnabled(true);// 开启cookie管理 webClient.getOptions().setTimeout(90000); webClient.getOptions().setCssEnabled(true); webClient.getOptions().setJavaScriptEnabled(true); webClient.setJavaScriptTimeout(40000); webClient.getOptions().setRedirectEnabled(true); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); WebRequest webRequest=new WebRequest(new URL("https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/GenUniLogin.aspx")); List<NameValuePair> List=new ArrayList<NameValuePair>(); List.add(new NameValuePair("ClientNo","4266F7C76935130C21C10F17D74C9E59424556816224276600032831")); //List.add(new NameValuePair("ExtraPwd","1231")); List.add(new NameValuePair("CreditCardVersion","2.0")); List.add(new NameValuePair("BranchNo","0028")); List.add(new NameValuePair("AccountNo","11")); List.add(new NameValuePair("Password","undefined")); List.add(new NameValuePair("HardStamp","4266F7C76935130C21C10F17D74C9E59424556816224276600032831")); List.add(new NameValuePair("Licex", "Ajg1QzI1REJERjU2NzcyMzM4MzMwMTc0Nzk0RTFFNEZEMDE5OTc5NjYwMDM2MTk4OTkwMDAxNzAwMwAAAAAAAABNWSx6LuvvW6CsBXlP8xJ*vVTBq8fSvK9PV4fbZ3Mh*rLchioqmgYeJroAn5WfPG9k0wpi*3-zPp4jdFapx63wyOZCPC---tOfcIDDE2xNNB9Ck6wMNS5l*IqwOQzc6MiwBmv2VySz**CGbvectO-*r9BdDoAF9z2ZjX6R6T9ZL-MaKD1RCgRLtbsneuw1Nr8F7ORkEWrWRFVHmT2Bw0CsEUTQKiGSJ4fYaU2gtirJl0EEkfCbShkoPCYgJ9TmK4MT1NsrEo917nK3Jsb3uHwDcd7Iiemoze0wvVwJmHaueLYKgVZRlhfpcDtYIFjc5QNU*rQj8epLEkASqChNLBSSj97aE5GUOw8S3B6igOMBRotwYTTDkTZ-GJH9Wy2-Q9gLXQbVHGDTnfzTXek4Eiqxwq-47a0gDHILl0x9AA__")); webRequest.setHttpMethod(HttpMethod.POST); webRequest.setRequestParameters(List); //webRequest.setAdditionalHeader("asd", "asd"); webClient.addRequestHeader("Content-Type","application/x-www-form-urlencoded"); webClient.addRequestHeader("Referer","https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/Login.aspx"); webClient.addRequestHeader("Origin","https://pbsz.ebank.cmbchina.com"); webClient.addRequestHeader("User-Agent","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.1 Safari/603.1.30"); Set<Cookie> cookies = webClient.getCookieManager().getCookies();; for (Cookie c : cookies) { webClient.getCookieManager().addCookie(c); } http://ask.csdn.net/?ref=toolbar# HtmlPage page= webClient.getPage(webRequest); System.out.println(page.asXml());
htmlunit+jsoup爬取知乎视频,获取的html字符串中缺少视频信息,如何解决?
大神帮忙看一下 今天使用htmlunit+jsoup爬取知乎网站的视频,发现爬取到的html中缺少视频的信息,无法进行下一步了 知乎视频网址:https://video.zhihu.com/video/1157743087110549504?autoplay=false&useMSE= 浏览器检查中查看到的视频信息 ![图片说明](https://img-ask.csdn.net/upload/201910/12/1570872018_377176.png) java代码 ``` @Test public void testttt() { final WebClient webClient = new WebClient(BrowserVersion.CHROME);//新建一个模拟谷歌Chrome浏览器的浏览器客户端对象 webClient.getOptions().setThrowExceptionOnScriptError(false);//当JS执行出错的时候是否抛出异常, 这里选择不需要 webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);//当HTTP的状态非200时是否抛出异常, 这里选择不需要 webClient.getOptions().setActiveXNative(false); webClient.getOptions().setCssEnabled(false);//是否启用CSS, 因为不需要展现页面, 所以不需要启用 webClient.getOptions().setJavaScriptEnabled(true); //很重要,启用JS webClient.setAjaxController(new NicelyResynchronizingAjaxController());//很重要,设置支持AJAX HtmlPage page = null; try { page = webClient.getPage("https://video.zhihu.com/video/1157743087110549504?autoplay=false&useMSE=");//尝试加载上面图片例子给出的网页 // page = webClient.getPage("http://ent.sina.com.cn/film/");//尝试加载上面图片例子给出的网页 } catch (Exception e) { e.printStackTrace(); }finally { webClient.close(); } webClient.waitForBackgroundJavaScript(30000000);//异步JS执行需要耗时,所以这里线程要阻塞30秒,等待异步JS执行结束 String pageXml = page.asXml();//直接将加载完成的页面转换成xml格式的字符串 System.out.println(pageXml); //TODO 下面的代码就是对字符串的操作了,常规的爬虫操作,用到了比较好用的Jsoup库 // Document document = Jsoup.parse(pageXml);//获取html文档 // List<Element> infoListEle = document.getElementById("feedCardContent").getElementsByAttributeValue("class", "feed-card-item");//获取元素节点等 // infoListEle.forEach(element -> { // System.out.println(element.getElementsByTag("h2").first().getElementsByTag("a").text()); // System.out.println(element.getElementsByTag("h2").first().getElementsByTag("a").attr("href")); // }); } ``` 运行程序打印的html如下: ![图片说明](https://img-ask.csdn.net/upload/201910/12/1570872108_470794.png) 有大神遇到过这个问题吗?帮忙看一下
htmlunit模拟表单的问题 大牛进 谢谢啦
由于公司需求,需要做一个模拟登录招商银行查询银行流水。 地址:https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/LoginOLD.aspx 我一开始尝试模拟表单,控件可以加载,但是密码无法输入。 所以准备换方式。换成POST提交方式 地址:https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/LoginOLD.aspx 但是可能因为某些参数影响了,导致一直提示: 由于您长时间未操作本功能,系统已自动关闭本功能,请重新操作#1 以下是本人代码 WebClient webClient = new WebClient(); webClient.getOptions().setUseInsecureSSL(true); webClient.getCookieManager().setCookiesEnabled(true);// 开启cookie管理 webClient.getOptions().setTimeout(90000); webClient.getOptions().setCssEnabled(true); webClient.getOptions().setJavaScriptEnabled(true); webClient.setJavaScriptTimeout(40000); webClient.getOptions().setRedirectEnabled(true); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); WebRequest webRequest=new WebRequest(new URL("https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/GenUniLogin.aspx")); List<NameValuePair> List=new ArrayList<NameValuePair>(); List.add(new NameValuePair("ClientNo","4266F7C76935130C21C10F17D74C9E59424556816224276600032831")); //List.add(new NameValuePair("ExtraPwd","1231")); List.add(new NameValuePair("CreditCardVersion","2.0")); List.add(new NameValuePair("BranchNo","0028")); List.add(new NameValuePair("AccountNo","11")); List.add(new NameValuePair("Password","undefined")); List.add(new NameValuePair("HardStamp","4266F7C76935130C21C10F17D74C9E59424556816224276600032831")); List.add(new NameValuePair("Licex", "Ajg1QzI1REJERjU2NzcyMzM4MzMwMTc0Nzk0RTFFNEZEMDE5OTc5NjYwMDM2MTk4OTkwMDAxNzAwMwAAAAAAAABNWSx6LuvvW6CsBXlP8xJ*vVTBq8fSvK9PV4fbZ3Mh*rLchioqmgYeJroAn5WfPG9k0wpi*3-zPp4jdFapx63wyOZCPC---tOfcIDDE2xNNB9Ck6wMNS5l*IqwOQzc6MiwBmv2VySz**CGbvectO-*r9BdDoAF9z2ZjX6R6T9ZL-MaKD1RCgRLtbsneuw1Nr8F7ORkEWrWRFVHmT2Bw0CsEUTQKiGSJ4fYaU2gtirJl0EEkfCbShkoPCYgJ9TmK4MT1NsrEo917nK3Jsb3uHwDcd7Iiemoze0wvVwJmHaueLYKgVZRlhfpcDtYIFjc5QNU*rQj8epLEkASqChNLBSSj97aE5GUOw8S3B6igOMBRotwYTTDkTZ-GJH9Wy2-Q9gLXQbVHGDTnfzTXek4Eiqxwq-47a0gDHILl0x9AA__")); webRequest.setHttpMethod(HttpMethod.POST); webRequest.setRequestParameters(List); //webRequest.setAdditionalHeader("asd", "asd"); webClient.addRequestHeader("Content-Type","application/x-www-form-urlencoded"); webClient.addRequestHeader("Referer","https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/Login.aspx"); webClient.addRequestHeader("Origin","https://pbsz.ebank.cmbchina.com"); webClient.addRequestHeader("User-Agent","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.1 Safari/603.1.30"); Set<Cookie> cookies = webClient.getCookieManager().getCookies();; for (Cookie c : cookies) { webClient.getCookieManager().addCookie(c); } http://ask.csdn.net/?ref=toolbar# HtmlPage page= webClient.getPage(webRequest); System.out.println(page.asXml());
MapReduce中执行HTMLUnit 报nosuchfielderror:INSTANCE
public static class CrawlReducer extends TableReducer<Text, IntWritable, NullWritable>{ private String url = ""; @Override protected void reduce(Text key, Iterable<IntWritable> value, Context context) throws IOException, InterruptedException{ this.url = key.toString(); final WebClient webClient = new WebClient(BrowserVersion.CHROME); webClient.getOptions().setCssEnabled(false); webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.getOptions().setTimeout(5000); HtmlPage page = null; try { page = webClient.getPage(url);//运行到这句就出错 } catch (FailingHttpStatusCodeException e1) { e1.printStackTrace(); } catch (MalformedURLException e1) { e1.printStackTrace(); } catch (IOException e1) { e1.printStackTrace(); } String s = page.getPage().asXml(); // Put 实例化,每个词存一行 Put put = new Put(Bytes.toBytes(url)); // 列族为 content,列修饰符为 count,列值为数目 put.add(Bytes.toBytes("content"), Bytes.toBytes("html"), Bytes.toBytes(s)); context.write(NullWritable.get(), put); } 这是Map从Hbase读URL,在reduce里面解析网页过程。运行到getPage就结束了。没币鸟,求大神解脱,好人一生平安
htmlunit模拟登录 验证码错误
使用htmlunit模拟登录的时候 ,首先穿创建了一个webclient 用webclient请求登录页面,同事请求解析验证码,验证码解析正确,然后开始登录系统,一直提示验证码错误。 WebClient webClient = new WebClient(BrowserVersion.INTERNET_EXPLORER_11); webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setCssEnabled(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient .getOptions().setUseInsecureSSL(true); WebWindow webWindow = webClient.getCurrentWindow(); WebRequest request1 = new WebRequest(new URL("http://rd2.zhaopin.com/s/loginmgr/login.asp")); HtmlPage htmlPage = webClient.getPage(webWindow,request1); String name = htmlPage.getWebClient().getWebWindows().get(0).getName(); System.out.println(name); //第三步 获取界面元素 HtmlInput userName = htmlPage.getHtmlElementById("LoginName"); HtmlInput password = htmlPage.getHtmlElementById("Password"); HtmlInput checkCode = htmlPage.getHtmlElementById("CheckCode"); HtmlInput btn = htmlPage.getHtmlElementById("login"); WebRequest request = new WebRequest(new URL("https://passport.zhaopin.com/checkcode/imgrd")); UnexpectedPage imagePage = webClient.getPage(webWindow,request); InputStream in = imagePage.getWebResponse().getContentAsStream(); File storeFile = new File("D:/zlzp.png"); BufferedOutputStream output = new BufferedOutputStream(new FileOutputStream(storeFile)); byte[] buf = new byte[2048]; int length = in.read(buf); while (length != -1) { output.write(buf, 0, length); length = in.read(buf); } in.close(); output.close(); String valCode = new OCR().recognizeText(new File("D:\\zlzp.png"), "png"); System.out.println(valCode); userName.setAttribute("value", ""); password.setAttribute("value", ""); checkCode.setAttribute("value", valCode); HtmlPage page2 = btn.click(); System.out.println("\n\n\n"); System.out.println(page2.asText());
htmlunit模拟登录 请高人解答
使用htmlunit模拟登录的时候 ,首先穿创建了一个webclient 用webclient请求登录页面,同事请求解析验证码,验证码解析正确,然后开始登录系统,一直提示验证码错误。 WebClient webClient = new WebClient(BrowserVersion.INTERNET_EXPLORER_11); webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setCssEnabled(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient .getOptions().setUseInsecureSSL(true); WebRequest request1 = new WebRequest(new URL("http://rd2.zhaopin.com/s/loginmgr/login.asp")); HtmlPage htmlPage = webClient.getPage(request1); //第三步 获取界面元素 HtmlInput userName = htmlPage.getHtmlElementById("LoginName"); HtmlInput password = htmlPage.getHtmlElementById("Password"); HtmlInput checkCode = htmlPage.getHtmlElementById("CheckCode"); HtmlInput btn = htmlPage.getHtmlElementById("login"); WebRequest request = new WebRequest(new URL("https://passport.zhaopin.com/checkcode/imgrd")); UnexpectedPage imagePage = webClient.getPage(request); InputStream in = imagePage.getWebResponse().getContentAsStream(); File storeFile = new File("D:/zlzp.png"); BufferedOutputStream output = new BufferedOutputStream(new FileOutputStream(storeFile)); byte[] buf = new byte[2048]; int length = in.read(buf); while (length != -1) { output.write(buf, 0, length); length = in.read(buf); } in.close(); output.close(); String valCode = new OCR().recognizeText(new File("D:\\zlzp.png"), "png"); System.out.println(valCode); userName.setAttribute("value", ""); password.setAttribute("value", ""); checkCode.setAttribute("value", valCode); HtmlPage page2 = btn.click(); System.out.println("\n\n\n"); System.out.println(page2.asText());
c# 通过WebClient类可以远程读取服务器上的文本内容 那如果修改文本内容呢?
``` WebClient client = new WebClient(); byte[] buffer = client.DownloadData("http://xxx.xxx.xxx.xx:8888/announcement.txt"); string res = Encoding.GetEncoding("GB2312").GetString(buffer); rtxtNotice.Text = res; ``` 这样可以读取文本里面的内容 那我要修改announcement.txt里面的内容怎么修改呢? 分为全部替换和后面追加 已经在服务器上发布了webserver
webClient模拟登录网站报错
十月 06, 2016 8:42:18 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:18 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:18 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:18 下午 com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController processSynchron 信息: Re-synchronized call to http://172.16.51.37/notice_listJSON.html 十月 06, 2016 8:42:18 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:19 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:19 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:19 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:19 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:19 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:19 下午 com.gargoylesoftware.htmlunit.javascript.StrictErrorReporter error 严重: error: message=[missing { before function body] sourceName=[script in http://172.16.51.37/home_welcome.html from (85, 36) to (106, 10)] line=[87] lineSource=[ function initArray()...{ ] lineOffset=[26] 十月 06, 2016 8:42:19 下午 com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine handleJavaScriptException 信息: Caught script exception ======= EXCEPTION START ======== Exception class=[net.sourceforge.htmlunit.corejs.javascript.EvaluatorException] com.gargoylesoftware.htmlunit.ScriptException: missing { before function body (script in http://172.16.51.37/home_welcome.html from (85, 36) to (106, 10)#87) at com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine$HtmlUnitContextAction.run(JavaScriptEngine.java:921) at net.sourceforge.htmlunit.corejs.javascript.Context.call(Context.java:628) at net.sourceforge.htmlunit.corejs.javascript.ContextFactory.call(ContextFactory.java:515) at com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine.compile(JavaScriptEngine.java:746) at com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine.compile(JavaScriptEngine.java:711) at com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine.execute(JavaScriptEngine.java:763) at com.gargoylesoftware.htmlunit.html.HtmlPage.executeJavaScriptIfPossible(HtmlPage.java:904) at com.gargoylesoftware.htmlunit.html.HtmlScript.executeInlineScriptIfNeeded(HtmlScript.java:307) at com.gargoylesoftware.htmlunit.html.HtmlScript.executeScriptIfNeeded(HtmlScript.java:368) at com.gargoylesoftware.htmlunit.html.HtmlScript$2.execute(HtmlScript.java:238) at com.gargoylesoftware.htmlunit.html.HtmlScript.onAllChildrenAddedToPage(HtmlScript.java:257) at com.gargoylesoftware.htmlunit.html.HTMLParser$HtmlUnitDOMBuilder.endElement(HTMLParser.java:772) at org.apache.xerces.parsers.AbstractSAXParser.endElement(Unknown Source) at com.gargoylesoftware.htmlunit.html.HTMLParser$HtmlUnitDOMBuilder.endElement(HTMLParser.java:729) at net.sourceforge.htmlunit.cyberneko.HTMLTagBalancer.callEndElement(HTMLTagBalancer.java:1209) at net.sourceforge.htmlunit.cyberneko.HTMLTagBalancer.endElement(HTMLTagBalancer.java:1111) at net.sourceforge.htmlunit.cyberneko.filters.DefaultFilter.endElement(DefaultFilter.java:207) at net.sourceforge.htmlunit.cyberneko.filters.NamespaceBinder.endElement(NamespaceBinder.java:337) at net.sourceforge.htmlunit.cyberneko.HTMLScanner$ContentScanner.scanEndElement(HTMLScanner.java:3137) at net.sourceforge.htmlunit.cyberneko.HTMLScanner$ContentScanner.scan(HTMLScanner.java:2100) at net.sourceforge.htmlunit.cyberneko.HTMLScanner.scanDocument(HTMLScanner.java:927) at net.sourceforge.htmlunit.cyberneko.HTMLConfiguration.parse(HTMLConfiguration.java:506) at net.sourceforge.htmlunit.cyberneko.HTMLConfiguration.parse(HTMLConfiguration.java:459) at org.apache.xerces.parsers.XMLParser.parse(Unknown Source) at com.gargoylesoftware.htmlunit.html.HTMLParser$HtmlUnitDOMBuilder.parse(HTMLParser.java:979) at com.gargoylesoftware.htmlunit.html.HTMLParser.parse(HTMLParser.java:241) at com.gargoylesoftware.htmlunit.html.HTMLParser.parseHtml(HTMLParser.java:187) at com.gargoylesoftware.htmlunit.DefaultPageCreator.createHtmlPage(DefaultPageCreator.java:269) at com.gargoylesoftware.htmlunit.DefaultPageCreator.createPage(DefaultPageCreator.java:157) at com.gargoylesoftware.htmlunit.WebClient.loadWebResponseInto(WebClient.java:512) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:386) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:304) at com.gargoylesoftware.htmlunit.html.BaseFrameElement.loadInnerPageIfPossible(BaseFrameElement.java:184) at com.gargoylesoftware.htmlunit.html.BaseFrameElement.loadInnerPage(BaseFrameElement.java:122) at com.gargoylesoftware.htmlunit.html.HtmlPage.loadFrames(HtmlPage.java:1818) at com.gargoylesoftware.htmlunit.html.HtmlPage.initialize(HtmlPage.java:226) at com.gargoylesoftware.htmlunit.WebClient.loadWebResponseInto(WebClient.java:519) at com.gargoylesoftware.htmlunit.WebClient.loadDownloadedResponses(WebClient.java:2147) at com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine.doProcessPostponedActions(JavaScriptEngine.java:946) at com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine.processPostponedActions(JavaScriptEngine.java:1033) at com.gargoylesoftware.htmlunit.html.DomElement.click(DomElement.java:806) at com.gargoylesoftware.htmlunit.html.DomElement.click(DomElement.java:749) at com.gargoylesoftware.htmlunit.html.DomElement.click(DomElement.java:696) at TestC.main(TestC.java:45)
java Htmlunit登录邮箱的问题
WebClient webClient = new WebClient(BrowserVersion.INTERNET_EXPLORER); webClient.getCookieManager().setCookiesEnabled(true);// 开启cookie管理 webClient.getOptions().setTimeout(90000); webClient.getOptions().setCssEnabled(true); webClient.getOptions().setJavaScriptEnabled(true); webClient.setJavaScriptTimeout(40000); webClient.getOptions().setRedirectEnabled(true); webClient.getOptions().setThrowExceptionOnScriptError(false); final List collectedAlerts = new ArrayList(); webClient.setAlertHandler(new CollectingAlertHandler(collectedAlerts)); // HtmlPage page= webClient.getPage("http://localhost"); // page.getElementById("test").click(); // // System.out.println(collectedAlerts.get(0)); HtmlPage pageRsaInfo= webClient.getPage("https://ssl.ptlogin2.qq.com/check?pt_tea=2&uin=1603302725&appid=522005705&ptlang=2052&regmaster=&pt_uistyle=9&r=0.07655477741844985&pt_jstoken=1515144655"); String info=pageRsaInfo.asText(); String[] infoarry=info.split(","); String xx=infoarry[2].replace("'",""); String code=infoarry[1].replace("'",""); String sess=infoarry[3].replace("'",""); String vecode=infoarry[0].replace("'",""); System.out.println(vecode+"-----"); System.out.println(code+"验证码"); HtmlPage page= webClient.getPage("https://ui.ptlogin2.qq.com/cgi-bin/login?style=9&appid=522005705&daid=4&s_url=https%3A%2F%2Fw.mail.qq.com%2Fcgi-bin%2Flogin%3Fvt%3Dpassport%26vm%3Dwsk%26delegate_url%3D%26f%3Dxhtml%26target%3D&hln_css=http%3A%2F%2Fmail.qq.com%2Fzh_CN%2Fhtmledition%2Fimages%2Flogo%2Fqqmail%2Fqqmail_logo_default_200h.png&low_login=1&hln_autologin=%E8%AE%B0%E4%BD%8F%E7%99%BB%E5%BD%95%E7%8A%B6%E6%80%81&pt_no_onekey=1"); String aa="\\x00\\x00\\x00\\x00\\x5f\\x90\\x75\\x45"; System.out.println(aa.replace("\\", "\\")+"---"); String pwd="caoheike"; page.executeJavaScript(" alert($.Encryption.getEncryption('"+pwd+"','"+aa.replace("\\", "\\")+"','"+code+"') )").getJavaScriptResult(); HtmlPage pageend= webClient.getPage("https://ssl.ptlogin2.qq.com/login?pt_vcode_v1=0&pt_verifysession_v1="+sess+"&verifycode="+code+"&u=1121212159&p="+collectedAlerts.get(0)+"&pt_randsalt=2&ptlang=2052&low_login_enable=1&low_login_hour=720&u1=https%3A%2F%2Fw.mail.qq.com%2Fcgi-bin%2Flogin%3Fvt%3Dpassport%26vm%3Dwsk%26delegate_url%3D%26f%3Dxhtml%26target%3D%26ss%3D1&from_ui=1&fp=loginerroralert&device=2&aid=522005705&daid=4&pt_3rd_aid=0&ptredirect=1&h=1&g=1&pt_uistyle=9&regmaster=&"); System.out.println(pageend.asXml()); ptuiCB('22009','0','','0','对不起,你的号码登录异常,请使用 <a href="http://im.qq.com/mobileqq/2013/" target="_blank"> QQ手机版 </a> 扫描二维码安全登录。 <a href="http://ptlogin2.qq.com/qq_cheat_help" target="_blank"> (帮助反馈) </a> (22009)', ''); 有心人帮忙 复制这段代码看一下是什么问题 。可以执行,但需要hrmlunit 包 ``` ```
终于明白阿里百度这样的大公司,为什么面试经常拿ThreadLocal考验求职者了
点击上面↑「爱开发」关注我们每晚10点,捕获技术思考和创业资源洞察什么是ThreadLocalThreadLocal是一个本地线程副本变量工具类,各个线程都拥有一份线程私有的数
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过...
《奇巧淫技》系列-python!!每天早上八点自动发送天气预报邮件到QQ邮箱
此博客仅为我业余记录文章所用,发布到此,仅供网友阅读参考,如有侵权,请通知我,我会删掉。 补充 有不少读者留言说本文章没有用,因为天气预报直接打开手机就可以收到了,为何要多此一举发送到邮箱呢!!!那我在这里只能说:因为你没用,所以你没用!!! 这里主要介绍的是思路,不是天气预报!不是天气预报!!不是天气预报!!!天气预报只是用于举例。请各位不要再刚了!!! 下面是我会用到的两个场景: 每日下
面试官问我:什么是消息队列?什么场景需要他?用了会出现什么问题?
你知道的越多,你不知道的越多 点赞再看,养成习惯 GitHub上已经开源 https://github.com/JavaFamily 有一线大厂面试点脑图、个人联系方式,欢迎Star和完善 前言 消息队列在互联网技术存储方面使用如此广泛,几乎所有的后端技术面试官都要在消息队列的使用和原理方面对小伙伴们进行360°的刁难。 作为一个在互联网公司面一次拿一次Offer的面霸,打败了无数
8年经验面试官详解 Java 面试秘诀
    作者 | 胡书敏 责编 | 刘静 出品 | CSDN(ID:CSDNnews) 本人目前在一家知名外企担任架构师,而且最近八年来,在多家外企和互联网公司担任Java技术面试官,前后累计面试了有两三百位候选人。在本文里,就将结合本人的面试经验,针对Java初学者、Java初级开发和Java开发,给出若干准备简历和准备面试的建议。   Java程序员准备和投递简历的实
究竟你适不适合买Mac?
我清晰的记得,刚买的macbook pro回到家,开机后第一件事情,就是上了淘宝网,花了500元钱,找了一个上门维修电脑的师傅,上门给我装了一个windows系统。。。。。。 表砍我。。。 当时买mac的初衷,只是想要个固态硬盘的笔记本,用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后,最终决定,还是买个好(xiong)看(da)的。 已经有好几个朋友问我mba怎么样了,所以今天尽量客观
程序员一般通过什么途径接私活?
二哥,你好,我想知道一般程序猿都如何接私活,我也想接,能告诉我一些方法吗? 上面是一个读者“烦不烦”问我的一个问题。其实不止是“烦不烦”,还有很多读者问过我类似这样的问题。 我接的私活不算多,挣到的钱也没有多少,加起来不到 20W。说实话,这个数目说出来我是有点心虚的,毕竟太少了,大家轻喷。但我想,恰好配得上“一般程序员”这个称号啊。毕竟苍蝇再小也是肉,我也算是有经验的人了。 唾弃接私活、做外
大学四年自学走来,这些珍藏的「实用工具/学习网站」我全贡献出来了
知乎高赞:文中列举了互联网一线大厂程序员都在用的工具集合,涉及面非常广,小白和老手都可以进来看看,或许有新收获。
《阿里巴巴开发手册》读书笔记-编程规约
Java编程规约命名风格 命名风格 类名使用UpperCamelCase风格 方法名,参数名,成员变量,局部变量都统一使用lowerCamelcase风格 常量命名全部大写,单词间用下划线隔开, 力求语义表达完整清楚,不要嫌名字长 ...
Python爬虫爬取淘宝,京东商品信息
小编是一个理科生,不善长说一些废话。简单介绍下原理然后直接上代码。 使用的工具(Python+pycharm2019.3+selenium+xpath+chromedriver)其中要使用pycharm也可以私聊我selenium是一个框架可以通过pip下载 pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple/ 
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
你知道的越多,你不知道的越多 点赞再看,养成习惯 本文 GitHub https://github.com/JavaFamily 已收录,有一线大厂面试点思维导图,也整理了很多我的文档,欢迎Star和完善,大家面试可以参照考点复习,希望我们一起有点东西。 前前言 为啥今天有个前前言呢? 因为你们的丙丙啊,昨天有牌面了哟,直接被微信官方推荐,知乎推荐,也就仅仅是还行吧(心里乐开花)
Java工作4年来应聘要16K最后没要,细节如下。。。
前奏: 今天2B哥和大家分享一位前几天面试的一位应聘者,工作4年26岁,统招本科。 以下就是他的简历和面试情况。 基本情况: 专业技能: 1、&nbsp;熟悉Sping了解SpringMVC、SpringBoot、Mybatis等框架、了解SpringCloud微服务 2、&nbsp;熟悉常用项目管理工具:SVN、GIT、MAVEN、Jenkins 3、&nbsp;熟悉Nginx、tomca
Python爬虫精简步骤1 获取数据
爬虫的工作分为四步: 1.获取数据。爬虫程序会根据我们提供的网址,向服务器发起请求,然后返回数据。 2.解析数据。爬虫程序会把服务器返回的数据解析成我们能读懂的格式。 3.提取数据。爬虫程序再从中提取出我们需要的数据。 4.储存数据。爬虫程序把这些有用的数据保存起来,便于你日后的使用和分析。 这一篇的内容就是:获取数据。 首先,我们将会利用一个强大的库——requests来获取数据。 在电脑上安装
Python绘图,圣诞树,花,爱心 | Turtle篇
1.画圣诞树 import turtle screen = turtle.Screen() screen.setup(800,600) circle = turtle.Turtle() circle.shape('circle') circle.color('red') circle.speed('fastest') circle.up() square = turtle.Turtle()
作为一个程序员,CPU的这些硬核知识你必须会!
CPU对每个程序员来说,是个既熟悉又陌生的东西? 如果你只知道CPU是中央处理器的话,那可能对你并没有什么用,那么作为程序员的我们,必须要搞懂的就是CPU这家伙是如何运行的,尤其要搞懂它里面的寄存器是怎么一回事,因为这将让你从底层明白程序的运行机制。 随我一起,来好好认识下CPU这货吧 把CPU掰开来看 对于CPU来说,我们首先就要搞明白它是怎么回事,也就是它的内部构造,当然,CPU那么牛的一个东
破14亿,Python分析我国存在哪些人口危机!
2020年1月17日,国家统计局发布了2019年国民经济报告,报告中指出我国人口突破14亿。 猪哥的朋友圈被14亿人口刷屏,但是很多人并没有看到我国复杂的人口问题:老龄化、男女比例失衡、生育率下降、人口红利下降等。 今天我们就来分析一下我们国家的人口数据吧! 更多有趣分析教程,扫描下方二维码关注vx公号「裸睡的猪」 即可查看! 一、背景 1.人口突破14亿 2020年1月17日,国家统计局发布
听说想当黑客的都玩过这个Monyer游戏(1~14攻略)
第零关 进入传送门开始第0关(游戏链接) 请点击链接进入第1关: 连接在左边→ ←连接在右边 看不到啊。。。。(只能看到一堆大佬做完的留名,也能看到菜鸡的我,在后面~~) 直接fn+f12吧 &lt;span&gt;连接在左边→&lt;/span&gt; &lt;a href="first.php"&gt;&lt;/a&gt; &lt;span&gt;←连接在右边&lt;/span&gt; o
在家远程办公效率低?那你一定要收好这个「在家办公」神器!
相信大家都已经收到国务院延长春节假期的消息,接下来,在家远程办公可能将会持续一段时间。 但是问题来了。远程办公不是人在电脑前就当坐班了,相反,对于沟通效率,文件协作,以及信息安全都有着极高的要求。有着非常多的挑战,比如: 1在异地互相不见面的会议上,如何提高沟通效率? 2文件之间的来往反馈如何做到及时性?如何保证信息安全? 3如何规划安排每天工作,以及如何进行成果验收? ......
作为一个程序员,内存和磁盘的这些事情,你不得不知道啊!!!
截止目前,我已经分享了如下几篇文章: 一个程序在计算机中是如何运行的?超级干货!!! 作为一个程序员,CPU的这些硬核知识你必须会! 作为一个程序员,内存的这些硬核知识你必须懂! 这些知识可以说是我们之前都不太重视的基础知识,可能大家在上大学的时候都学习过了,但是嘞,当时由于老师讲解的没那么有趣,又加上这些知识本身就比较枯燥,所以嘞,大家当初几乎等于没学。 再说啦,学习这些,也看不出来有什么用啊!
别低估自己的直觉,也别高估自己的智商
所有群全部吵翻天,朋友圈全部沦陷,公众号疯狂转发。这两周没怎么发原创,只发新闻,可能有人注意到了。我不是懒,是文章写了却没发,因为大家的关注力始终在这次的疫情上面,发了也没人看。当然,我...
这个世界上人真的分三六九等,你信吗?
偶然间,在知乎上看到一个问题 一时间,勾起了我深深的回忆。 以前在厂里打过两次工,做过家教,干过辅导班,做过中介。零下几度的晚上,贴过广告,满脸、满手地长冻疮。   再回首那段岁月,虽然苦,但让我学会了坚持和忍耐。让我明白了,在这个世界上,无论环境多么的恶劣,只要心存希望,星星之火,亦可燎原。   下文是原回答,希望能对你能有所启发。   如果我说,这个世界上人真的分三六九等,
为什么听过很多道理,依然过不好这一生?
记录学习笔记是一个重要的习惯,不希望学习过的东西成为过眼云烟。做总结的同时也是一次复盘思考的过程。 本文是根据阅读得到 App上《万维钢·精英日课》部分文章后所做的一点笔记和思考。学习是一个系统的过程,思维模型的建立需要相对完整的学习和思考过程。以下观点是在碎片化阅读后总结的一点心得总结。
B 站上有哪些很好的学习资源?
哇说起B站,在小九眼里就是宝藏般的存在,放年假宅在家时一天刷6、7个小时不在话下,更别提今年的跨年晚会,我简直是跪着看完的!! 最早大家聚在在B站是为了追番,再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈视频,最近两年我和周围的朋友们已经把B站当作学习教室了,而且学习成本还免费,真是个励志的好平台ヽ(.◕ฺˇд ˇ◕ฺ;)ノ 下面我们就来盘点一下B站上优质的学习资源: 综合类 Oeasy: 综合
如何优雅地打印一个Java对象?
你好呀,我是沉默王二,一个和黄家驹一样身高,和刘德华一样颜值的程序员。虽然已经写了十多年的 Java 代码,但仍然觉得自己是个菜鸟(请允许我惭愧一下)。 在一个月黑风高的夜晚,我思前想后,觉得再也不能这么蹉跎下去了。于是痛下决心,准备通过输出的方式倒逼输入,以此来修炼自己的内功,从而进阶成为一名真正意义上的大神。与此同时,希望这些文章能够帮助到更多的读者,让大家在学习的路上不再寂寞、空虚和冷。 ...
雷火神山直播超两亿,Web播放器事件监听是怎么实现的?
Web播放器解决了在手机浏览器和PC浏览器上播放音视频数据的问题,让视音频内容可以不依赖用户安装App,就能进行播放以及在社交平台进行传播。在视频业务大数据平台中,播放数据的统计分析非常重要,所以Web播放器在使用过程中,需要对其内部的数据进行收集并上报至服务端,此时,就需要对发生在其内部的一些播放行为进行事件监听。 那么Web播放器事件监听是怎么实现的呢? 01 监听事件明细表 名
3万字总结,Mysql优化之精髓
本文知识点较多,篇幅较长,请耐心学习 MySQL已经成为时下关系型数据库产品的中坚力量,备受互联网大厂的青睐,出门面试想进BAT,想拿高工资,不会点MySQL优化知识,拿offer的成功率会大大下降。 为什么要优化 系统的吞吐量瓶颈往往出现在数据库的访问速度上 随着应用程序的运行,数据库的中的数据会越来越多,处理时间会相应变慢 数据是存放在磁盘上的,读写速度无法和内存相比 如何优化 设计
Linux 命令(122)—— watch 命令
1.命令简介 2.命令格式 3.选项说明 4.常用示例 参考文献 [1] watch(1) manual
Linux 命令(121)—— cal 命令
1.命令简介 2.命令格式 3.选项说明 4.常用示例 参考文献 [1] cal(1) manual
记jsp+servlet+jdbc实现的新闻管理系统
1.工具:eclipse+SQLyog 2.介绍:实现的内容就是显示新闻的基本信息,然后一个增删改查的操作。 3.数据库表设计 列名 中文名称 数据类型 长度 非空 newsId 文章ID int 11 √ newsTitle 文章标题 varchar 20 √ newsContent 文章内容 text newsStatus 是否审核 varchar 10 news...
Python新型冠状病毒疫情数据自动爬取+统计+发送报告+数据屏幕(三)发送篇
今天介绍的项目是使用 Itchat 发送统计报告 项目功能设计: 定时爬取疫情数据存入Mysql 进行数据分析制作疫情报告 使用itchat给亲人朋友发送分析报告(本文) 基于Django做数据屏幕 使用Tableau做数据分析 来看看最终效果 目前已经完成,预计2月12日前更新 使用 itchat 发送数据统计报告 itchat 是一个基于 web微信的一个框架,但微信官方并不允
相关热词 c#导入fbx c#中屏蔽键盘某个键 c#正态概率密度 c#和数据库登陆界面设计 c# 高斯消去法 c# codedom c#读取cad文件文本 c# 控制全局鼠标移动 c# temp 目录 bytes初始化 c#
立即提问