JAVA htmlunit 抓取不到 页面 元素 2C

下面代码中 能获取到百度页面的Form 表单, 但是获取不到另外一个 网页的表单, 此时该如何处理?

ps:获取另外一个网页的源码保存html后,用浏览器打开,能看到 form 表单。

package com.xttx.cn.fetchpro.fetchImp;

import java.io.IOException;
import java.net.URL;
import java.util.List;

import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.CollectingAlertHandler;
import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException;
import com.gargoylesoftware.htmlunit.HttpWebConnection;
import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.WebRequest;
import com.gargoylesoftware.htmlunit.html.HtmlForm;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.xttx.cn.fetchpro.exception.PageNotFoundException;

public class SimulationFetch {
protected static WebClient webClient = null;
public WebClient getWebClient() {
return webClient;
}

public  void setWebClient(WebClient webClient) {
    this.webClient = webClient;
}
static WebRequest request = null;

public static void main(String[] args) throws FailingHttpStatusCodeException, IOException, PageNotFoundException, InterruptedException {
    // TODO Auto-generated method stub
    BrowserVersion.FIREFOX_24.setBrowserLanguage("zh-CN");
    BrowserVersion.FIREFOX_24.setSystemLanguage("zh-CN");
    BrowserVersion.FIREFOX_24.setUserLanguage("zh-CN");
    BrowserVersion.FIREFOX_24.setUserAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0");
    BrowserVersion.FIREFOX_24.setBrowserVersion(46.0f);
    BrowserVersion.FIREFOX_24.setCpuClass("x64");
    webClient = new WebClient(BrowserVersion.FIREFOX_24);

    webClient.setWebConnection(new HttpWebConnection(webClient));
    webClient.getCache().clear();
    webClient.getCookieManager().clearCookies();
    webClient.getOptions().setJavaScriptEnabled(true);
    webClient.setJavaScriptTimeout(60*1000);
    webClient.getOptions().setCssEnabled(true);
    webClient.getOptions().setActiveXNative(true);
    webClient.getOptions().setPopupBlockerEnabled(true);
    webClient.getOptions().setRedirectEnabled(true);
    webClient.getOptions().setTimeout(10000);
    webClient.getOptions().setDoNotTrackEnabled(true);
    webClient.getCookieManager().setCookiesEnabled(true);
    webClient.getOptions().setThrowExceptionOnFailingStatusCode(true);
    webClient.getOptions().setThrowExceptionOnScriptError(false);
    webClient.getOptions().setUseInsecureSSL(true);
    webClient.getOptions().setSSLInsecureProtocol("TLSv1.2");
    webClient.setAjaxController(new NicelyResynchronizingAjaxController());
    webClient.setAlertHandler(new CollectingAlertHandler());


    HtmlPage loginPageWithForm =(HtmlPage)webClient.getPage(new WebRequest(new URL("https://login.youzan.com/sso/index?service=kdt&from_source=pzshouye")));
    List<HtmlForm> htmlForm0 = loginPageWithForm.getForms();

    HtmlPage loginPageNoForm = (HtmlPage)webClient.getPage(new WebRequest(new URL("https://www.baidu.com/")));
    HtmlForm htmlForm = loginPageNoForm.getForms().get(0);

    System.out.println("---");

}

}

1个回答

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
htmlunit抓取数据时,遇到滚动条,抓取的页面信息不全
用htmlunit抓取数据时,如果遇到了滚动条,滚动条拉到低才能加载所有的信息,求解答:这种情况下如何抓取所有信息
java htmlunit 抓取联通 通话详单,内容无法解析
&lt;dl class=&quot;score_text_dl&quot;&gt; &lt;dt&gt;总记录数:&lt;/dt&gt; &lt;dd&gt;{$T.totalRecord}条&lt;/dd&gt; &lt;/dl&gt; &lt;dl class=&quot;score_text_dl&quot;&gt; &lt;dt&gt;固话号码:&lt;/dt&gt; &lt;dd&gt;{$T.userInfo.productId}&lt;/dd&gt; &lt;/dl&gt; &lt;dl class=&quot;score_text_dl&quot;&gt; &lt;dt&gt;费用合计:&lt;/dt&gt; &lt;dd&gt;{$T.alltotalfee}&lt;/dd&gt; &lt;/dl&gt; &lt;dl class=&quot;score_text_dl&quot;&gt; &lt;dt&gt;查询周期:&lt;/dt&gt; &lt;dd&gt;{$T.queryDateScope}&lt;/dd&gt; &lt;/dl&gt; {#/if} </textarea> <!-- 通话详单列表填充 --> <textarea id="callDetailTemplate" style="display:none;"> &lt;div class=&quot;score_table&quot;&gt; &lt;div class=&quot;space-10&quot;&gt;&lt;/div&gt; &lt;div class=&quot;tcbl&quot; id=&quot;callDetailContent&quot;&gt;&lt;!--start tc46--&gt; &lt;table width=&quot;100%&quot; class=&quot;package_tab sortable&quot; border=&quot;1&quot; autosortcol=&quot;0&quot;&gt; &lt;thead&gt; &lt;tr class=&quot;package_tab_th3&quot; &gt; &lt;th width=&quot;12%&quot; class=&quot;sorttable_sorted&quot;&gt;起始时间 &lt;ul class=&quot;click_top&quot;&gt; &lt;li class=&quot;top_img1 on&quot;&gt;&lt;/li&gt; &lt;li class=&quot;top_img2&quot;&gt;&lt;/li&gt; &lt;/ul&gt; &lt;/th&gt; &lt;th width=&quot;12%&quot;&gt;通话时长 &lt;ul class=&quot;click_top&quot;&gt; &lt;li class=&quot;top_img1&quot;&gt;&lt;/li&gt; &lt;li class=&quot;top_img2&quot;&gt;&lt;/li&gt; &lt;/ul&gt; &lt;/th&gt; &lt;th width=&quot;12%&quot;&gt;呼叫类型 &lt;ul class=&quot;click_top&quot;&gt; &lt;li class=&quot;top_img1&quot;&gt;&lt;/li
java htmlunit 导致的残留好多webSocket线程 问题 ?求解
java htmlunit 导致的残留好多webSocket线程 问题 ?求解
Htmlunit抓取数据失败
Cannot locate declared field class org.apache.http.impl.client.HttpClientBuilder.dnsResolver ![图片说明](https://img-ask.csdn.net/upload/201704/21/1492761765_782220.png)
java HtmlUnit无法读取js网页
第一次学习爬虫,要爬几层的链接,但是爬到js链接时就报错,不知什么解决,有用过HTMLunit的大神没
java Htmlunit登录邮箱的问题
WebClient webClient = new WebClient(BrowserVersion.INTERNET_EXPLORER); webClient.getCookieManager().setCookiesEnabled(true);// 开启cookie管理 webClient.getOptions().setTimeout(90000); webClient.getOptions().setCssEnabled(true); webClient.getOptions().setJavaScriptEnabled(true); webClient.setJavaScriptTimeout(40000); webClient.getOptions().setRedirectEnabled(true); webClient.getOptions().setThrowExceptionOnScriptError(false); final List collectedAlerts = new ArrayList(); webClient.setAlertHandler(new CollectingAlertHandler(collectedAlerts)); // HtmlPage page= webClient.getPage("http://localhost"); // page.getElementById("test").click(); // // System.out.println(collectedAlerts.get(0)); HtmlPage pageRsaInfo= webClient.getPage("https://ssl.ptlogin2.qq.com/check?pt_tea=2&uin=1603302725&appid=522005705&ptlang=2052&regmaster=&pt_uistyle=9&r=0.07655477741844985&pt_jstoken=1515144655"); String info=pageRsaInfo.asText(); String[] infoarry=info.split(","); String xx=infoarry[2].replace("'",""); String code=infoarry[1].replace("'",""); String sess=infoarry[3].replace("'",""); String vecode=infoarry[0].replace("'",""); System.out.println(vecode+"-----"); System.out.println(code+"验证码"); HtmlPage page= webClient.getPage("https://ui.ptlogin2.qq.com/cgi-bin/login?style=9&appid=522005705&daid=4&s_url=https%3A%2F%2Fw.mail.qq.com%2Fcgi-bin%2Flogin%3Fvt%3Dpassport%26vm%3Dwsk%26delegate_url%3D%26f%3Dxhtml%26target%3D&hln_css=http%3A%2F%2Fmail.qq.com%2Fzh_CN%2Fhtmledition%2Fimages%2Flogo%2Fqqmail%2Fqqmail_logo_default_200h.png&low_login=1&hln_autologin=%E8%AE%B0%E4%BD%8F%E7%99%BB%E5%BD%95%E7%8A%B6%E6%80%81&pt_no_onekey=1"); String aa="\\x00\\x00\\x00\\x00\\x5f\\x90\\x75\\x45"; System.out.println(aa.replace("\\", "\\")+"---"); String pwd="caoheike"; page.executeJavaScript(" alert($.Encryption.getEncryption('"+pwd+"','"+aa.replace("\\", "\\")+"','"+code+"') )").getJavaScriptResult(); HtmlPage pageend= webClient.getPage("https://ssl.ptlogin2.qq.com/login?pt_vcode_v1=0&pt_verifysession_v1="+sess+"&verifycode="+code+"&u=1121212159&p="+collectedAlerts.get(0)+"&pt_randsalt=2&ptlang=2052&low_login_enable=1&low_login_hour=720&u1=https%3A%2F%2Fw.mail.qq.com%2Fcgi-bin%2Flogin%3Fvt%3Dpassport%26vm%3Dwsk%26delegate_url%3D%26f%3Dxhtml%26target%3D%26ss%3D1&from_ui=1&fp=loginerroralert&device=2&aid=522005705&daid=4&pt_3rd_aid=0&ptredirect=1&h=1&g=1&pt_uistyle=9&regmaster=&"); System.out.println(pageend.asXml()); ptuiCB('22009','0','','0','对不起,你的号码登录异常,请使用 <a href="http://im.qq.com/mobileqq/2013/" target="_blank"> QQ手机版 </a> 扫描二维码安全登录。 <a href="http://ptlogin2.qq.com/qq_cheat_help" target="_blank"> (帮助反馈) </a> (22009)', ''); 有心人帮忙 复制这段代码看一下是什么问题 。可以执行,但需要hrmlunit 包 ``` ```
htmlunit 如何监听来自页面的alert 请说的详细些
package com.hommsun.util; import java.io.IOException; import java.net.MalformedURLException; import java.util.ArrayList; import java.util.Collections; import java.util.List; import org.springframework.util.Assert; import com.gargoylesoftware.htmlunit.AlertHandler; import com.gargoylesoftware.htmlunit.BrowserVersion; import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException; import com.gargoylesoftware.htmlunit.Page; import com.gargoylesoftware.htmlunit.WebClient; import com.gargoylesoftware.htmlunit.html.HtmlPage; public class weizai implements AlertHandler { public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException { WebClient webClient = new WebClient(BrowserVersion.INTERNET_EXPLORER); webClient.getCookieManager().setCookiesEnabled(true);// 开启cookie管理 webClient.getOptions().setTimeout(90000); webClient.getOptions().setCssEnabled(true); webClient.getOptions().setJavaScriptEnabled(true); webClient.setJavaScriptTimeout(40000); webClient.getOptions().setRedirectEnabled(true); webClient.getOptions().setThrowExceptionOnScriptError(false); HtmlPage page= webClient.getPage("http://192.168.1.108/"); } @Override public void handleAlert(Page arg0, String arg1) { } } 以上的连接是我些的测试页面 会直接弹出 alert 控制台也会输出 10:35:52.651 [main] WARN com.gargoylesoftware.htmlunit.javascript.host.Window - window.alert("asdsa") no alert handler installed 我想拿到提示 然后 给页面显示
java 使用htmlunit框架,设置代理,连接网页出现connection refused异常
做爬虫项目需要用到代理,问题代码如下 ``` ProxyConfig proxyConfig = webClient.getOptions().getProxyConfig(); proxyConfig.setProxyHost(ipPort.getIp()); proxyConfig.setProxyPort(ipPort.getPort()); HtmlPage page = webClient.getPage(ipTestWeb); ``` 其中ip和port的值都死存在的,在client获取页面时报错 rg.apache.http.conn.HttpHostConnectException: Connect to 58.61.185.70:9797 [/58.61.185.70] failed: Connection refused: connect at org.apache.http.impl.conn.DefaultHttpClientConnectionOperator.connect(DefaultHttpClientConnectionOperator.java:158) at org.apache.http.impl.conn.PoolingHttpClientConnectionManager.connect(PoolingHttpClientConnectionManager.java:353) at org.apache.http.impl.execchain.MainClientExec.establishRoute(MainClientExec.java:388) at org.apache.http.impl.execchain.MainClientExec.execute(MainClientExec.java:236) at org.apache.http.impl.execchain.ProtocolExec.execute(ProtocolExec.java:184) at org.apache.http.impl.execchain.RetryExec.execute(RetryExec.java:88) at org.apache.http.impl.execchain.RedirectExec.execute(RedirectExec.java:110) at org.apache.http.impl.client.InternalHttpClient.doExecute(InternalHttpClient.java:184) at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:71) at com.gargoylesoftware.htmlunit.HttpWebConnection.getResponse(HttpWebConnection.java:183) at com.gargoylesoftware.htmlunit.WebClient.loadWebResponseFromWebConnection(WebClient.java:1351) at com.gargoylesoftware.htmlunit.WebClient.loadWebResponse(WebClient.java:1268) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:381) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:303) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:450) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:435) at cn.com.test.proxy.TestIP.parseIP(TestIP.java:67) at cn.com.test.proxy.TestIP.getRandomUsefulProxy(TestIP.java:140) at cn.com.test.proxy.TestIP.main(TestIP.java:41) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)
JAVA使用htmlunit中的activeX功能,但是jacob报错 Can't find moniker,如何解决?
htmlunit开启activeX ``` webClient.getOptions().setActiveXNative(true); ``` 会报错: ``` com.jacob.com.ComFailException: Can't find moniker at com.jacob.com.Dispatch.createInstanceNative(Native Method) at com.jacob.com.Dispatch.<init>(Dispatch.java:99) at com.jacob.activeX.ActiveXComponent.<init>(ActiveXComponent.java:58) ``` 需要用到jacob.jar 项目目前导入1.19,JDK1.8,64位WIN10。 尝试过网上的更换32位JDK已及1.7JDK以及各个版本的jacob。 IE中的activeX能够正常使用,并且官网htmlunit官网示例中 ``` final ActiveXComponent activeXComponent = new ActiveXComponent("InternetExplorer.Application"); final boolean busy = activeXComponent.getProperty("Busy").getBoolean(); System.out.println(busy); ``` 也无问题。 但是在java代码中就是会报错Can't find moniker,网上也没查出个所以然来。 1. 初步判断跟htmlunit无关(错误信息是jacob初始化的时候的错误) 2. 跟jacob也无关(因为并不是所有的clsid在初始化时都会报错) 怀疑是dll的问题,但是个人并不懂dll,不清楚在什么情况下会导致jacob报错Can't find moniker。也尝试过Regsvr32注册,失败了。VC,VB的运行库也都有。也弄了个32位的Win10实验,也失败。反正网上各种都可能性的言论都试过了。 如果是因为dll编写的原因导致的,麻烦有大佬能告知一下是什么情况下会导致这个问题。 真心求教怎么解决这问题。。。脑壳痛啊
htmlunit 抓到页面 显示正在加载
<div class="load_img" id="load_img" style="display: none;"> <img src="../order/images/my189Home/images/my189/loading_1.gif" alt=""/> <p> 页面正在努力加载中,请耐心等待! </p> </div> 延迟已经设置过了 而且设置的很长 HtmlPage pageinfo= webClient.getPage("http://www.189.cn/dqmh/my189/initMy189home.do?fastcode=10000202"); webClient.waitForBackgroundJavaScript(10000); Thread.sleep(30000); System.out.println(pageinfo.asXml());
java htmlunit 获得一个新闻中的URL 如果获取?
例如百度的新闻 我想获得 王宝强妻子出轨 后面是 URL 这样怎么获取?
大神求救 htmlunit 爬虫抓取中国移动数据的问题。
移动登陆地址:https://sn.ac.10086.cn/login 以下是我的测试代码。 根据元素获取图片保存到本地,然后scanner输入验证码之后模拟提交。但是 如果说 验证码输入的位数不对,还会给我返回 验证码必须为4位 如果按照我下载保存的验证码 去输入没有任何提示了,打印的页面还是 登陆页面。 所以 小弟不知道是因为验证码输入错了。 还是因为这种方法不行?求指教 String phoneNo = "18220834780"; String passwords = "xxx"; String validateCodes = null; // 5、模拟用户登录 final WebClient webClient = new WebClient(); // 1.获取某个待测页面 final HtmlPage page = webClient.getPage("https://sn.ac.10086.cn/login"); System.out.println(page.getTitleText() + "---------------------"); HtmlForm form = page.getForms().get(0); HtmlTextInput username = (HtmlTextInput) form.getInputByName("userName"); System.out.println(username); HtmlPasswordInput password = (HtmlPasswordInput) form.getInputByName("password"); System.out.println(password); HtmlTextInput verifyCode = (HtmlTextInput) form.getInputByName("verifyCode"); username.setValueAttribute(phoneNo); password.setValueAttribute(passwords); DomNodeList<DomNode> iList = page.querySelectorAll(".loginPageBtn2013"); HtmlImage valiCodeImg = (HtmlImage) page.getElementById("verifyImg"); ImageReader imageReader = valiCodeImg.getImageReader(); BufferedImage bufferedImage = imageReader.read(0); BufferedImage inputbig = new BufferedImage(256, 256, BufferedImage.TYPE_INT_BGR); Graphics2D g = (Graphics2D) inputbig.getGraphics(); g.drawImage(bufferedImage, 0, 0, 100, 100, null); // 画图 g.dispose(); inputbig.flush(); File file2 = new File("e:/"); // 此目录保存缩小后的关键图 if (file2.exists()) { System.out.println("多级目录已经存在不需要创建!!"); } else { // 如果要创建的多级目录不存在才需要创建。 file2.mkdirs(); } String name = "asasdas.png"; String fname = name.substring(0, name.lastIndexOf("."));// 新名字 ImageIO.write(inputbig, "jpg", new File("e:/" + fname + ".jpg")); // 将其保存在C:/imageSort/targetPIC/下 System.out.println("请输入验证码"); Scanner scanner = new Scanner(System.in); verifyCode.setValueAttribute(scanner.next()); HtmlPage retPage = ((DomElement) iList.get(0)).click(); System.out.println(retPage.asXml());
htmlunit 调用js获取返回数据
以前没接触过htmlunit 在网上找不到,只有通过标签调用事件,得到下一个页面, 我想知道怎么 直接执行js的方法 这个放个是向和后台发送请求的,返回请求数据, 用htmlunit怎么做才能直接调用该方法并的到返回的数据
htmlunit+jsoup爬取知乎视频,获取的html字符串中缺少视频信息,如何解决?
大神帮忙看一下 今天使用htmlunit+jsoup爬取知乎网站的视频,发现爬取到的html中缺少视频的信息,无法进行下一步了 知乎视频网址:https://video.zhihu.com/video/1157743087110549504?autoplay=false&useMSE= 浏览器检查中查看到的视频信息 ![图片说明](https://img-ask.csdn.net/upload/201910/12/1570872018_377176.png) java代码 ``` @Test public void testttt() { final WebClient webClient = new WebClient(BrowserVersion.CHROME);//新建一个模拟谷歌Chrome浏览器的浏览器客户端对象 webClient.getOptions().setThrowExceptionOnScriptError(false);//当JS执行出错的时候是否抛出异常, 这里选择不需要 webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);//当HTTP的状态非200时是否抛出异常, 这里选择不需要 webClient.getOptions().setActiveXNative(false); webClient.getOptions().setCssEnabled(false);//是否启用CSS, 因为不需要展现页面, 所以不需要启用 webClient.getOptions().setJavaScriptEnabled(true); //很重要,启用JS webClient.setAjaxController(new NicelyResynchronizingAjaxController());//很重要,设置支持AJAX HtmlPage page = null; try { page = webClient.getPage("https://video.zhihu.com/video/1157743087110549504?autoplay=false&useMSE=");//尝试加载上面图片例子给出的网页 // page = webClient.getPage("http://ent.sina.com.cn/film/");//尝试加载上面图片例子给出的网页 } catch (Exception e) { e.printStackTrace(); }finally { webClient.close(); } webClient.waitForBackgroundJavaScript(30000000);//异步JS执行需要耗时,所以这里线程要阻塞30秒,等待异步JS执行结束 String pageXml = page.asXml();//直接将加载完成的页面转换成xml格式的字符串 System.out.println(pageXml); //TODO 下面的代码就是对字符串的操作了,常规的爬虫操作,用到了比较好用的Jsoup库 // Document document = Jsoup.parse(pageXml);//获取html文档 // List<Element> infoListEle = document.getElementById("feedCardContent").getElementsByAttributeValue("class", "feed-card-item");//获取元素节点等 // infoListEle.forEach(element -> { // System.out.println(element.getElementsByTag("h2").first().getElementsByTag("a").text()); // System.out.println(element.getElementsByTag("h2").first().getElementsByTag("a").attr("href")); // }); } ``` 运行程序打印的html如下: ![图片说明](https://img-ask.csdn.net/upload/201910/12/1570872108_470794.png) 有大神遇到过这个问题吗?帮忙看一下
java中htmlunit 中 表单的submit没有id 没有name 只有class怎么处理
![图片说明](https://img-ask.csdn.net/upload/201504/11/1428689514_880964.png) 这个表单的 文本框能通过name来获取 但是submit不知道 求详细知道谢谢了
Java_爬虫,如何抓取Js动态生成数据的页面?
<div class="iteye-blog-content-contain" style="font-size: 14px;"> <p> </p> <p> </p> <p> </p> <p>很多网站是用js或Jquery 生成数据的,到后台获取到数据以后,用 document.write()或者("#id").html="" 的方式 写到页面中,这个时候用浏览器查看源码是看不到数据的。<br><br>HttpClient是不行的,看网上说HtmlUnit,说  可以获取后台js加载完后的完整页面,但是我按照文章上说的 写了 ,都不好使。</p> <pre name="code" class="java">String url = "http://xinjinqiao.tprtc.com/admin/main/flrpro.do"; try { WebClient webClient = new WebClient(BrowserVersion.FIREFOX_10); //设置webClient的相关参数 webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setCssEnabled(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); //webClient.getOptions().setTimeout(50000); webClient.getOptions().setThrowExceptionOnScriptError(false); //模拟浏览器打开一个目标网址 HtmlPage rootPage = webClient.getPage(url); System.out.println("为了获取js执行的数据 线程开始沉睡等待"); Thread.sleep(3000);//主要是这个线程的等待 因为js加载也是需要时间的 System.out.println("线程结束沉睡"); String html = rootPage.asText(); System.out.println(html); } catch (Exception e) { } </pre> <p> </p> <p>其实这段代码不好使。<br><br><br>求解答,其中典型的就是这个链接的页面,怎么能在java程序中获取其中的数据?<br><br>http://xinjinqiao.tprtc.com/admin/main/flrpro.do</p> <p> </p> <p> </p> </div>
HtmlUnit爬网页不完整,缺少一些标签该如何解决?
HtmlUnit爬网页不完整,缺少一些标签该如何解决? 我用HtmlUnit中的WebClient.getPage()爬微博手机网页,但输出后发现比用浏览器查看的源码要少一部分标签,请教一下这是什么原因呢?有没有什么解决办法。![图片说明](https://img-ask.csdn.net/upload/201906/01/1559397098_121583.png)![图片说明](https://img-ask.csdn.net/upload/201906/01/1559397101_578245.png)
htmlunit模拟浏览器访问页面,请问怎么设置页面停留时间
WebClient webClient = new WebClient(BrowserVersion.FIREFOX_38,ip,port); webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setCssEnabled(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.getOptions().setTimeout(15000); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); webClient.addRequestHeader("Referer", "http://www.hao123.com"); HtmlPage rootPage= webClient.getPage(url);
求教问题 htmlunit报错
使用htmlunit的webclient 后报错Exception in thread "main" Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "main"
爬虫福利二 之 妹子图网MM批量下载
爬虫福利一:27报网MM批量下载    点击 看了本文,相信大家对爬虫一定会产生强烈的兴趣,激励自己去学习爬虫,在这里提前祝:大家学有所成! 目标网站:妹子图网 环境:Python3.x 相关第三方模块:requests、beautifulsoup4 Re:各位在测试时只需要将代码里的变量 path 指定为你当前系统要保存的路径,使用 python xxx.py 或IDE运行即可。
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 顺便拉下票,我在参加csdn博客之星竞选,欢迎投票支持,每个QQ或者微信每天都可以投5票,扫二维码即可,http://m234140.nofollow.ax.
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入 假设现有4个人...
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 欢迎 改进 留言。 演示地点跳到演示地点 html代码如下`&lt;!DOCTYPE html&gt; &lt;html&gt; &lt;head&gt; &lt;title&gt;music&lt;/title&gt; &lt;meta charset="utf-8"&gt
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。 1. for - else 什么?不是 if 和 else 才
数据库优化 - SQL优化
前面一篇文章从实例的角度进行数据库优化,通过配置一些参数让数据库性能达到最优。但是一些“不好”的SQL也会导致数据库查询变慢,影响业务流程。本文从SQL角度进行数据库优化,提升SQL运行效率。 判断问题SQL 判断SQL是否有问题时可以通过两个表象进行判断: 系统级别表象 CPU消耗严重 IO等待严重 页面响应时间过长
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 c/c++ 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7
通俗易懂地给女朋友讲:线程池的内部原理
餐厅的约会 餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”我楞了一下,心里想女朋友今天是怎么了,怎么突然问出这么专业的问题,但做为一个专业人士在女朋友面前也不能露怯啊,想了一下便说:“我先给你讲讲我前同事老王的故事吧!” 大龄程序员老王 老王是一个已经北漂十多年的程序员,岁数大了,加班加不动了,升迁也无望,于是拿着手里
经典算法(5)杨辉三角
杨辉三角 是经典算法,这篇博客对它的算法思想进行了讲解,并有完整的代码实现。
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹
面试官:你连RESTful都不知道我怎么敢要你?
面试官:了解RESTful吗? 我:听说过。 面试官:那什么是RESTful? 我:就是用起来很规范,挺好的 面试官:是RESTful挺好的,还是自我感觉挺好的 我:都挺好的。 面试官:… 把门关上。 我:… 要干嘛?先关上再说。 面试官:我说出去把门关上。 我:what ?,夺门而去 文章目录01 前言02 RESTful的来源03 RESTful6大原则1. C-S架构2. 无状态3.统一的接
JDK12 Collectors.teeing 你真的需要了解一下
前言 在 Java 12 里面有个非常好用但在官方 JEP 没有公布的功能,因为它只是 Collector 中的一个小改动,它的作用是 merge 两个 collector 的结果,这句话显得很抽象,老规矩,我们先来看个图(这真是一个不和谐的图????): 管道改造经常会用这个小东西,通常我们叫它「三通」,它的主要作用就是将 downstream1 和 downstre...
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看
SQL-小白最佳入门sql查询一
不要偷偷的查询我的个人资料,即使你再喜欢我,也不要这样,真的不好;
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...
【图解经典算法题】如何用一行代码解决约瑟夫环问题
约瑟夫环问题算是很经典的题了,估计大家都听说过,然后我就在一次笔试中遇到了,下面我就用 3 种方法来详细讲解一下这道题,最后一种方法学了之后保证让你可以让你装逼。 问题描述:编号为 1-N 的 N 个士兵围坐在一起形成一个圆圈,从编号为 1 的士兵开始依次报数(1,2,3…这样依次报),数到 m 的 士兵会被杀死出列,之后的士兵再从 1 开始报数。直到最后剩下一士兵,求这个士兵的编号。 1、方...
致 Python 初学者
欢迎来到“Python进阶”专栏!来到这里的每一位同学,应该大致上学习了很多 Python 的基础知识,正在努力成长的过程中。在此期间,一定遇到了很多的困惑,对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 python 这门编程语言,从2009年开始单一使用 python 应对所有的开发工作,直至今天。回顾自己的学习过程,也曾经遇到过无数的困难,也曾经迷茫过、困惑过。开办这个专栏,正是为了帮助像我当年一样困惑的 Python 初学者走出困境、快速成长。希望我的经验能真正帮到你
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,...
程序员:我终于知道post和get的区别
是一个老生常谈的话题,然而随着不断的学习,对于以前的认识有很多误区,所以还是需要不断地总结的,学而时习之,不亦说乎
GitHub标星近1万:只需5秒音源,这个网络就能实时“克隆”你的声音
作者 | Google团队 译者 | 凯隐 编辑 | Jane 出品 | AI科技大本营(ID:rgznai100) 本文中,Google 团队提出了一种文本语音合成(text to speech)神经系统,能通过少量样本学习到多个不同说话者(speaker)的语音特征,并合成他们的讲话音频。此外,对于训练时网络没有接触过的说话者,也能在不重新训练的情况下,仅通过未知...
《程序人生》系列-这个程序员只用了20行代码就拿了冠军
你知道的越多,你不知道的越多 点赞再看,养成习惯GitHub上已经开源https://github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 前言 这一期不算《吊打面试官》系列的,所有没前言我直接开始。 絮叨 本来应该是没有这期的,看过我上期的小伙伴应该是知道的嘛,双十一比较忙嘛,要值班又要去帮忙拍摄年会的视频素材,还得搞个程序员一天的Vlog,还要写BU...
加快推动区块链技术和产业创新发展,2019可信区块链峰会在京召开
11月8日,由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办,科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。   区块链技术被认为是继蒸汽机、电力、互联网之后,下一代颠覆性的核心技术。如果说蒸汽机释放了人类的生产力,电力解决了人类基本的生活需求,互联网彻底改变了信息传递的方式,区块链作为构造信任的技术有重要的价值。   1...
程序员把地府后台管理系统做出来了,还有3.0版本!12月7号最新消息:已在开发中有github地址
第一幕:缘起 听说阎王爷要做个生死簿后台管理系统,我们派去了一个程序员…… 996程序员做的梦: 第一场:团队招募 为了应对地府管理危机,阎王打算找“人”开发一套地府后台管理系统,于是就在地府总经办群中发了项目需求。 话说还是中国电信的信号好,地府都是满格,哈哈!!! 经常会有外行朋友问:看某网站做的不错,功能也简单,你帮忙做一下? 而这次,面对这样的需求,这个程序员...
网易云6亿用户音乐推荐算法
网易云音乐是音乐爱好者的集聚地,云音乐推荐系统致力于通过 AI 算法的落地,实现用户千人千面的个性化推荐,为用户带来不一样的听歌体验。 本次分享重点介绍 AI 算法在音乐推荐中的应用实践,以及在算法落地过程中遇到的挑战和解决方案。 将从如下两个部分展开: AI算法在音乐推荐中的应用 音乐场景下的 AI 思考 从 2013 年 4 月正式上线至今,网易云音乐平台持续提供着:乐屏社区、UGC...
【技巧总结】位运算装逼指南
位算法的效率有多快我就不说,不信你可以去用 10 亿个数据模拟一下,今天给大家讲一讲位运算的一些经典例子。不过,最重要的不是看懂了这些例子就好,而是要在以后多去运用位运算这些技巧,当然,采用位运算,也是可以装逼的,不信,你往下看。我会从最简单的讲起,一道比一道难度递增,不过居然是讲技巧,那么也不会太难,相信你分分钟看懂。 判断奇偶数 判断一个数是基于还是偶数,相信很多人都做过,一般的做法的代码如下...
【管理系统课程设计】美少女手把手教你后台管理
【文章后台管理系统】URL设计与建模分析+项目源码+运行界面 栏目管理、文章列表、用户管理、角色管理、权限管理模块(文章最后附有源码) 1. 这是一个什么系统? 1.1 学习后台管理系统的原因 随着时代的变迁,现如今各大云服务平台横空出世,市面上有许多如学生信息系统、图书阅读系统、停车场管理系统等的管理系统,而本人家里就有人在用烟草销售系统,直接在网上完成挑选、购买与提交收货点,方便又快捷。 试想,若没有烟草销售系统,本人家人想要购买烟草,还要独自前往药...
4G EPS 第四代移动通信系统
目录 文章目录目录4G 与 LTE/EPCLTE/EPC 的架构E-UTRANE-UTRAN 协议栈eNodeBEPCMMES-GWP-GWHSSLTE/EPC 协议栈概览 4G 与 LTE/EPC 4G,即第四代移动通信系统,提供了 3G 不能满足的无线网络宽带化,主要提供数据(上网)业务。而 LTE(Long Term Evolution,长期演进技术)是电信领域用于手机及数据终端的高速无线通...
相关热词 c# plc s1200 c#里氏转换原则 c# 主界面 c# do loop c#存为组套 模板 c# 停掉协程 c# rgb 读取图片 c# 图片颜色调整 最快 c#多张图片上传 c#密封类与密封方法
立即提问