WebClient.UploadValues方法调用第三方接口返回400错误

问题:webclient请求的时候,远程服务器返回400错误,
但是数据又传送给对方了,很困惑为啥会catch到400错误。

代码在:
byte[] byRemoteInfo = webClientObj.UploadValues(strUrl,postVars);
这里报的异常,返回
{"远程服务器返回错误: (400) 错误的请求。"}

//注释里的更改请求头的几个方法都试过了,不好使。

private void SendPost(int agent, string secretKey, string strUrl, ViewModels.GetReInfoViewModel viewModel, string cameraName)
        {
            agent = 1;//代理人id
            secretKey = "miyao";
            strUrl="请求串";//第三方接收的url,demo:http://www.baidu.com/webapi/postvalues?access_token=passsecrete
            try
            {
                var webClientObj = new WebClient();
                var postVars = new System.Collections.Specialized.NameValueCollection();
                //返回状态内容
                postVars.Add("BusinessStatus", viewModel.BusinessStatus.ToString());
                postVars.Add("StatusMessage", viewModel.StatusMessage);
                //webClientObj.Encoding = Encoding.UTF8;
                byte[] byRemoteInfo = webC**lientObj.UploadValues(strUrl,postVars);
                //返回值
                string remoteInfo = Encoding.UTF8.GetString(byRemoteInfo);
                logInfo.Info(string.Format("请求第三方{0}接口返回消息:{1}", agent, remoteInfo));
            }
            catch (Exception ex)
            {
                logError.Error("调用" + agent + "接口传摄像头续保信息接口异常,Url为:" + strUrl + ";\n 异常信息:" + ex.StackTrace + " \n " + ex.Message);
            }
        }

1个回答

400说明你连上了服务器,对方服务器返回你400的状态码,这个状态码通常表示没有权限,也许是你的参数传递的不对,也许是服务器本身明明接收了数据但是还是错误地返回了状态码,这个要和服务器的所有者联系。

xiaogxiao
微沫小熊 嗯,谢谢
8 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
WebClient.DownloadData失败?
catch报An exception occurred during a WebClient request.错误 代码如下: string url=http://act.lexun.com/ztapp/Templates/release/cc1d2175_3506_44b2_be7a_b0add0bb5f5f.zip byte[] buffer = new WebClient { Credentials = CredentialCache.DefaultCredentials }.DownloadData(url); 这里直接跳到异常。 zip压缩包只有2M大小。
htmlunit模拟浏览器访问页面,请问怎么设置页面停留时间
WebClient webClient = new WebClient(BrowserVersion.FIREFOX_38,ip,port); webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setCssEnabled(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.getOptions().setTimeout(15000); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); webClient.addRequestHeader("Referer", "http://www.hao123.com"); HtmlPage rootPage= webClient.getPage(url);
html访问页面,怎么设置停留时间
页面停留时间,是根据操作才会有的,操作有了,没有停留时间, WebClient webClient = new WebClient(BrowserVersion.FIREFOX_38,ip,port); webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setCssEnabled(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.getOptions().setTimeout(15000); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); HtmlPage rootPage= webClient.getPage(url);
VS17添加了using System.Net;但使用不了WebClient.webAddres
using system; using system.Net; ..... WebClient wclient = new WebClient; wclient.***(*** = webAddress属性找不到,为什么?)
JAVA htmlunit 抓取不到 页面 元素
下面代码中 能获取到百度页面的Form 表单, 但是获取不到另外一个 网页的表单, 此时该如何处理? ps:获取另外一个网页的源码保存html后,用浏览器打开,能看到 form 表单。 package com.xttx.cn.fetchpro.fetchImp; import java.io.IOException; import java.net.URL; import java.util.List; import com.gargoylesoftware.htmlunit.BrowserVersion; import com.gargoylesoftware.htmlunit.CollectingAlertHandler; import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException; import com.gargoylesoftware.htmlunit.HttpWebConnection; import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController; import com.gargoylesoftware.htmlunit.WebClient; import com.gargoylesoftware.htmlunit.WebRequest; import com.gargoylesoftware.htmlunit.html.HtmlForm; import com.gargoylesoftware.htmlunit.html.HtmlPage; import com.xttx.cn.fetchpro.exception.PageNotFoundException; public class SimulationFetch { protected static WebClient webClient = null; public WebClient getWebClient() { return webClient; } public void setWebClient(WebClient webClient) { this.webClient = webClient; } static WebRequest request = null; public static void main(String[] args) throws FailingHttpStatusCodeException, IOException, PageNotFoundException, InterruptedException { // TODO Auto-generated method stub BrowserVersion.FIREFOX_24.setBrowserLanguage("zh-CN"); BrowserVersion.FIREFOX_24.setSystemLanguage("zh-CN"); BrowserVersion.FIREFOX_24.setUserLanguage("zh-CN"); BrowserVersion.FIREFOX_24.setUserAgent("Mozilla/5.0 (Windows NT 6.1; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0"); BrowserVersion.FIREFOX_24.setBrowserVersion(46.0f); BrowserVersion.FIREFOX_24.setCpuClass("x64"); webClient = new WebClient(BrowserVersion.FIREFOX_24); webClient.setWebConnection(new HttpWebConnection(webClient)); webClient.getCache().clear(); webClient.getCookieManager().clearCookies(); webClient.getOptions().setJavaScriptEnabled(true); webClient.setJavaScriptTimeout(60*1000); webClient.getOptions().setCssEnabled(true); webClient.getOptions().setActiveXNative(true); webClient.getOptions().setPopupBlockerEnabled(true); webClient.getOptions().setRedirectEnabled(true); webClient.getOptions().setTimeout(10000); webClient.getOptions().setDoNotTrackEnabled(true); webClient.getCookieManager().setCookiesEnabled(true); webClient.getOptions().setThrowExceptionOnFailingStatusCode(true); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setUseInsecureSSL(true); webClient.getOptions().setSSLInsecureProtocol("TLSv1.2"); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.setAlertHandler(new CollectingAlertHandler()); HtmlPage loginPageWithForm =(HtmlPage)webClient.getPage(new WebRequest(new URL("https://login.youzan.com/sso/index?service=kdt&from_source=pzshouye"))); List<HtmlForm> htmlForm0 = loginPageWithForm.getForms(); HtmlPage loginPageNoForm = (HtmlPage)webClient.getPage(new WebRequest(new URL("https://www.baidu.com/"))); HtmlForm htmlForm = loginPageNoForm.getForms().get(0); System.out.println("---"); } }
htmlunit+jsoup爬取知乎视频,获取的html字符串中缺少视频信息,如何解决?
大神帮忙看一下 今天使用htmlunit+jsoup爬取知乎网站的视频,发现爬取到的html中缺少视频的信息,无法进行下一步了 知乎视频网址:https://video.zhihu.com/video/1157743087110549504?autoplay=false&useMSE= 浏览器检查中查看到的视频信息 ![图片说明](https://img-ask.csdn.net/upload/201910/12/1570872018_377176.png) java代码 ``` @Test public void testttt() { final WebClient webClient = new WebClient(BrowserVersion.CHROME);//新建一个模拟谷歌Chrome浏览器的浏览器客户端对象 webClient.getOptions().setThrowExceptionOnScriptError(false);//当JS执行出错的时候是否抛出异常, 这里选择不需要 webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);//当HTTP的状态非200时是否抛出异常, 这里选择不需要 webClient.getOptions().setActiveXNative(false); webClient.getOptions().setCssEnabled(false);//是否启用CSS, 因为不需要展现页面, 所以不需要启用 webClient.getOptions().setJavaScriptEnabled(true); //很重要,启用JS webClient.setAjaxController(new NicelyResynchronizingAjaxController());//很重要,设置支持AJAX HtmlPage page = null; try { page = webClient.getPage("https://video.zhihu.com/video/1157743087110549504?autoplay=false&useMSE=");//尝试加载上面图片例子给出的网页 // page = webClient.getPage("http://ent.sina.com.cn/film/");//尝试加载上面图片例子给出的网页 } catch (Exception e) { e.printStackTrace(); }finally { webClient.close(); } webClient.waitForBackgroundJavaScript(30000000);//异步JS执行需要耗时,所以这里线程要阻塞30秒,等待异步JS执行结束 String pageXml = page.asXml();//直接将加载完成的页面转换成xml格式的字符串 System.out.println(pageXml); //TODO 下面的代码就是对字符串的操作了,常规的爬虫操作,用到了比较好用的Jsoup库 // Document document = Jsoup.parse(pageXml);//获取html文档 // List<Element> infoListEle = document.getElementById("feedCardContent").getElementsByAttributeValue("class", "feed-card-item");//获取元素节点等 // infoListEle.forEach(element -> { // System.out.println(element.getElementsByTag("h2").first().getElementsByTag("a").text()); // System.out.println(element.getElementsByTag("h2").first().getElementsByTag("a").attr("href")); // }); } ``` 运行程序打印的html如下: ![图片说明](https://img-ask.csdn.net/upload/201910/12/1570872108_470794.png) 有大神遇到过这个问题吗?帮忙看一下
java 使用htmlunit框架,设置代理,连接网页出现connection refused异常
做爬虫项目需要用到代理,问题代码如下 ``` ProxyConfig proxyConfig = webClient.getOptions().getProxyConfig(); proxyConfig.setProxyHost(ipPort.getIp()); proxyConfig.setProxyPort(ipPort.getPort()); HtmlPage page = webClient.getPage(ipTestWeb); ``` 其中ip和port的值都死存在的,在client获取页面时报错 rg.apache.http.conn.HttpHostConnectException: Connect to 58.61.185.70:9797 [/58.61.185.70] failed: Connection refused: connect at org.apache.http.impl.conn.DefaultHttpClientConnectionOperator.connect(DefaultHttpClientConnectionOperator.java:158) at org.apache.http.impl.conn.PoolingHttpClientConnectionManager.connect(PoolingHttpClientConnectionManager.java:353) at org.apache.http.impl.execchain.MainClientExec.establishRoute(MainClientExec.java:388) at org.apache.http.impl.execchain.MainClientExec.execute(MainClientExec.java:236) at org.apache.http.impl.execchain.ProtocolExec.execute(ProtocolExec.java:184) at org.apache.http.impl.execchain.RetryExec.execute(RetryExec.java:88) at org.apache.http.impl.execchain.RedirectExec.execute(RedirectExec.java:110) at org.apache.http.impl.client.InternalHttpClient.doExecute(InternalHttpClient.java:184) at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:71) at com.gargoylesoftware.htmlunit.HttpWebConnection.getResponse(HttpWebConnection.java:183) at com.gargoylesoftware.htmlunit.WebClient.loadWebResponseFromWebConnection(WebClient.java:1351) at com.gargoylesoftware.htmlunit.WebClient.loadWebResponse(WebClient.java:1268) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:381) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:303) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:450) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:435) at cn.com.test.proxy.TestIP.parseIP(TestIP.java:67) at cn.com.test.proxy.TestIP.getRandomUsefulProxy(TestIP.java:140) at cn.com.test.proxy.TestIP.main(TestIP.java:41) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)
asp.net实现天气接口 报错 远程服务器返回错误: (500) 内部服务器错误。
string str = client.DownloadString("http://www.webxml.com.cn/WebServices/WeatherWebService.asmx/getWeatherbyCityName?theCityName=57494"); [WebException: 远程服务器返回错误: (500) 内部服务器错误。] System.Net.WebClient.DownloadDataInternal(Uri address, WebRequest& request) +283 System.Net.WebClient.DownloadString(Uri address) +100 System.Net.WebClient.DownloadString(String address) +29 weather.Bnn_Weather.Get_3day_weather(String CityName) in d:\专业操作信息库\WPF\weather\weather\Bnn_Weather.cs:52 weather.WeatherWeb.disp_weather(String city) in d:\专业操作信息库\WPF\weather\weather\WeatherWeb.aspx.cs:56 weather.WeatherWeb.Button1_Click(Object sender, EventArgs e) in d:\专业操作信息库\WPF\weather\weather\WeatherWeb.aspx.cs:64 System.Web.UI.WebControls.Button.OnClick(EventArgs e) +9628722 System.Web.UI.WebControls.Button.RaisePostBackEvent(String eventArgument) +103 System.Web.UI.WebControls.Button.System.Web.UI.IPostBackEventHandler.RaisePostBackEvent(String eventArgument) +10 System.Web.UI.Page.RaisePostBackEvent(IPostBackEventHandler sourceControl, String eventArgument) +13 System.Web.UI.Page.RaisePostBackEvent(NameValueCollection postData) +35 System.Web.UI.Page.ProcessRequestMain(Boolean includeStagesBeforeAsyncPoint, Boolean includeStagesAfterAsyncPoint) +1724
关于c#使用WebClient调用openapi接口
使用c#调用openapi接口。如下图 ![图片说明](https://img-ask.csdn.net/upload/201703/06/1488785737_987974.jpg) java代码为: ``` public static PageResponse<UIMUser> userfind() { List<CommonCondition> conditions = new ArrayList<CommonCondition>(); CommonCondition c = new CommonCondition(); c.setName("userName"); c.setDataType(DataType.String); c.setCriteriaType(CriteriaType.StartWith); c.setValue("User1"); conditions.add(c); PostMethod method = new PostMethod(endPoint + "/admin/macula-uim/user/find"); try { method.setRequestHeader("Content-Type", "application/x-www-form-urlencoded;charset=UTF-8"); // 标识是OpenAPI请求 method.addRequestHeader(OpenApiUtils.AJAX_REQUEST_HEADER, OpenApiUtils.API_REQUEST_VALUE); // 添加POST BODY method.addParameter("page", "0"); method.addParameter("rows", "20"); method.addParameters(OpenApiUtils.getPostParams("conditions", conditions)); // 设置请求参数 method.setQueryString(OpenApiUtils.getOpenApiParams(appKey, appSecret, null, null, null, null, "zh_CN", method.getParameters())); int status = client.executeMethod(method); String content = method.getResponseBodyAsString(); if (status == HttpServletResponse.SC_OK || status == HttpServletResponse.SC_INTERNAL_SERVER_ERROR) { // 反序列化结果 ObjectMapperImpl mapper = new ObjectMapperImpl(); return mapper.readValue(content, new TypeReference<PageResponse<UIMUser>>() { }); } else { throw new Exception("错误的请求"); } } catch (Exception e) { e.printStackTrace(); } finally { method.releaseConnection(); } return null; } public static NameValuePair[] getPostParams(String objectName, Object obj) { List<NameValuePair> pairs = new ArrayList<NameValuePair>(); if (obj != null) { if (obj instanceof Map) { // 处理Map Map<?, ?> map = (Map<?, ?>) obj; for (Map.Entry<?, ?> entry : map.entrySet()) { Object key = entry.getKey(); Object value = entry.getValue(); if (null != value) { pairs.addAll(Arrays.asList(getPostParams(objectName + "['" + key + "']", value))); } } } else if (obj instanceof Collection) { // 处理Collection Collection<?> col = (Collection<?>) obj; Iterator<?> it = col.iterator(); int index = 0; while (it.hasNext()) { Object value = it.next(); if (null != value) { pairs.addAll(Arrays.asList(getPostParams(objectName + "[" + index++ + "]", value))); } } } else if (!BeanUtils.isSimpleProperty(obj.getClass()) && !(obj instanceof Enum) && !Date.class.isAssignableFrom(obj.getClass())) { // 处理Bean BeanWrapperImpl bean = new BeanWrapperImpl(obj); PropertyDescriptor[] ps = bean.getPropertyDescriptors(); for (PropertyDescriptor p : ps) { if (!p.getName().equals("class")) { Object value = bean.getPropertyValue(p.getName()); if (null != value) { pairs.addAll(Arrays.asList(getPostParams(objectName + "." + p.getName(), value))); } } } } else { String str = obj.toString(); // 处理简单属性 // 日期格式使用ISO8601 if (obj instanceof Date) { str = DateFormatUtils.formatISO8601((Date) obj); } pairs.add(new NameValuePair(objectName, str)); } } return pairs.toArray(new NameValuePair[pairs.size()]); } ``` 现在不清楚使用c#怎么传递第一个参数。 我自己写的代码: ``` using (WebClient client = new WebClient()) { //SyncOrgDAL dal = new SyncOrgDAL(); // List<CommonCondition> conditions = new List<CommonCondition>(); //CommonCondition c = new CommonCondition(); //c.setName("userType"); //c.setDataType(DataType.String); //c.setCriteriaType(CriteriaType.Equals); //c.setValue("User1"); //conditions.Add(c); NameValueCollection postParams = new NameValueCollection { { "conditions", "[\"conditions\":{\"UserName\":\"Exp\",\"userType\":\"Exp\"}]" }, { "page", page.ToString() }, { "rows", pagesize.ToString() } }; //NameValueCollection postParams = new NameValueCollection { { "fromId", "302264246" }, { "toId", "99999999999" } }; string passString = Parameters.GetOpenApiParams(account, passWord, null, null, null, null, "zh_CN", postParams); //passString += "&userType=EMP"; url += passString; client.Headers.Add("Content-Type", "application/x-www-form-urlencoded"); client.Headers.Add("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"); client.Headers.Add("X-Requested-With", "OpenAPIRequest"); client.Headers.Add("User-Agent", "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0"); try { byte[] rDownData = client.UploadValues(url, "POST", postParams); var downString = Encoding.UTF8.GetString(rDownData) ?? ""; return downString; } catch (Exception ex) { return ex.ToString(); } finally { client.Dispose(); GC.Collect(); } ``` NameValueCollection postParams = new NameValueCollection { { "conditions", "[\"conditions\":{\"UserName\":\"Exp\",\"userType\":\"Exp\"}]" }, { "page", page.ToString() }, { "rows", pagesize.ToString() } }; 第一个参数什么格式。
使用CXF发布Rest服务 出现read time out错误
CXF版本:2.3.0 现象:偶尔出现连接超时,但不是必现,不知道是否有高手遇到过类似的错误 部分异常信息: ``` [1127 10:55:38 480 WARN ] [http-bio-9095-exec-9] cxf.phase.PhaseInterceptorChain - Interceptor for {http://localhost:9091/test/ws}WebClient has thrown exception, unwinding now org.apache.cxf.interceptor.Fault: Could not send Message. at org.apache.cxf.interceptor.MessageSenderInterceptor$MessageSenderEndingInterceptor.handleMessage(MessageSenderInterceptor.java:64) at org.apache.cxf.phase.PhaseInterceptorChain.doIntercept(PhaseInterceptorChain.java:247) at org.apache.cxf.jaxrs.client.WebClient.doChainedInvocation(WebClient.java:616) at org.apache.cxf.jaxrs.client.WebClient.doInvoke(WebClient.java:596) at org.apache.cxf.jaxrs.client.WebClient.invoke(WebClient.java:324) at org.apache.cxf.jaxrs.client.WebClient.post(WebClient.java:360) at com.neusoft.acorn.apps.terminal.application.internal.ExamEndSignServiceImpl.saveExamEndSignInfo(ExamEndSignServiceImpl.java:34) at com.neusoft.acorn.protocol.terminal.ExamEndSignSubmitData.saveExamEndSignInfo(ExamEndSignSubmitData.java:1208) at com.neusoft.acorn.protocol.terminal.FunctionSubmitALLCheckData.getReturnXmlValue(FunctionSubmitALLCheckData.java:102) at com.neusoft.acorn.protocol.terminal.TRMDataExchange.dmClient(TRMDataExchange.java:150) at com.neusoft.acorn.protocol.terminal.TRMDataExchange.doGetPost(TRMDataExchange.java:86) at com.neusoft.acorn.protocol.terminal.TRMDataExchange.doPost(TRMDataExchange.java:67) at javax.servlet.http.HttpServlet.service(HttpServlet.java:650) at javax.servlet.http.HttpServlet.service(HttpServlet.java:731) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:303) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) at org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:88) at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:76) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:241) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:208) at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:219) at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:110) at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:494) at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:169) at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:104) at org.apache.catalina.valves.AccessLogValve.invoke(AccessLogValve.java:1025) at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:116) at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:445) at org.apache.coyote.http11.AbstractHttp11Processor.process(AbstractHttp11Processor.java:1136) at org.apache.coyote.AbstractProtocol$AbstractConnectionHandler.process(AbstractProtocol.java:637) at org.apache.tomcat.util.net.JIoEndpoint$SocketProcessor.run(JIoEndpoint.java:316) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61) at java.lang.Thread.run(Thread.java:745) Caused by: java.net.SocketTimeoutException: SocketTimeoutException invoking http://localhost:9091/test/ws/dailyTestAssemble/putExamEndSign.xml: Read timed out at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:526) at org.apache.cxf.transport.http.HTTPConduit$WrappedOutputStream.mapException(HTTPConduit.java:1995) at org.apache.cxf.transport.http.HTTPConduit$WrappedOutputStream.close(HTTPConduit.java:1980) at org.apache.cxf.transport.AbstractConduit.close(AbstractConduit.java:56) at org.apache.cxf.transport.http.HTTPConduit.close(HTTPConduit.java:662) at org.apache.cxf.interceptor.MessageSenderInterceptor$MessageSenderEndingInterceptor.handleMessage(MessageSenderInterceptor.java:62) ... 37 more Caused by: java.net.SocketTimeoutException: Read timed out at java.net.SocketInputStream.socketRead0(Native Method) at java.net.SocketInputStream.read(SocketInputStream.java:152) at java.net.SocketInputStream.read(SocketInputStream.java:122) at java.io.BufferedInputStream.fill(BufferedInputStream.java:235) at java.io.BufferedInputStream.read1(BufferedInputStream.java:275) at java.io.BufferedInputStream.read(BufferedInputStream.java:334) at sun.net.www.http.HttpClient.parseHTTPHeader(HttpClient.java:690) at sun.net.www.http.HttpClient.parseHTTP(HttpClient.java:633) at sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1324) at java.net.HttpURLConnection.getResponseCode(HttpURLConnection.java:468) at org.apache.cxf.transport.http.HTTPConduit$WrappedOutputStream.handleResponseInternal(HTTPConduit.java:2102) at org.apache.cxf.transport.http.HTTPConduit$WrappedOutputStream.handleResponse(HTTPConduit.java:2071) at org.apache.cxf.transport.http.HTTPConduit$WrappedOutputStream.close(HTTPConduit.java:1925) ... 40 more ```
使用HtmlUnit 选中点击后弹出来的小窗空里的某一项
![图片说明](https://img-ask.csdn.net/upload/201908/01/1564641459_609548.png) 自己写的代码实现不 : public static void main(String[] args) throws Exception { String baseUrl = "https://www.amazon.com/Crayola-Crayons-Assorted-Toddler-16Count/dp/B07L6VQDSC/ref=br_asw_pdt-5?pf_rd_m=ATVPDKIKX0DER&pf_rd_s=&pf_rd_r=AVBEXB73DT8S9TDFXAEJ&pf_rd_t=36701&pf_rd_p=35b30473-3e76-4fb0-bbe5-6c819fe05b28&pf_rd_i=desktop"; WebClient webClient = new WebClient(); webClient.addRequestHeader("user-agent", "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Mobile Safari/537.36"); webClient.getOptions().setUseInsecureSSL(true); webClient.getCookieManager().setCookiesEnabled(true);//开启cookie管理 webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setCssEnabled(false); webClient.setJavaScriptTimeout(5000); //设置不自动重定向 // webClient.getOptions().setRedirectEnabled(false); //设置出现302重定向不会报错 // webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.getOptions().setDoNotTrackEnabled(false); //执行请求 HtmlPage page = webClient.getPage(baseUrl); webClient.waitForBackgroundJavaScript(5*1000); DomNodeList<DomElement> input2 = page.getElementsByTagName("input"); // //获取指点标签 HtmlSubmitInput submitInput = null; for (DomElement domElement : input2) { if (domElement.getAttribute("title").equals("Add to Shopping Cart")) { submitInput = (HtmlSubmitInput) domElement; } } HtmlPage page1 = submitInput.click(); //设置下拉框数量 HtmlSelect quantity = page1.getElementByName("quantity"); HtmlOption option = quantity.getOption(5); option.click(); //下拉框下的商品数量(还是不能改变数量) // DomNodeList<DomElement> span = page1.getElementsByTagName("span"); // HtmlElement htmlElement=null; // for (DomElement domElement : span) { // if (domElement.getAttribute("data-a-class").equals("quantity")) { // htmlElement= (HtmlElement) domElement; // } // } // if (htmlElement!=null) { // HtmlPage page2 = htmlElement.click(); // } DomNodeList<DomElement> span1 = page1.getElementsByTagName("span"); HtmlElement htmlElement1= null; for (DomElement domElement : span1) { if (domElement.getAttribute("class").equals("a-button-text a-declarative")) { htmlElement1= (HtmlElement) domElement; } } if (htmlElement1!=null) { HtmlPage page2 = htmlElement1.click(); String contentAsString = page2.getWebResponse().getContentAsString(); System.out.println("打"+contentAsString); } } }
求大神把这段代码完成的功能用asp代码写出来
protected void Button1_Click(object sender, System.EventArgs e) { XmlDocument doc = new XmlDocument(); String Account = TextBox1.Text.ToString(); String Password = TextBox2.Text.ToString(); String url = "http://3tong.net/http/sms/Submit"; String Phone = TextBox3.Text.ToString(); String sendtime = TextBox4.Text.ToString(); String sign = TextBox5.Text.ToString(); String subcode = TextBox6.Text.ToString(); String Content = TextBox8.Text.ToString(); String msgid = TextBox7.Text.ToString(); String message = DocXml(Account,Password,msgid,Phone,Content,subcode,sendtime,sign); WebClient webClient = new WebClient(); NameValueCollection postValues = new NameValueCollection(); postValues.Add("message", message); //向服务器发送POST数据 byte[] responseArray = webClient.UploadValues(url, postValues); TextBox9.Text = Encoding.UTF8.GetString(responseArray); }
htmlunit 如何监听来自页面的alert 请说的详细些
package com.hommsun.util; import java.io.IOException; import java.net.MalformedURLException; import java.util.ArrayList; import java.util.Collections; import java.util.List; import org.springframework.util.Assert; import com.gargoylesoftware.htmlunit.AlertHandler; import com.gargoylesoftware.htmlunit.BrowserVersion; import com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException; import com.gargoylesoftware.htmlunit.Page; import com.gargoylesoftware.htmlunit.WebClient; import com.gargoylesoftware.htmlunit.html.HtmlPage; public class weizai implements AlertHandler { public static void main(String[] args) throws FailingHttpStatusCodeException, MalformedURLException, IOException { WebClient webClient = new WebClient(BrowserVersion.INTERNET_EXPLORER); webClient.getCookieManager().setCookiesEnabled(true);// 开启cookie管理 webClient.getOptions().setTimeout(90000); webClient.getOptions().setCssEnabled(true); webClient.getOptions().setJavaScriptEnabled(true); webClient.setJavaScriptTimeout(40000); webClient.getOptions().setRedirectEnabled(true); webClient.getOptions().setThrowExceptionOnScriptError(false); HtmlPage page= webClient.getPage("http://192.168.1.108/"); } @Override public void handleAlert(Page arg0, String arg1) { } } 以上的连接是我些的测试页面 会直接弹出 alert 控制台也会输出 10:35:52.651 [main] WARN com.gargoylesoftware.htmlunit.javascript.host.Window - window.alert("asdsa") no alert handler installed 我想拿到提示 然后 给页面显示
webClient模拟登录网站报错
十月 06, 2016 8:42:18 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:18 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:18 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:18 下午 com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController processSynchron 信息: Re-synchronized call to http://172.16.51.37/notice_listJSON.html 十月 06, 2016 8:42:18 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:19 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:19 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:19 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:19 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:19 下午 com.gargoylesoftware.htmlunit.IncorrectnessListenerImpl notify 警告: Obsolete content type encountered: 'text/javascript'. 十月 06, 2016 8:42:19 下午 com.gargoylesoftware.htmlunit.javascript.StrictErrorReporter error 严重: error: message=[missing { before function body] sourceName=[script in http://172.16.51.37/home_welcome.html from (85, 36) to (106, 10)] line=[87] lineSource=[ function initArray()...{ ] lineOffset=[26] 十月 06, 2016 8:42:19 下午 com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine handleJavaScriptException 信息: Caught script exception ======= EXCEPTION START ======== Exception class=[net.sourceforge.htmlunit.corejs.javascript.EvaluatorException] com.gargoylesoftware.htmlunit.ScriptException: missing { before function body (script in http://172.16.51.37/home_welcome.html from (85, 36) to (106, 10)#87) at com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine$HtmlUnitContextAction.run(JavaScriptEngine.java:921) at net.sourceforge.htmlunit.corejs.javascript.Context.call(Context.java:628) at net.sourceforge.htmlunit.corejs.javascript.ContextFactory.call(ContextFactory.java:515) at com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine.compile(JavaScriptEngine.java:746) at com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine.compile(JavaScriptEngine.java:711) at com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine.execute(JavaScriptEngine.java:763) at com.gargoylesoftware.htmlunit.html.HtmlPage.executeJavaScriptIfPossible(HtmlPage.java:904) at com.gargoylesoftware.htmlunit.html.HtmlScript.executeInlineScriptIfNeeded(HtmlScript.java:307) at com.gargoylesoftware.htmlunit.html.HtmlScript.executeScriptIfNeeded(HtmlScript.java:368) at com.gargoylesoftware.htmlunit.html.HtmlScript$2.execute(HtmlScript.java:238) at com.gargoylesoftware.htmlunit.html.HtmlScript.onAllChildrenAddedToPage(HtmlScript.java:257) at com.gargoylesoftware.htmlunit.html.HTMLParser$HtmlUnitDOMBuilder.endElement(HTMLParser.java:772) at org.apache.xerces.parsers.AbstractSAXParser.endElement(Unknown Source) at com.gargoylesoftware.htmlunit.html.HTMLParser$HtmlUnitDOMBuilder.endElement(HTMLParser.java:729) at net.sourceforge.htmlunit.cyberneko.HTMLTagBalancer.callEndElement(HTMLTagBalancer.java:1209) at net.sourceforge.htmlunit.cyberneko.HTMLTagBalancer.endElement(HTMLTagBalancer.java:1111) at net.sourceforge.htmlunit.cyberneko.filters.DefaultFilter.endElement(DefaultFilter.java:207) at net.sourceforge.htmlunit.cyberneko.filters.NamespaceBinder.endElement(NamespaceBinder.java:337) at net.sourceforge.htmlunit.cyberneko.HTMLScanner$ContentScanner.scanEndElement(HTMLScanner.java:3137) at net.sourceforge.htmlunit.cyberneko.HTMLScanner$ContentScanner.scan(HTMLScanner.java:2100) at net.sourceforge.htmlunit.cyberneko.HTMLScanner.scanDocument(HTMLScanner.java:927) at net.sourceforge.htmlunit.cyberneko.HTMLConfiguration.parse(HTMLConfiguration.java:506) at net.sourceforge.htmlunit.cyberneko.HTMLConfiguration.parse(HTMLConfiguration.java:459) at org.apache.xerces.parsers.XMLParser.parse(Unknown Source) at com.gargoylesoftware.htmlunit.html.HTMLParser$HtmlUnitDOMBuilder.parse(HTMLParser.java:979) at com.gargoylesoftware.htmlunit.html.HTMLParser.parse(HTMLParser.java:241) at com.gargoylesoftware.htmlunit.html.HTMLParser.parseHtml(HTMLParser.java:187) at com.gargoylesoftware.htmlunit.DefaultPageCreator.createHtmlPage(DefaultPageCreator.java:269) at com.gargoylesoftware.htmlunit.DefaultPageCreator.createPage(DefaultPageCreator.java:157) at com.gargoylesoftware.htmlunit.WebClient.loadWebResponseInto(WebClient.java:512) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:386) at com.gargoylesoftware.htmlunit.WebClient.getPage(WebClient.java:304) at com.gargoylesoftware.htmlunit.html.BaseFrameElement.loadInnerPageIfPossible(BaseFrameElement.java:184) at com.gargoylesoftware.htmlunit.html.BaseFrameElement.loadInnerPage(BaseFrameElement.java:122) at com.gargoylesoftware.htmlunit.html.HtmlPage.loadFrames(HtmlPage.java:1818) at com.gargoylesoftware.htmlunit.html.HtmlPage.initialize(HtmlPage.java:226) at com.gargoylesoftware.htmlunit.WebClient.loadWebResponseInto(WebClient.java:519) at com.gargoylesoftware.htmlunit.WebClient.loadDownloadedResponses(WebClient.java:2147) at com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine.doProcessPostponedActions(JavaScriptEngine.java:946) at com.gargoylesoftware.htmlunit.javascript.JavaScriptEngine.processPostponedActions(JavaScriptEngine.java:1033) at com.gargoylesoftware.htmlunit.html.DomElement.click(DomElement.java:806) at com.gargoylesoftware.htmlunit.html.DomElement.click(DomElement.java:749) at com.gargoylesoftware.htmlunit.html.DomElement.click(DomElement.java:696) at TestC.main(TestC.java:45)
C#调用api接口返回json中错误信息一直是服务器繁忙
``` /// <summary> /// Interface类 /// </summary> public string Postdata(string postString, string url) { byte[] postData = Encoding.UTF8.GetBytes(postString); WebClient webClient = new WebClient(); webClient.Headers.Add("Content-Type", "application/x-www-form-urlencoded"); byte[] responseData = webClient.UploadData(url, "post", postData); string srcString = Encoding.UTF8.GetString(responseData); return srcString; } //HomeController public ActionResult login(string Name, string Pwd, int type) { Interface inter = new Interface(); string hr = string.Format("Username ={0}&Password ={1}&JgRegistrationId={2}", Name, pwd, ""); var data = inter.Postdata(hr, "http://120.25.203.82:88/api/Session/Login"); } ``` ![图片说明](https://img-ask.csdn.net/upload/201611/07/1478498726_92164.png) ``` json的错误信息一直都是服务器繁忙 //服务器api Response Class (Status 200) OK ModelModel Schema xk.bohou.aomulaite.app.api.model.ResponseModel[xk.bohou.aomulaite.app.api.model.response.LoginModel] { ErrCode (string, optional): 错误信息 , Source (xk.bohou.aomulaite.app.api.model.response.LoginModel, optional): 数据 , ResultCode (string, optional): 结果状态:0成功、1失败 } ```
htmlunit模拟登录 验证码错误
使用htmlunit模拟登录的时候 ,首先穿创建了一个webclient 用webclient请求登录页面,同事请求解析验证码,验证码解析正确,然后开始登录系统,一直提示验证码错误。 WebClient webClient = new WebClient(BrowserVersion.INTERNET_EXPLORER_11); webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setCssEnabled(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient .getOptions().setUseInsecureSSL(true); WebWindow webWindow = webClient.getCurrentWindow(); WebRequest request1 = new WebRequest(new URL("http://rd2.zhaopin.com/s/loginmgr/login.asp")); HtmlPage htmlPage = webClient.getPage(webWindow,request1); String name = htmlPage.getWebClient().getWebWindows().get(0).getName(); System.out.println(name); //第三步 获取界面元素 HtmlInput userName = htmlPage.getHtmlElementById("LoginName"); HtmlInput password = htmlPage.getHtmlElementById("Password"); HtmlInput checkCode = htmlPage.getHtmlElementById("CheckCode"); HtmlInput btn = htmlPage.getHtmlElementById("login"); WebRequest request = new WebRequest(new URL("https://passport.zhaopin.com/checkcode/imgrd")); UnexpectedPage imagePage = webClient.getPage(webWindow,request); InputStream in = imagePage.getWebResponse().getContentAsStream(); File storeFile = new File("D:/zlzp.png"); BufferedOutputStream output = new BufferedOutputStream(new FileOutputStream(storeFile)); byte[] buf = new byte[2048]; int length = in.read(buf); while (length != -1) { output.write(buf, 0, length); length = in.read(buf); } in.close(); output.close(); String valCode = new OCR().recognizeText(new File("D:\\zlzp.png"), "png"); System.out.println(valCode); userName.setAttribute("value", ""); password.setAttribute("value", ""); checkCode.setAttribute("value", valCode); HtmlPage page2 = btn.click(); System.out.println("\n\n\n"); System.out.println(page2.asText());
htmlunit的问题 大牛进
由于公司需求,需要做一个模拟登录招商银行查询银行流水。 地址:https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/LoginOLD.aspx 我一开始尝试模拟表单,控件可以加载,但是密码无法输入。 所以准备换方式。换成POST提交方式 地址:https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/LoginOLD.aspx 但是可能因为某些参数影响了,导致一直提示: 由于您长时间未操作本功能,系统已自动关闭本功能,请重新操作#1 以下是本人代码 WebClient webClient = new WebClient(); webClient.getOptions().setUseInsecureSSL(true); webClient.getCookieManager().setCookiesEnabled(true);// 开启cookie管理 webClient.getOptions().setTimeout(90000); webClient.getOptions().setCssEnabled(true); webClient.getOptions().setJavaScriptEnabled(true); webClient.setJavaScriptTimeout(40000); webClient.getOptions().setRedirectEnabled(true); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); WebRequest webRequest=new WebRequest(new URL("https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/GenUniLogin.aspx")); List<NameValuePair> List=new ArrayList<NameValuePair>(); List.add(new NameValuePair("ClientNo","4266F7C76935130C21C10F17D74C9E59424556816224276600032831")); //List.add(new NameValuePair("ExtraPwd","1231")); List.add(new NameValuePair("CreditCardVersion","2.0")); List.add(new NameValuePair("BranchNo","0028")); List.add(new NameValuePair("AccountNo","11")); List.add(new NameValuePair("Password","undefined")); List.add(new NameValuePair("HardStamp","4266F7C76935130C21C10F17D74C9E59424556816224276600032831")); List.add(new NameValuePair("Licex", "Ajg1QzI1REJERjU2NzcyMzM4MzMwMTc0Nzk0RTFFNEZEMDE5OTc5NjYwMDM2MTk4OTkwMDAxNzAwMwAAAAAAAABNWSx6LuvvW6CsBXlP8xJ*vVTBq8fSvK9PV4fbZ3Mh*rLchioqmgYeJroAn5WfPG9k0wpi*3-zPp4jdFapx63wyOZCPC---tOfcIDDE2xNNB9Ck6wMNS5l*IqwOQzc6MiwBmv2VySz**CGbvectO-*r9BdDoAF9z2ZjX6R6T9ZL-MaKD1RCgRLtbsneuw1Nr8F7ORkEWrWRFVHmT2Bw0CsEUTQKiGSJ4fYaU2gtirJl0EEkfCbShkoPCYgJ9TmK4MT1NsrEo917nK3Jsb3uHwDcd7Iiemoze0wvVwJmHaueLYKgVZRlhfpcDtYIFjc5QNU*rQj8epLEkASqChNLBSSj97aE5GUOw8S3B6igOMBRotwYTTDkTZ-GJH9Wy2-Q9gLXQbVHGDTnfzTXek4Eiqxwq-47a0gDHILl0x9AA__")); webRequest.setHttpMethod(HttpMethod.POST); webRequest.setRequestParameters(List); //webRequest.setAdditionalHeader("asd", "asd"); webClient.addRequestHeader("Content-Type","application/x-www-form-urlencoded"); webClient.addRequestHeader("Referer","https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/Login.aspx"); webClient.addRequestHeader("Origin","https://pbsz.ebank.cmbchina.com"); webClient.addRequestHeader("User-Agent","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.1 Safari/603.1.30"); Set<Cookie> cookies = webClient.getCookieManager().getCookies();; for (Cookie c : cookies) { webClient.getCookieManager().addCookie(c); } http://ask.csdn.net/?ref=toolbar# HtmlPage page= webClient.getPage(webRequest); System.out.println(page.asXml());
htmlunit模拟表单的问题 大牛进 谢谢啦
由于公司需求,需要做一个模拟登录招商银行查询银行流水。 地址:https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/LoginOLD.aspx 我一开始尝试模拟表单,控件可以加载,但是密码无法输入。 所以准备换方式。换成POST提交方式 地址:https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/LoginOLD.aspx 但是可能因为某些参数影响了,导致一直提示: 由于您长时间未操作本功能,系统已自动关闭本功能,请重新操作#1 以下是本人代码 WebClient webClient = new WebClient(); webClient.getOptions().setUseInsecureSSL(true); webClient.getCookieManager().setCookiesEnabled(true);// 开启cookie管理 webClient.getOptions().setTimeout(90000); webClient.getOptions().setCssEnabled(true); webClient.getOptions().setJavaScriptEnabled(true); webClient.setJavaScriptTimeout(40000); webClient.getOptions().setRedirectEnabled(true); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); WebRequest webRequest=new WebRequest(new URL("https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/GenUniLogin.aspx")); List<NameValuePair> List=new ArrayList<NameValuePair>(); List.add(new NameValuePair("ClientNo","4266F7C76935130C21C10F17D74C9E59424556816224276600032831")); //List.add(new NameValuePair("ExtraPwd","1231")); List.add(new NameValuePair("CreditCardVersion","2.0")); List.add(new NameValuePair("BranchNo","0028")); List.add(new NameValuePair("AccountNo","11")); List.add(new NameValuePair("Password","undefined")); List.add(new NameValuePair("HardStamp","4266F7C76935130C21C10F17D74C9E59424556816224276600032831")); List.add(new NameValuePair("Licex", "Ajg1QzI1REJERjU2NzcyMzM4MzMwMTc0Nzk0RTFFNEZEMDE5OTc5NjYwMDM2MTk4OTkwMDAxNzAwMwAAAAAAAABNWSx6LuvvW6CsBXlP8xJ*vVTBq8fSvK9PV4fbZ3Mh*rLchioqmgYeJroAn5WfPG9k0wpi*3-zPp4jdFapx63wyOZCPC---tOfcIDDE2xNNB9Ck6wMNS5l*IqwOQzc6MiwBmv2VySz**CGbvectO-*r9BdDoAF9z2ZjX6R6T9ZL-MaKD1RCgRLtbsneuw1Nr8F7ORkEWrWRFVHmT2Bw0CsEUTQKiGSJ4fYaU2gtirJl0EEkfCbShkoPCYgJ9TmK4MT1NsrEo917nK3Jsb3uHwDcd7Iiemoze0wvVwJmHaueLYKgVZRlhfpcDtYIFjc5QNU*rQj8epLEkASqChNLBSSj97aE5GUOw8S3B6igOMBRotwYTTDkTZ-GJH9Wy2-Q9gLXQbVHGDTnfzTXek4Eiqxwq-47a0gDHILl0x9AA__")); webRequest.setHttpMethod(HttpMethod.POST); webRequest.setRequestParameters(List); //webRequest.setAdditionalHeader("asd", "asd"); webClient.addRequestHeader("Content-Type","application/x-www-form-urlencoded"); webClient.addRequestHeader("Referer","https://pbsz.ebank.cmbchina.com/CmbBank_GenShell/UI/GenShellPC/Login/Login.aspx"); webClient.addRequestHeader("Origin","https://pbsz.ebank.cmbchina.com"); webClient.addRequestHeader("User-Agent","Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.1 Safari/603.1.30"); Set<Cookie> cookies = webClient.getCookieManager().getCookies();; for (Cookie c : cookies) { webClient.getCookieManager().addCookie(c); } http://ask.csdn.net/?ref=toolbar# HtmlPage page= webClient.getPage(webRequest); System.out.println(page.asXml());
MapReduce中执行HTMLUnit 报nosuchfielderror:INSTANCE
public static class CrawlReducer extends TableReducer<Text, IntWritable, NullWritable>{ private String url = ""; @Override protected void reduce(Text key, Iterable<IntWritable> value, Context context) throws IOException, InterruptedException{ this.url = key.toString(); final WebClient webClient = new WebClient(BrowserVersion.CHROME); webClient.getOptions().setCssEnabled(false); webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setThrowExceptionOnScriptError(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); webClient.getOptions().setTimeout(5000); HtmlPage page = null; try { page = webClient.getPage(url);//运行到这句就出错 } catch (FailingHttpStatusCodeException e1) { e1.printStackTrace(); } catch (MalformedURLException e1) { e1.printStackTrace(); } catch (IOException e1) { e1.printStackTrace(); } String s = page.getPage().asXml(); // Put 实例化,每个词存一行 Put put = new Put(Bytes.toBytes(url)); // 列族为 content,列修饰符为 count,列值为数目 put.add(Bytes.toBytes("content"), Bytes.toBytes("html"), Bytes.toBytes(s)); context.write(NullWritable.get(), put); } 这是Map从Hbase读URL,在reduce里面解析网页过程。运行到getPage就结束了。没币鸟,求大神解脱,好人一生平安
爬虫福利二 之 妹子图网MM批量下载
爬虫福利一:27报网MM批量下载    点击 看了本文,相信大家对爬虫一定会产生强烈的兴趣,激励自己去学习爬虫,在这里提前祝:大家学有所成! 目标网站:妹子图网 环境:Python3.x 相关第三方模块:requests、beautifulsoup4 Re:各位在测试时只需要将代码里的变量 path 指定为你当前系统要保存的路径,使用 python xxx.py 或IDE运行即可。
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、PDF搜索网站推荐 对于大部
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 顺便拉下票,我在参加csdn博客之星竞选,欢迎投票支持,每个QQ或者微信每天都可以投5票,扫二维码即可,http://m234140.nofollow.ax.
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入  假设现有4个人
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 欢迎 改进 留言。 演示地点跳到演示地点 html代码如下`&lt;!DOCTYPE html&gt; &lt;html&gt; &lt;head&gt; &lt;title&gt;music&lt;/title&gt; &lt;meta charset="utf-8"&gt
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。 1. for - else 什么?不是 if 和 else 才
数据库优化 - SQL优化
前面一篇文章从实例的角度进行数据库优化,通过配置一些参数让数据库性能达到最优。但是一些“不好”的SQL也会导致数据库查询变慢,影响业务流程。本文从SQL角度进行数据库优化,提升SQL运行效率。 判断问题SQL 判断SQL是否有问题时可以通过两个表象进行判断: 系统级别表象 CPU消耗严重 IO等待严重 页面响应时间过长
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 c/c++ 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7
通俗易懂地给女朋友讲:线程池的内部原理
餐厅的约会 餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”我楞了一下,心里想女朋友今天是怎么了,怎么突然问出这么专业的问题,但做为一个专业人士在女朋友面前也不能露怯啊,想了一下便说:“我先给你讲讲我前同事老王的故事吧!” 大龄程序员老王 老王是一个已经北漂十多年的程序员,岁数大了,加班加不动了,升迁也无望,于是拿着手里
经典算法(5)杨辉三角
写在前面: 我是 扬帆向海,这个昵称来源于我的名字以及女朋友的名字。我热爱技术、热爱开源、热爱编程。技术是开源的、知识是共享的。 这博客是对自己学习的一点点总结及记录,如果您对 Java、算法 感兴趣,可以关注我的动态,我们一起学习。 用知识改变命运,让我们的家人过上更好的生活。 目录一、杨辉三角的介绍二、杨辉三角的算法思想三、代码实现1.第一种写法2.第二种写法 一、杨辉三角的介绍 百度
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹
面试官:你连RESTful都不知道我怎么敢要你?
面试官:了解RESTful吗? 我:听说过。 面试官:那什么是RESTful? 我:就是用起来很规范,挺好的 面试官:是RESTful挺好的,还是自我感觉挺好的 我:都挺好的。 面试官:… 把门关上。 我:… 要干嘛?先关上再说。 面试官:我说出去把门关上。 我:what ?,夺门而去 文章目录01 前言02 RESTful的来源03 RESTful6大原则1. C-S架构2. 无状态3.统一的接
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看
SQL-小白最佳入门sql查询一
一 说明 如果是初学者,建议去网上寻找安装Mysql的文章安装,以及使用navicat连接数据库,以后的示例基本是使用mysql数据库管理系统; 二 准备前提 需要建立一张学生表,列分别是id,名称,年龄,学生信息;本示例中文章篇幅原因SQL注释略; 建表语句: CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // dosho
【图解经典算法题】如何用一行代码解决约瑟夫环问题
约瑟夫环问题算是很经典的题了,估计大家都听说过,然后我就在一次笔试中遇到了,下面我就用 3 种方法来详细讲解一下这道题,最后一种方法学了之后保证让你可以让你装逼。 问题描述:编号为 1-N 的 N 个士兵围坐在一起形成一个圆圈,从编号为 1 的士兵开始依次报数(1,2,3…这样依次报),数到 m 的 士兵会被杀死出列,之后的士兵再从 1 开始报数。直到最后剩下一士兵,求这个士兵的编号。 1、方
致 Python 初学者
文章目录1. 前言2. 明确学习目标,不急于求成,不好高骛远3. 在开始学习 Python 之前,你需要做一些准备2.1 Python 的各种发行版2.2 安装 Python2.3 选择一款趁手的开发工具3. 习惯使用IDLE,这是学习python最好的方式4. 严格遵从编码规范5. 代码的运行、调试5. 模块管理5.1 同时安装了py2/py35.2 使用Anaconda,或者通过IDE来安装模
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,
程序员:我终于知道post和get的区别
IT界知名的程序员曾说:对于那些月薪三万以下,自称IT工程师的码农们,其实我们从来没有把他们归为我们IT工程师的队伍。他们虽然总是以IT工程师自居,但只是他们一厢情愿罢了。 此话一出,不知激起了多少(码农)程序员的愤怒,却又无可奈何,于是码农问程序员。 码农:你知道get和post请求到底有什么区别? 程序员:你看这篇就知道了。 码农:你月薪三万了? 程序员:嗯。 码农:你是怎么做到的? 程序员:
《程序人生》系列-这个程序员只用了20行代码就拿了冠军
你知道的越多,你不知道的越多 点赞再看,养成习惯GitHub上已经开源https://github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 前言 这一期不算《吊打面试官》系列的,所有没前言我直接开始。 絮叨 本来应该是没有这期的,看过我上期的小伙伴应该是知道的嘛,双十一比较忙嘛,要值班又要去帮忙拍摄年会的视频素材,还得搞个程序员一天的Vlog,还要写BU
加快推动区块链技术和产业创新发展,2019可信区块链峰会在京召开
      11月8日,由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办,科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。   区块链技术被认为是继蒸汽机、电力、互联网之后,下一代颠覆性的核心技术。如果说蒸汽机释放了人类的生产力,电力解决了人类基本的生活需求,互联网彻底改变了信息传递的方式,区块链作为构造信任的技术有重要的价值。   1
程序员把地府后台管理系统做出来了,还有3.0版本!12月7号最新消息:已在开发中有github地址
第一幕:缘起 听说阎王爷要做个生死簿后台管理系统,我们派去了一个程序员…… 996程序员做的梦: 第一场:团队招募 为了应对地府管理危机,阎王打算找“人”开发一套地府后台管理系统,于是就在地府总经办群中发了项目需求。 话说还是中国电信的信号好,地府都是满格,哈哈!!! 经常会有外行朋友问:看某网站做的不错,功能也简单,你帮忙做一下? 而这次,面对这样的需求,这个程序员
网易云6亿用户音乐推荐算法
网易云音乐是音乐爱好者的集聚地,云音乐推荐系统致力于通过 AI 算法的落地,实现用户千人千面的个性化推荐,为用户带来不一样的听歌体验。 本次分享重点介绍 AI 算法在音乐推荐中的应用实践,以及在算法落地过程中遇到的挑战和解决方案。 将从如下两个部分展开: AI 算法在音乐推荐中的应用 音乐场景下的 AI 思考 从 2013 年 4 月正式上线至今,网易云音乐平台持续提供着:乐屏社区、UGC
【技巧总结】位运算装逼指南
位算法的效率有多快我就不说,不信你可以去用 10 亿个数据模拟一下,今天给大家讲一讲位运算的一些经典例子。不过,最重要的不是看懂了这些例子就好,而是要在以后多去运用位运算这些技巧,当然,采用位运算,也是可以装逼的,不信,你往下看。我会从最简单的讲起,一道比一道难度递增,不过居然是讲技巧,那么也不会太难,相信你分分钟看懂。 判断奇偶数 判断一个数是基于还是偶数,相信很多人都做过,一般的做法的代码如下
日均350000亿接入量,腾讯TubeMQ性能超过Kafka
整理 | 夕颜出品 | AI科技大本营(ID:rgznai100) 【导读】近日,腾讯开源动作不断,相继开源了分布式消息中间件TubeMQ,基于最主流的 OpenJDK8开发的
8年经验面试官详解 Java 面试秘诀
    作者 | 胡书敏 责编 | 刘静 出品 | CSDN(ID:CSDNnews) 本人目前在一家知名外企担任架构师,而且最近八年来,在多家外企和互联网公司担任Java技术面试官,前后累计面试了有两三百位候选人。在本文里,就将结合本人的面试经验,针对Java初学者、Java初级开发和Java开发,给出若干准备简历和准备面试的建议。   Java程序员准备和投递简历的实
面试官如何考察你的思维方式?
1.两种思维方式在求职面试中,经常会考察这种问题:北京有多少量特斯拉汽车? 某胡同口的煎饼摊一年能卖出多少个煎饼? 深圳有多少个产品经理? 一辆公交车里能装下多少个乒乓球? 一
相关热词 c# 输入ip c# 乱码 报表 c#选择结构应用基本算法 c# 收到udp包后回包 c#oracle 头文件 c# 序列化对象 自定义 c# tcp 心跳 c# ice连接服务端 c# md5 解密 c# 文字导航控件
立即提问