Java_爬虫，如何抓取Js动态生成数据的页面？

很多网站是用js或Jquery 生成数据的，到后台获取到数据以后，用 document.write()或者("#id").html="" 的方式 写到页面中，这个时候用浏览器查看源码是看不到数据的。

python爬虫如何抓取包含JavaScript的网页中的信息

这里本科生一枚。。做本研要求抓取一些数据碰到了一些问题求指教> < 我想要抓取汽车之家上关于供应商的一些数据，然后在车型详情页里找到了关于供应商的框架源代码如下（只截取有用部分）： <script type="text/javascript"> //属性 document.domain = "autohome.com.cn"; var page=1; var parameters = { isPage:0, pageCount:0, kindId:-1, vId:23867, pId: 110000, cId: 110100, sId: 0, cityUrl: '/frame/cms/GetProvinceCityList?SpecId=23867&SeriesId=0&roid1=2', url: "/frame/spec/{vId}/{pId}/{cId}/{sId}/{orderType}/{pageIndex}/{pageSize}?isPage={isPage}&seriesId={seriesId}&source={source}&kindId={kindId}" , kindUrl:"/frame/cms/GetKindBySpec?specId={vId}&provinceId={pId}&cityId={cId}&countyId={sId}", panel:"#dealer-box", pageSize:5, pageIndex: 1, orderType :0, seriesId:66, source:"defalut" }; $("[name='orderBy']").click(function() { parameters.orderType = $(this).attr('data-order'); $("#orderCan .current").attr("class", "linkname"); $(this).attr("class", "linkname current"); //parameters.pageIndex = 1; var firstPage = $("#dealerListPager a[data=1]").eq(0); if (firstPage.length == 1) { firstPage.click(); } else { load(); } return false; }); seajs.config({version:"1460100712877"}); var $$; seajs.use(['jquery','pop'], function ($) { $$=$; }); $(function(){ jQuery("#orderCan a").each(function(){ if($(this).attr("data-order")==parameters.orderType) { $("#orderCan .current").attr("class","linkname"); $(this).attr("class","linkname current"); } }) }) </script> <script type="text/javascript" src="http://x.autoimg.cn/dealer/bbs/js/DealerArea20160413.js?t=2016041421"></script> 里面包含的信息应该怎么抓取呢？我是通过selenium来进入网页的框架，这些js应该怎么解析？我尝试着用前面的那些parameter凑出来URL，但是输入到浏览器中就会跳转到汽这个网站的首页，用urllib2打开的话会报错Error 10060，但是网什么的也都没有问题，是我的IP被封了还是需要一个什么特殊的代理？？ 本科期间只学过python的两门课，对java没什么了解，求帮助呀QAQ谢谢大家啦

Jquery Ajax提交数据时readyStatue为0的问题

``` ``` 代码其实很简单，$.ajax提交一个数据，但关键是有一个参数值为html字符串，该字符串为从页面上抓取过来，然后目的是保存到数据库 ，现在已经确定了是跟参数数据格式有关系，但是始终未找到数据到底哪儿有问题，麻烦大家看看。 先上js代码： var action = "SpecialSave"; var n = "aa"; var s = "001001,001002,001003,001004,001006,001005,001007,001013,001008,001014"; var e = "aa"; var d = "aa"; var t = "稍后补上该变量值"; $.ajax({ url: "NewSpecial.ashx", sync: true, data: "n=" + n + "&action=" + action + "&s=" + s + "&e=" + e + "&d=" + d + "&t=" + t, dataType: "json", type: "POST", success: function (data) { }, error: function (data) { } }); 问题的关键就在于t值，怎么都传不过去，麻烦大家看一下。

nodejs抓取正文时乱码和无用标签

正在学习用nodejs抓取新闻，但是在抓取正文这里卡住了。 输出时，输出了一堆乱码+各种标签…… 已解决乱码问题。求解如何去掉里面的无用标签？ > > 检查发现编码 > > > ``` > <meta charset="gb2312" /> > ``` > > > 求问怎么去掉里面的各种标签并且转换成UTF-8呢？ > 使用iconv-lite库来转码 > request({ > url: 'http://news.163.com/15/0405/09/AME6CKER0001124J.html', > // 重点，设置 request 抓取网页时不要对接收到的数据做任何转换 > encoding: null > }, function (err, res, body) { > if (err) throw err; > > // 转换 gbk 编码的网页内容 > body = iconv.decode(body, 'gbk'); > > > // 根据网页内容创建DOM操作对象 > var $ = cheerio.load(body); > nodejs库有：request、cheerio js代码： ``` // 读取新闻页面 request('http://news.163.com/15/0405/09/AME6CKER0001124J.html', function (err, res) { if (err) return callback(err); // 根据网页内容创建DOM操作对象 var $ = cheerio.load(res.body.toString()); // 获取正文内容 var content = $('.end-text').html().trim(); // 输出结果 console.log({content: content}); ``` 新闻正文html：http://news.163.com/15/0405/09/AME6CKER0001124J.html 希望各位朋友能帮我解解惑，谢谢！

怎么用js来获取网页元素，请求响应事件和返回数据大小

如图那样。。不要使用后台，直接用jq来抓取，可不可行？？领导说不能用后台语言来实现。。本来用C#做好了的，现在又要重新做过

爬虫：期望自动打开多个网页中标题包含aaa的网页链接，但始终不成功，求助！

1、需求：期望自动打开页码是1-10的网页中，标题包含aaa的网页链接； 2、目前打开一页是可以的，但是我希望自动执行多个页面； 3、请问我如何重复多次调用nightmare抓取从第1页到第10页的链接数据（即调用10次nightmare）？async和eventproxy都试了，没有成功，求助！ ``` 问题对人有帮助，内容完整，我也想知道答案0 问题没有实际价值，缺少关键内容，没有改进余地 1、需求：期望自动打开页码是1-10的网页中，标题包含aaa的网页链接； 2、目前打开一页是可以的，但是我希望自动执行多个页面； 3、请问我如何重复多次调用nightmare抓取从第1页到第10页的链接数据（即调用10次nightmare）？async和eventproxy都试了，没有成功，求助！ var c = require('child_process'); var request = require('request'); var cheerio = require('cheerio'); var path = require('path'); var fs = require('fs'); var Nightmare = require('nightmare'); var nightmare = Nightmare({}); // show: true var async = require('async'); var EventProxy = require('eventproxy'); var baseUrl = 'http://www.abc.cn'; var requrl = 'http://www.abc.cn/index.html?uid=123456&pageNum='; //1.先输入要访问的URL var startPage = 1; var endPage = 10; // how to fix the code ... function getPageUrls(page) { nightmare // 加载页面 .goto(requrl + page) // .type('#search_form_input_homepage', 'github nightmare') .inject('js', './js/jquery.min.js') // 点击刷新获得真实数据，不然仅通过链接并不会真实更新数据 .click('.default_pgRefresh') // 等待选择器加载完毕，可以用数值（表示等待时间，单位毫秒），必须！！！ .wait(6000) // 浏览器内页面执行，获得列表数据 .evaluate(function () { return document.querySelector('.default_pgContainer').innerHTML; // return document.querySelector('#zero_click_wrapper .c-info__title a').href; }) .end() .then(function (result) { // 重要：函数参数为evaluate的返回值！！！ acquireData(result); // 返回数据 }) .catch(function (error) { // console.error('Search failed:', error); }); } function acquireData(data) { var $ = cheerio.load(data); var tableData = $('li').toArray(); // console.log(tableData.length); // console.log(tableData); // li列表数据 let mainLength = tableData.length; var gg = 0, gs = 0; for (var i=0; i<mainLength; i++) { let tempData = tableData[i]; let title = tempData['children'][1].attribs.title; let detailUrl = tempData['children'][1].attribs.href; if (title.indexOf("aaa") > 0) { c.exec('start ' + baseUrl + detailUrl); console.log(baseUrl + detailUrl); } } } ```

easyUI tab.panel（{href:''}） 加载页面 js无法触发问题

要在 TabT 加入一个动态加载的页面 但是 content.jsp中的js 无法加载 ``` var tab = $("#TabT").tabs('getSelected'); var num = tab.panel('options').attributes.TableNumber; tab.panel({ href:'<%=basePath%>jsp/dataQuery/content.jsp?id='+pid+'&num='+num, }); content.jsp的页面代码 <%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%> <%@taglib uri="/WEB-INF/taglib.tld" prefix="view"%> <view:checkLogon /> <% String path = request.getContextPath(); String basePath = request.getScheme() + "://" + request.getServerName() + ":" + request.getServerPort() + path + "/"; String id = request.getParameter("id"); String num = request.getParameter("num"); %> <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1"> <title>图片加载页</title> <script type="text/javascript" src="<%=basePath%>js/jQuery/jquery-1.7.2.min.js"></script> <script type="text/javascript" src="<%=basePath%>js/jQuery/jquery.cookie.js"></script> <script type="text/javascript" src="<%=basePath%>js/jqueryEasyUI/jquery.easyui.min.js"></script> <script type="text/javascript" src="<%=basePath%>js/jqueryEasyUI/easyui-lang-zh_CN.js"></script> <link href="<%=basePath%>js/jqueryEasyUI/themes/gray/easyui.css" type="text/css" rel ="stylesheet"> <link href="<%=basePath%>css/cssreset-min.css" type="text/css" rel="stylesheet" /> <link href="<%=basePath%>css/style.css" type="text/css" rel="stylesheet" /> </head> <body> <script type="text/javascript"> window.onload=function(){ var id=（“<%=id%>”）; var num=（“<%=num%>”）; alert("此处断查看是否拿到信息") $.ajax({ url: '<%=basePath %>fdirms/downFtp', type : 'post', //数据发送方式 data:{ 'num' : num, 'id' : id }, async : false, success:function(data){ for(i=0;i<data.length;i++){ $("image").append("<dl style='margin-left:58.8333px'> <dt><img src='<%=basePath %>fdirms/showImage?id='"+data[i].ID +"'></dt><dd><a href=''>"+data[i].eFileName+"</a></dd></dl>" ); } } }); } </script> <div id="photo_box"> <div class="photo_list" id="image"> </div> </div> </body> </html> ``` 如果在div中直接写内容是可以抓取到的 但是动态加载 js是没法触发

【小白前端】如何提取iframe里的文本内容（PS：存在跨域）？

自己写的html然后里边有一个iframe引入地址是百度网的话，我想从百度网获取一点文本的话，能够实现吗，应该怎么做？ 同一个域名下的话，是可以实现的，但是这个不同，就遇到问题了，用jquery的话，获取不到内容；用test（）就会报错。 他的报错 _Uncaught DOMException: Blocked a frame with origin "http://127.0.0.99"from accessing a cross-origin frame. _ HTML代码 ``` <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <meta name="viewport" content="width=device-width"> <title>JS Bin</title> <script src="https://code.jquery.com/jquery-3.3.1.min.js"></script> <style> div.dd { width: 500px; height:500px; } iframe { width: 100%; height: 500px; background-color: rgba(0,0,0,0.1); } </style> </head> <body> <div class="input"> 内容：<input type="text" id="input" value="111"> <button class="btn btn-success" xonclick="test()">获取</button> <iframe id="iframea" name="iframe1" src="https://www.baidu.com/" frameborder="0"> </iframe> </div> </body> <script> $(function() { $('.btn').click(function() { // var $text = $("#iframea").contents().find(".mnav").text;//jquery 方法1 // var $text = $("#iframea").contents().find("#ccc").text; // alert($text) // $('#input').val($text); var word = $("#iframea").contents().find('#u1').text(); console.log(word) alert(word); }) }) function test() { // var a = document.getElementById("iframea").contentWindow.document.getElementById("u1").value; // var word = document.getElementById("iframea").contentWindow.document.getElementById("u1") // alert(word) } </script> </html> ``` 小生在此谢过各位看官和大神！！！ br br br 兜兜转转，问题还是没有完全解决，但相对于上周，有多知道了一点东西。 知道了如何用jsonp跨域获取数据；可是，最重要的一步是如何将百度网转换成jsonp形式呢？要把他转换成jsonp形式，才可以抓取。 首先是 http://127.0.0.1/za_soft/aaaa.html ``` <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-equiv="X-UA-Compatible" content="ie=edge"> <title>Document</title> <script src="https://code.jquery.com/jquery-3.3.1.min.js"></script> <!-- <script src="https://www.baidu.com/"></script> --> <script type="text/javascript"> $.ajax({ type: "get", async: false, url: "http://127.0.0.1:8800/zzzzz.js", dataType: "jsonp", jsonp: "callBack", // 传递给请求处理程序或页面的，用以获得jsonp回调函数名的参数名（一般认为：callback） jsonpCallback: 'flightHandler', // 自定义的jsonp回调函数名称，默认为jQuery自动生成的随机函数名，也可以写“？”，jQuery会自动为你处理数据 success: function(json) { alert('您查询到航班信息：票价：' + json.price + '$， 余票：' + json.tickets + '张。' + '航班：' + json.code); console.log($(this).html); }, error: function() { alert('失败！！！！'); } }) </script> </head> <body> 内容：<input type="text" id="input" value="111"> <button class="btn btn-success" onclick="test()">获取</button> <iframe id="iframea" name="iframe1" src="https://www.baidu.com/" frameborder="0"> </iframe> </body> </html> ``` 下边是http://127.0.0.1:8800/zzzzz.js ``` flightHandler({ "code": "CA1998", "price": 1780, "tickets": 5 }); ``` 我最终的目的是想要将 ajax里面的 url: "http://127.0.0.1:8800/zzzzz.js", 地址换成 url: "https://www.baidu.com/", 所以问题来了， 怎么样把百度网转换成一个jsonp形式的文件呢？ 求教求教啊。。。。。。

终于明白阿里百度这样的大公司，为什么面试经常拿ThreadLocal考验求职者了

点击上面↑「爱开发」关注我们每晚10点，捕获技术思考和创业资源洞察什么是ThreadLocalThreadLocal是一个本地线程副本变量工具类，各个线程都拥有一份线程私...

《奇巧淫技》系列-python！！每天早上八点自动发送天气预报邮件到QQ邮箱

将代码部署服务器，每日早上定时获取到天气数据，并发送到邮箱。 也可以说是一个小人工智障。 思路可以运用在不同地方，主要介绍的是思路。

面试官问我：什么是消息队列？什么场景需要他？用了会出现什么问题？

你知道的越多，你不知道的越多 点赞再看，养成习惯 GitHub上已经开源 https://github.com/JavaFamily 有一线大厂面试点脑图、个人联系方式和人才交流群，欢迎Star和完善 前言 消息队列在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在消息队列的使用和原理方面对小伙伴们进行360°的刁难。 作为一个在互联网公司面一次拿一次Offer的面霸...

8年经验面试官详解 Java 面试秘诀

作者 |胡书敏 责编 | 刘静 出品 | CSDN（ID：CSDNnews） 本人目前在一家知名外企担任架构师，而且最近八年来，在多家外企和互联网公司担任Java技术面试官，前后累计面试了有两三百位候选人。在本文里，就将结合本人的面试经验，针对Java初学者、Java初级开发和Java开发，给出若干准备简历和准备面试的建议。 Java程序员准备和投递简历的实...

究竟你适不适合买Mac？

我清晰的记得，刚买的macbook pro回到家，开机后第一件事情，就是上了淘宝网，花了500元钱，找了一个上门维修电脑的师傅，上门给我装了一个windows系统。。。。。。 表砍我。。。 当时买mac的初衷，只是想要个固态硬盘的笔记本，用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后，最终决定，还是买个好（xiong）看（da）的。 已经有好几个朋友问我mba怎么样了，所以今天尽量客观...

MyBatis研习录(01)——MyBatis概述与入门

MyBatis 是一款优秀的持久层框架，它支持定制化 SQL、存储过程以及高级映射。MyBatis原本是apache的一个开源项目iBatis, 2010年该项目由apache software foundation 迁移到了google code并改名为MyBatis 。2013年11月MyBatis又迁移到Github。

程序员一般通过什么途径接私活？

二哥，你好，我想知道一般程序猿都如何接私活，我也想接，能告诉我一些方法吗？ 上面是一个读者“烦不烦”问我的一个问题。其实不止是“烦不烦”，还有很多读者问过我类似这样的问题。 我接的私活不算多，挣到的钱也没有多少，加起来不到 20W。说实话，这个数目说出来我是有点心虚的，毕竟太少了，大家轻喷。但我想，恰好配得上“一般程序员”这个称号啊。毕竟苍蝇再小也是肉，我也算是有经验的人了。 唾弃接私活、做外...

Python爬虫爬取淘宝，京东商品信息

小编是一个理科生，不善长说一些废话。简单介绍下原理然后直接上代码。 使用的工具（Python+pycharm2019.3+selenium+xpath+chromedriver）其中要使用pycharm也可以私聊我selenium是一个框架可以通过pip下载 pip installselenium -ihttps://pypi.tuna.tsinghua.edu.cn/simple/ ...

阿里程序员写了一个新手都写不出的低级bug，被骂惨了。

这种新手都不会范的错，居然被一个工作好几年的小伙子写出来，差点被当场开除了。

Java工作4年来应聘要16K最后没要,细节如下。。。

前奏： 今天2B哥和大家分享一位前几天面试的一位应聘者，工作4年26岁，统招本科。 以下就是他的简历和面试情况。 基本情况： 专业技能： 1、&nbsp;熟悉Sping了解SpringMVC、SpringBoot、Mybatis等框架、了解SpringCloud微服务 2、&nbsp;熟悉常用项目管理工具：SVN、GIT、MAVEN、Jenkins 3、&nbsp;熟悉Nginx、tomca...

Python爬虫精简步骤1 获取数据

爬虫，从本质上来说，就是利用程序在网上拿到对我们有价值的数据。 爬虫能做很多事，能做商业分析，也能做生活助手，比如：分析北京近两年二手房成交均价是多少？广州的Python工程师平均薪资是多少？北京哪家餐厅粤菜最好吃？等等。 这是个人利用爬虫所做到的事情，而公司，同样可以利用爬虫来实现巨大的商业价值。比如你所熟悉的搜索引擎——百度和谷歌，它们的核心技术之一也是爬虫，而且是超级爬虫。 从搜索巨头到人工...

Python绘图，圣诞树，花，爱心 | Turtle篇

每周每日，分享Python实战代码，入门资料，进阶资料，基础语法，爬虫，数据分析，web网站，机器学习，深度学习等等。 公众号回复【进群】沟通交流吧，QQ扫码进群学习吧 微信群 QQ群 1.画圣诞树 import turtle screen = turtle.Screen() screen.setup(800,600) circle = turtle.Turtle()...

作为一个程序员，CPU的这些硬核知识你必须会！

CPU对每个程序员来说，是个既熟悉又陌生的东西？ 如果你只知道CPU是中央处理器的话，那可能对你并没有什么用，那么作为程序员的我们，必须要搞懂的就是CPU这家伙是如何运行的，尤其要搞懂它里面的寄存器是怎么一回事，因为这将让你从底层明白程序的运行机制。 随我一起，来好好认识下CPU这货吧 把CPU掰开来看 对于CPU来说，我们首先就要搞明白它是怎么回事，也就是它的内部构造，当然，CPU那么牛的一个东...

破14亿，Python分析我国存在哪些人口危机！

一、背景 二、爬取数据 三、数据分析 1、总人口 2、男女人口比例 3、人口城镇化 4、人口增长率 5、人口老化（抚养比） 6、各省人口 7、世界人口 四、遇到的问题 遇到的问题 1、数据分页，需要获取从1949-2018年数据，观察到有近20年参数：LAST20，由此推测获取近70年的参数可设置为：LAST70 2、2019年数据没有放上去，可以手动添加上去 3、将数据进行 行列转换 4、列名...

web前端javascript+jquery知识点总结

1.Javascript 语法.用途 javascript 在前端网页中占有非常重要的地位，可以用于验证表单，制作特效等功能，它是一种描述语言，也是一种基于对象（Object）和事件驱动并具有安全性的脚本语言 ...

Python实战：抓肺炎疫情实时数据，画2019-nCoV疫情地图

今天，群里白垩老师问如何用python画武汉肺炎疫情地图。白垩老师是研究海洋生态与地球生物的学者，国家重点实验室成员，于不惑之年学习python，实为我等学习楷模。先前我并没有关注武汉肺炎的具体数据，也没有画过类似的数据分布图。于是就拿了两个小时，专门研究了一下，遂成此文。

听说想当黑客的都玩过这个Monyer游戏（1~14攻略）

第零关 进入传送门开始第0关（游戏链接） 请点击链接进入第1关： 连接在左边→ ←连接在右边 看不到啊。。。。（只能看到一堆大佬做完的留名，也能看到菜鸡的我，在后面~~） 直接fn+f12吧 &lt;span&gt;连接在左边→&lt;/span&gt; &lt;a href="first.php"&gt;&lt;/a&gt; &lt;span&gt;←连接在右边&lt;/span&gt; o...

在家远程办公效率低？那你一定要收好这个「在家办公」神器！

相信大家都已经收到国务院延长春节假期的消息，接下来，在家远程办公可能将会持续一段时间。 但是问题来了。远程办公不是人在电脑前就当坐班了，相反，对于沟通效率，文件协作，以及信息安全都有着极高的要求。有着非常多的挑战，比如： 1在异地互相不见面的会议上，如何提高沟通效率？ 2文件之间的来往反馈如何做到及时性？如何保证信息安全？ 3如何规划安排每天工作，以及如何进行成果验收？ ...... ...

作为一个程序员，内存和磁盘的这些事情，你不得不知道啊！！！

截止目前，我已经分享了如下几篇文章： 一个程序在计算机中是如何运行的？超级干货！！！ 作为一个程序员，CPU的这些硬核知识你必须会！ 作为一个程序员，内存的这些硬核知识你必须懂！ 这些知识可以说是我们之前都不太重视的基础知识，可能大家在上大学的时候都学习过了，但是嘞，当时由于老师讲解的没那么有趣，又加上这些知识本身就比较枯燥，所以嘞，大家当初几乎等于没学。 再说啦，学习这些，也看不出来有什么用啊！...

渗透测试-灰鸽子远控木马

木马概述 灰鸽子（ Huigezi），原本该软件适用于公司和家庭管理，其功能十分强大，不但能监视摄像头、键盘记录、监控桌面、文件操作等。还提供了黑客专用功能，如：伪装系统图标、随意更换启动项名称和表述、随意更换端口、运行后自删除、毫无提示安装等，并采用反弹链接这种缺陷设计，使得使用者拥有最高权限，一经破解即无法控制。最终导致被黑客恶意使用。原作者的灰鸽子被定义为是一款集多种控制方式于一体的木马程序...

Python：爬取疫情每日数据

前言 目前每天各大平台，如腾讯、今日头条都会更新疫情每日数据，他们的数据源都是一样的，主要都是通过各地的卫健委官网通报。 以全国、湖北和上海为例，分别为以下三个网站： 国家卫健委官网：http://www.nhc.gov.cn/xcs/yqtb/list_gzbd.shtml 湖北卫健委官网：http://wjw.hubei.gov.cn/bmdt/ztzl/fkxxgzbdgrfyyq/xxfb...

这个世界上人真的分三六九等，你信吗？

偶然间，在知乎上看到一个问题 一时间，勾起了我深深的回忆。 以前在厂里打过两次工，做过家教，干过辅导班，做过中介。零下几度的晚上，贴过广告，满脸、满手地长冻疮。 再回首那段岁月，虽然苦，但让我学会了坚持和忍耐。让我明白了，在这个世界上，无论环境多么的恶劣，只要心存希望，星星之火，亦可燎原。 下文是原回答，希望能对你能有所启发。 如果我说，这个世界上人真的分三六九等，...

B 站上有哪些很好的学习资源?

哇说起B站，在小九眼里就是宝藏般的存在，放年假宅在家时一天刷6、7个小时不在话下，更别提今年的跨年晚会，我简直是跪着看完的！！ 最早大家聚在在B站是为了追番，再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈视频，最近两年我和周围的朋友们已经把B站当作学习教室了，而且学习成本还免费，真是个励志的好平台ヽ(.◕ฺˇд ˇ◕ฺ;)ﾉ 下面我们就来盘点一下B站上优质的学习资源： 综合类 Oeasy： 综合...

雷火神山直播超两亿，Web播放器事件监听是怎么实现的？

Web播放器解决了在手机浏览器和PC浏览器上播放音视频数据的问题，让视音频内容可以不依赖用户安装App，就能进行播放以及在社交平台进行传播。在视频业务大数据平台中，播放数据的统计分析非常重要，所以Web播放器在使用过程中，需要对其内部的数据进行收集并上报至服务端，此时，就需要对发生在其内部的一些播放行为进行事件监听。 那么Web播放器事件监听是怎么实现的呢？ 01 监听事件明细表 名...

3万字总结，Mysql优化之精髓

本文知识点较多，篇幅较长，请耐心学习 MySQL已经成为时下关系型数据库产品的中坚力量，备受互联网大厂的青睐，出门面试想进BAT，想拿高工资，不会点MySQL优化知识，拿offer的成功率会大大下降。 为什么要优化 系统的吞吐量瓶颈往往出现在数据库的访问速度上 随着应用程序的运行，数据库的中的数据会越来越多，处理时间会相应变慢 数据是存放在磁盘上的，读写速度无法和内存相比 如何优化 设计...

Python新型冠状病毒疫情数据自动爬取+统计+发送报告+数据屏幕（三）发送篇

今天介绍的项目是使用 Itchat 发送统计报告 项目功能设计： 定时爬取疫情数据存入Mysql 进行数据分析制作疫情报告 使用itchat给亲人朋友发送分析报告 基于Django做数据屏幕 使用Tableau做数据分析 来看看最终效果 目前已经完成，预计2月12日前更新 使用 itchat 发送数据统计报告 itchat 是一个基于 web微信的一个框架，但微信官方并不允许使用这...

作为程序员的我，大学四年一直自学，全靠这些实用工具和学习网站！

我本人因为高中沉迷于爱情，导致学业荒废，后来高考，毫无疑问进入了一所普普通通的大学，实在惭愧???? 我又是那么好强，现在学历不行，没办法改变的事情了，所以，进入大学开始，我就下定决心，一定要让自己掌握更多的技能，尤其选择了计算机这个行业，一定要多学习技术。 在进入大学学习不久后，我就认清了一个现实：我这个大学的整体教学质量和学习风气，真的一言难尽，懂的人自然知道怎么回事？ 怎么办？我该如何更好的提升自...

粒子群算法求解物流配送路线问题（python）

1.Matlab实现粒子群算法的程序代码：https://www.cnblogs.com/kexinxin/p/9858664.html matlab代码求解函数最优值：https://blog.csdn.net/zyqblog/article/details/80829043 讲解通俗易懂，有数学实例的博文：https://blog.csdn.net/daaikuaichuan/article/...

教你如何编写第一个简单的爬虫

很多人知道爬虫，也很想利用爬虫去爬取自己想要的数据，那么爬虫到底怎么用呢？今天就教大家编写一个简单的爬虫。 下面以爬取笔者的个人博客网站为例获取第一篇文章的标题名称，教大家学会一个简单的爬虫。 第一步：获取页面 #!/usr/bin/python # coding: utf-8 import requests #引入包requests link = "http://www.santostang....

前端JS初级面试题二 (｡•ˇ‸ˇ•｡)老铁们！快来瞧瞧自己都会了么

1. 传统事件绑定和符合W3C标准的事件绑定有什么区别？ 传统事件绑定 &lt;div onclick=""&gt;123&lt;/div&gt; div1.onclick = function(){}; &lt;button onmouseover=""&gt;&lt;/button&gt; 注意： 如果给同一个元素绑定了两次或多次相同类型的事件，那么后面的绑定会覆盖前面的绑定 （不支持DOM事...

情人节来了，教你个用 Python 表白的技巧

作者：@明哥 公众号：Python编程时光 2020年，这个看起来如此浪漫的年份，你还是一个人吗？ 难不成我还能是一条狗？ 18年的时候，写过一篇介绍如何使用 Python 来表白的文章。 虽然创意和使用效果都不错，但有一缺点，这是那个exe文件，女神需要打开电脑，才有可能参与进来，进而被你成功"调戏”。 由于是很早期的文章了，应该有很多人没有看过。 没有看过的，你可以点击这里查看：用Pyt...

用Python开发实用程序 – 计算器

作者：隋顺意 一段时间前，自己制作了一个库 “sui-math”。这其实是math的翻版。做完后，python既然可以轻易的完成任何的数学计算，何不用python开发一个小程序专门用以计算呢？ 现在我们越来越依赖于计算器，很多复杂的计算都离不开它。我们使用过各式各样的计算器，无论是电脑自带的，还是网也上的计算器，却都没有自己动手编写属于自己计算器。今天就让我们走进计算器的世界，用python来编写...

经典算法（19）教你两分钟学会【选择排序】

这篇博客使用图文并茂的方式讲解选择排序算法，并有完整的算法逻辑以及代码实现。

Python学习笔记（语法篇）

本篇博客大部分内容摘自埃里克·马瑟斯所著的《Python编程：从入门到实战》（入门类书籍），采用举例的方式进行知识点提要 关于Python学习书籍推荐文章 《学习Python必备的8本书》 Python语法特点： 通过缩进进行语句组织 不需要变量或参数的声明 冒号 1 变量和简单数据结构 1.1 变量命名 只能包含字母、数字和下划线，且不能以数字打头。 1.2 字符串 在Python中，用引号...

用Python打造你的专属情人节贺卡，赶快发给TA浪漫一下吧

明天就是情人节了。这个情人节，注定是一个不能约会的情人节，但不能约会不代表不能浪漫。古人比我们出生早，那些浪漫的诗词早都被他们挖掘一空，比诗词我们肯定没有机会了。好在我们还有Python，不然都不知道该如何表达浪漫。接下来，浪导教你制作一个浪漫的情人节专属贺卡。

Python绘图与可视化

文章目录使用的库Matplotlib程序包绘图命令的扩展及其属性设置 使用的库 Python有很多可视化工具，如：Matplotlib。 Matplotlib是一种2D的绘图库，它可以支持硬拷贝和跨系统的交互，它可以在Python脚本、IPython的交互环境下、Web应用程序中使用。如果结合使用一种GUI工具包（如IPython），Matplotlib还具有诸如缩放和平移等交互功能。它不仅支持各...

计算机考研经验总结

计算机考研指导建议背景开始备考时间学校选择复习计划学科复习考研资料和平台心得杂杂答疑 背景     我是广东双非本科计算机类专业，大一高数没学好，英语在大四最后一次考试里过了6级，专业课掌握情况尚好。选择报考暨南大学，因为它的专业课那年只考一门数据结构，而我数据结构学的还不错，不用在专业课上花很多的时间。暨南大学和华师是广东省内仅有的两所211高校，而听说华师学校稍老，环境没有暨大好。 开始备考时...

MySQL表的增删查改(提高篇)

MySQL表的增删查改(基本篇) 接上一篇MySQL表基本的增删查改，下面看一下提高篇： 一、数据库约束 1、约束类型 NOT NULL：不为空约束。创建表时，可以指定某列不为空 UNIQUE ：唯一约束。指定某列为唯一的、不重复的 DEFAULT ：默认值约束。指定插入数据时，某列为空，设置默认值 PRIMARY KEY ： 主键约束。NOT NULL 和 UNIQUE 的结合。确保某列（或两个...

Java实现 LeetCode 35 搜索插入位置

35. 搜索插入位置 给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。 你可以假设数组中无重复元素。 示例 1: 输入: [1,3,5,6], 5 输出: 2 示例 2: 输入: [1,3,5,6], 2 输出: 1 示例 3: 输入: [1,3,5,6], 7 输出: 4 示例 4: 输入: [1,3,5,6], 0 输出:...

整理一波国外前端学习网站

国内的普通开发者对于掌握一门新的技术不知道从哪里下手，看哪些书。为了获得相关知识会关注各种公众号、购买各种视频课程来学习，但由于这些内容本身有碎片化的特点，效果往往不太理想。以至于付出了大量的时间到最后不能够形成系统化的知识。 我同样也遇到过类似的问题，不是说公众号与视频课程不好，这些也有自身的优势，但是往往都是别人经过实践沉淀下来的，我们读过之后往往仅限于了解而已。如果要掌握还需要大量的实践、探...

Linux运维面试总结

1.ssh远程连接的问题？ 第一种是远程连接慢的问题： (1)可以通过ssh -v 来检测哪个步骤出现的问题。根据对应的问题，来针对性的进行解决。 (2)可能是DNS反向解析不正确导致的.正常情况下默认配置下 sshd 初次接受 ssh 客户端连接的时候会自动反向解析客户端 IP 以得到 ssh 客户端的域名或主机名。如果这个时候 DNS 的反向解析不正确，sshd 就会等到 DNS 解析超...

相关热词 c# 压缩图片好麻烦 c#计算数组中的平均值 c#获取路由参数 c#日期精确到分钟 c#自定义异常必须继承 c#查表并返回值 c# 动态 表达式树 c# 监控方法耗时 c# listbox c#chart显示滚动条