如何用python爬取video标签中的音频文件？-CSDN问答

关于python爬取获取标签内的值

``` <div class="price_d"> <p class="t"> <span id="dd-price-text">当当价</span> <a class="price_down_remind score write_comment" href="javascript:void(0);" id="price_down">降价通知</a> </p> <p id="dd-price"> <span class="yen">¥</span>89.00 </p> </div> ``` 请问第二个P标签里面的89怎么通过python取出来？

python 爬取网页里面的xhr文件。

最近在爬虫实战中，想要爬取一段网页里面的xhr文件，观察到此文件是post请求的，用python里面的request.post怎么都获取不到，但是状态码为200.后来试着在浏览器里面直接打开这个url，发现也是什么都没有。

python 爬虫如何爬取标签内容

![图片说明](https://img-ask.csdn.net/upload/201904/26/1556278899_200380.png) 想爬取 paths标签下的路径但是路径被设置为了标签 cc = json_str['paths'] 进行爬取爬取到的是整个paths标签下的内容怎么才能只爬取标签呢

python爬虫如何只爬取标签内容

![图片说明](https://img-ask.csdn.net/upload/201904/28/1556421806_296447.png) 想爬取 paths标签下的路径但是路径被设置为了标签 cc = json_str['paths'] 进行爬取爬取到的是整个paths标签下的内容怎么才能只爬取标签呢好像用beautifulsoup不行因为html下只有三个标签其他都被放到字典里了怎么用解析json进行爬取呢

python爬虫如何爬取标签里的文本内容？

![图片说明](https://img-ask.csdn.net/upload/202003/27/1585288128_17417.png) 请问怎么用BeautifulSoup库获取标签a内的Myxinidae文本内容？

如何用Python爬取贴吧所有图片(而不只是第一页)

如题！由于兴趣刚开始自学python网络爬虫，网上看到了爬取百度贴吧图片的代码，但发现只能爬取第一页的，而不能所有页的，该怎么解决？

想用python 爬取一个网页上面的图片，初学者不太知道如何入手。

请教要实现爬取图片这个目的，大体的步骤应该是什么。用什么模块更方便一些？大体的框架应该是什么样

python 爬取表格获取不到数据

我使用python爬取网页表格数据的时候使用 request.get获取不到页面内容。爬取网址为：http://data.10jqka.com.cn/rank/cxg/board/4/field/stockcode/order/desc/page/2/ajax/1/free/1/ 这是Elements ![图片说明](https://img-ask.csdn.net/upload/202002/17/1581950847_829340.jpg) ``` import os import requests from lxml import etree url='http://data.10jqka.com.cn/rank/cxg/board/4/field/stockcode/order/desc/page/2/ajax/1/free/1/' #url1='http://data.10jqka.com.cn/rank/cxg/' headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Safari/537.36'} res = requests.get(url, headers=headers) res_elements = etree.HTML(res.text) table = res_elements.xpath('/html/body/table') print(table) table = etree.tostring(table[0], encoding='utf-8').decode() df = pd.read_html(table, encoding='utf-8', header=0)[0] results = list(df.T.to_dict().values()) # 转换成列表嵌套字典的格式 df.to_csv("std.csv", index=False) ``` res.text 里的数据为（不包含列表数据） ``` '<html><body>\n <script type="text/javascript" src="//s.thsi.cn/js/chameleon/chameleon.min.1582008.js"></script> <script src="//s.thsi.cn/js/chameleon/chameleon.min.1582008.js" type="text/javascript"></script>\n <script language="javascript" type="text/javascript">\n window.location.href="http://data.10jqka.com.cn/rank/cxg/board/4/field/stockcode/order/desc/page/2/ajax/1/free/1/";\n </script>\n </body></html>\n' ```

python爬取ashx页面的post请求

我以一个类似的情况来提问，也是论坛中有个网友1年前提出的问题，但是他没有写出后续.... 网页地址：http://www.lzggzyjy.cn/InfoPage/InfoList.aspx?SiteItem=8 需求：python post请求获取该页面（感觉很简单）分析页面： ![图片说明](https://img-ask.csdn.net/upload/201803/18/1521356034_57752.png) ![图片说明](https://img-ask.csdn.net/upload/201803/18/1521356049_933670.png) 我把代码贴上来： ``` #! /usr/bin/env python3 # -*- coding:utf-8 –*- import requests import json import sys reload(sys) sys.setdefaultencoding('utf-8') def testDownloadLanZhou(): testUrl = 'http://www.lzggzyjy.cn/ajax/Controls_InfoListControl,App_Web_2ewqtbev.ashx?_method=getCurrentData&_session=rw' testHeaders = { 'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36', 'Host':'www.lzggzyjy.cn', 'Referer':'http://www.lzggzyjy.cn/InfoPage/InfoList.aspx?SiteItem=8', 'X-Requested-With':'XMLHttpRequest', # "Content-Type":'text/plain;charset=UTF-8', "Cookie":'ASP.NET_SessionId=hcdc1tywt5dgszd5bziox4sc; SERVERID=b925605187c7d5d37f1395627a969c75|1521298751|1521298681' } # testParams = {'_method':'getCurrentData', '_session':'rw'} testData = {'currentPage':'1', 'Query':''} # 将dic 转换成json字符串 # jsonDataString = json.dumps(testData) # print(jsonDataString) # print(type(jsonDataString)) # # 对应每个参数添加换行隔开 # newString = jsonDataString.replace(',', '\n') # print(newString) resq = requests.post(testUrl, headers=testHeaders, data=testData) print(resq.content) ``` 这个请求怎么弄都不对，获取不到正确的html页面......请各位指点迷津

python 爬取网页的时候如何获得网页上面XHR的文件。

如题![图片说明](https://img-ask.csdn.net/upload/201904/25/1556200779_218864.png)

Python爬取美团外卖商家信息求助

我想爬美团外卖某个地点的商家信息，比如北京北太平庄，网址如下：http://waimai.meituan.com/home/wx4ergy6qht3，查看网址源代码是能够看到商家信息的，但是用Python爬虫只能得到美团外卖首页的内容。是我要给网站发送地理坐标信息吗？我看了一下网站是get方法，我应该怎么做呢，试了半天也弄不好，真心求助各位大神

python爬取跳页url不变的网页表格数据

小白一个，刚学python爬虫1天，因为跟朋友夸下海口说简单的都会，但我这个就不会了。具体需求：python爬取跳页url不变的网页表格数据。 url：http://gs.amac.org.cn/amac-infodisc/res/pof/fund/index.html 爬取表格所有页的数据： ![图片说明](https://img-ask.csdn.net/upload/201907/16/1563265385_266418.png) 求求大神救救孩纸* _*

如何用python下载<video>标签中的音频文件？

如何用python下载<video>标签中的音频文件？如下面的代码中的音频文件。 ``` <video controls="" autoplay="" name="media"><source src="http://dict.youdao.com/dictvoice?audio=boy" type="audio/mpeg"></video> ```

用Python爬取长期发送请求和返回的网页

我是指什么呢？是指你打开一个网页之后，这个网页每隔一段时间就会给你发送一个文件，我并不太了解Python如何针对这种网页进行爬取，因为他是不停的向浏览器发送信息，如何让Python持续接收从服务器发来的新请求？

<python>python爬取智联json页面，但是爬回来的数据不全？

1.智联一页有大概100条数据，但是爬回来只有20条代码： ![图片说明](https://img-ask.csdn.net/upload/201905/07/1557194839_124865.png) https://img-ask.csdn.net/upload/201905/07/1557194839_124865.png 主函数： ![图片说明](https://img-ask.csdn.net/upload/201905/07/1557194939_248256.png) depth是爬取的页数，1页的时候只能在数据库看到20条记录，当把depth改成10的时候可以看到1000条信息，但是之后depth再增加（如改成20,30等）数据也不会再增加了，一直是1000条信息 ![图片说明](https://img-ask.csdn.net/upload/201905/07/1557195117_222005.png) 我觉得不是存储的问题，因为第一个爬取的函数返回来的页面就已经少了，只有20条，麻烦帮忙看一下这个爬取函数有什么问题，谢谢啦

python爬取网站时抓不到网站源代码？

爬取这个网站时：http://www.mafengwo.cn/poi/18972.html，抓取不到网站源代码，网页查看时有，但是python get不到，soup、xpath都查不到，请问是什么问题，怎么爬取呢？ ![图片说明](https://img-ask.csdn.net/upload/201911/20/1574255960_94982.png)

求助。用python爬取微博用户的粉丝列表及粉丝的粉丝列表

急需一份能爬取微博用户的粉丝列表及对应粉丝的粉丝列表搭建一个实验平台，由于自己编程能力太弱，所以希望好心人能给一份相应的python代码（其他语言编写的能运行的也可），在线等，急求！

python爬取云音乐列表却解析不出数据

最近跟着网上教程初学着用python爬取页面，于是就想试着扒一扒自己网易云音乐歌单的歌曲，想把歌单里歌曲的链接曲名这些全部爬出来 def getPage(): url = 'http://music.163.com/#/m/playlist?id=75411989' r = requests.get(url) page = r.text print page pattern = re.compile(r'<a href="/song?id=(.*)>(.*)</a>') #网页审查元素的结果是<a href="/song?id=30148760"><b title="Jackrabbit">Jackrabbit</b></a> items = re.findall(pattern,page) print items for item in items: print item 但是解析网页后发现根本解析不出歌曲id或名称，原因是否是我正则表达式不对呢？然后借用网上找到的匹配链接的正则 pattern2 = re.compile(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')") 得到了这样的结果 /song?id=${x.id} javascript:; /album?id=${x.album.id} javascript:; /album?id=${x.album.id} /song?id=${x.id} javascript:; 想问一下前辈们这个无法解析的原因，另外能否用beafulsoup得到结果呢？（歌曲信息链接似乎在非常子层的div中，感觉用bs4很复杂啊）

关于使用python爬取房天下数据

由于论文需要，想要爬取房天下的二手房，于是修改简书上竹间为简的租房代码进行爬取。修改后的代码为 ``` from bs4 import BeautifulSoup import urllib import gzip import inspect import re import pandas as pd from multiprocessing.dummy import Pool as ThreadPool import datetime import sqlite3 from time import sleep from random import choice #网页解压缩 def read_zip_url(url): fails = 0 while fails < 5: try: content = urllib.request.urlopen(url).read() content = gzip.decompress(content).decode("gb18030") #网页gb2312的编码要用这个 break except: fails += 1 print(inspect.stack()[1][3] + ' occused error') soup = BeautifulSoup(content, "lxml") return soup #划分城区 starturl = "http://esf.km.fang.com/house/i31/" soup = read_zip_url(starturl) area_first_soup = soup.find_all('div',id = 'list_D02_10')[0].find_all('a') del area_first_soup[-2] del area_first_soup[0] area_first = [] for i in area_first_soup: area_first.append("http://esf.km.fang.com" + i.get('href')) #按价格划分 area_second = [] for i in area_first: soup = read_zip_url(i) area_second_soup = soup.find_all('li',id = 'list_D02_11')[0].find_all('a') del area_second_soup[0] for i in area_second_soup: area_second.append("http://esf.km.fang.com" + i.get('href')) #按房屋类型划分 area_third = [] def area_third_func(li): soup = read_zip_url(li) area_third_soup = soup.find_all('li',id = 'list_D02_13')[0].find_all('a') del area_third_soup[0] for i in area_third_soup: area_third.append("http://esf.km.fang.com" + i.get('href')) pool = ThreadPool(4) pool.map(area_third_func, area_second) pool.close() pool.join() area_fourth = [] def area_fourth_func(li): soup = read_zip_url(li) if soup.find(text=re.compile("很抱歉")) == None: pagenum1 = soup.find_all('span', class_ = 'txt')[0].get_text() pagenum = int(re.findall(r'\d+',pagenum1)[0]) splitted = li.split('-') for j in range(1, int(pagenum)+1): new_url = (splitted[0]+ '{0}' + splitted[1] + '{0}' + splitted[2]+ '{0}' + 'i3{1}').format('-',j) area_fourth.append(new_url) pool = ThreadPool(4) pool.map(area_fourth_func, area_third) pool.close() pool.join() finalinks = [] def get_links(li): soup = read_zip_url(li) urlist = soup.select('a[href^="/chushou/"]') for i in urlist: href = 'http://esf.km.fang.com' + i.get('href') if href not in finalinks: finalinks.append(href) sleep(0.1) pool = ThreadPool(4) pool.map(get_links, area_fourth) pool.close() pool.join() today = datetime.date.today().strftime("%Y%m%d") finalinks = pd.DataFrame(finalinks) finalinks = finalinks.drop_duplicates() finalinks.to_csv("%s" %'sf_links'+today + '.csv') ``` 希望各位大大指导，感激不尽

在中国程序员是青春饭吗？

今年，我也32了，为了不给大家误导，咨询了猎头、圈内好友，以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助，记得帮我点赞哦。目录：你以为的人生一次又一次的伤害猎头界的真相如何应对互联网行业的「中年危机」一、你以为的人生刚入行时，拿着傲人的工资，想着好好干，以为我们的人生是这样的：等真到了那一天，你会发现，你的人生很可能是这样的： ...

程序员请照顾好自己，周末病魔差点一套带走我。

程序员在一个周末的时间，得了重病，差点当场去世，还好及时挽救回来了。

我以为我学懂了数据结构，直到看了这个导图才发现，我错了

数据结构与算法思维导图

String s = new String(" a ") 到底产生几个对象？

老生常谈的一个梗，到2020了还在争论，你们一天天的，哎哎哎，我不是针对你一个，我是说在座的各位都是人才！上图红色的这3个箭头，对于通过new产生一个字符串（”宜春”）时，会先去常量池中查找是否已经有了”宜春”对象，如果没有则在常量池中创建一个此字符串对象，然后堆中再创建一个常量池中此”宜春”对象的拷贝对象。也就是说准确答案是产生了一个或两个对象，如果常量池中原来没有 ”宜春” ,就是两个。...

技术大佬：我去，你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码，大部分代码都写得很漂亮，严谨的同时注释也很到位，这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时，还是忍不住破口大骂：“我擦，小王，你丫写的 switch 语句也太老土了吧！” 来看看小王写的代码吧，看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

Linux面试题（2020最新版）

文章目录Linux 概述什么是LinuxUnix和Linux有什么区别？什么是 Linux 内核？Linux的基本组件是什么？Linux 的体系结构BASH和DOS之间的基本区别是什么？Linux 开机启动过程？Linux系统缺省的运行级别？Linux 使用的进程间通信方式？Linux 有哪些系统日志文件？Linux系统安装多个桌面环境有帮助吗？什么是交换空间？什么是root帐户什么是LILO？什...

将一个接口响应时间从2s优化到 200ms以内的一个案例

一、背景在开发联调阶段发现一个接口的响应时间特别长，经常超时，囧… 本文讲讲是如何定位到性能瓶颈以及修改的思路，将该接口从 2 s 左右优化到 200ms 以内。二、步骤 2.1 定位定位性能瓶颈有两个思路，一个是通过工具去监控，一个是通过经验去猜想。 2.1.1 工具监控就工具而言，推荐使用 arthas ，用到的是 trace 命令具体安装步骤很简单，大家自行研究。我的使用步骤是...

学历低，无法胜任工作，大佬告诉你应该怎么做

微信上收到一位读者小涛的留言，大致的意思是自己只有高中学历，经过培训后找到了一份工作，但很难胜任，考虑要不要辞职找一份他能力可以胜任的实习工作。下面是他留言的一部分内容：二哥，我是 2016 年高中毕业的，考上了大学但没去成，主要是因为当时家里经济条件不太允许。打工了三年后想学一门技术，就去培训了。培训的学校比较垃圾，现在非常后悔没去正规一点的机构培训。去年 11 月份来北京找到了一份工...

JVM内存结构和Java内存模型别再傻傻分不清了

JVM内存结构和Java内存模型都是面试的热点问题，名字看感觉都差不多，网上有些博客也都把这两个概念混着用，实际上他们之间差别还是挺大的。通俗点说，JVM内存结构是与JVM的内部存储结构相关，而Java内存模型是与多线程编程相关，本文针对这两个总是被混用的概念展开讲解。 JVM内存结构 JVM构成说到JVM内存结构，就不会只是说内存结构的5个分区，而是会延展到整个JVM相关的问题，所以先了解下

和黑客斗争的 6 天！

互联网公司工作，很难避免不和黑客们打交道，我呆过的两家互联网公司，几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口，有的是寻找线上服务器可能存在的漏洞，大部分都...

Google 与微软的浏览器之争

浏览器再现“神仙打架”。整理 | 屠敏头图 | CSDN 下载自东方 IC出品 | CSDN（ID：CSDNnews）从 IE 到 Chrome，再从 Chrome 到 Edge，微软与...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好，我是你们的校长。我之前讲过，这年头，只要肯动脑，肯行动，程序员凭借自己的技术，赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

上班一个月，后悔当初着急入职的选择了

最近有个老铁，告诉我说，上班一个月，后悔当初着急入职现在公司了。他之前在美图做手机研发，今年美图那边今年也有一波组织优化调整，他是其中一个，在协商离职后，当时捉急找工作上班，因为有房贷供着，不能没有收入来源。所以匆忙选了一家公司，实际上是一个大型外包公司，主要派遣给其他手机厂商做外包项目。**当时承诺待遇还不错，所以就立马入职去上班了。但是后面入职后，发现薪酬待遇这块并不是HR所说那样，那个HR自...

女程序员，为什么比男程序员少？？？

昨天看到一档综艺节目，讨论了两个话题：（1）中国学生的数学成绩，平均下来看，会比国外好？为什么？（2）男生的数学成绩，平均下来看，会比女生好？为什么？同时，我又联想到了一个技术圈经常讨...

搜狗输入法也在挑战国人的智商！

故事总是一个接着一个到来...上周写完《鲁大师已经彻底沦为一款垃圾流氓软件！》这篇文章之后，鲁大师的市场工作人员就找到了我，希望把这篇文章删除掉。经过一番沟通我先把这篇文章从公号中删除了...

85后蒋凡：28岁实现财务自由、34岁成为阿里万亿电商帝国双掌门，他的人生底层逻辑是什么？...

蒋凡是何许人也？ 2017年12月27日，在入职4年时间里，蒋凡开挂般坐上了淘宝总裁位置。为此，时任阿里CEO张勇在任命书中力赞：蒋凡加入阿里，始终保持创业者的冲劲，有敏锐的...

总结了 150 余个神奇网站，你不来瞅瞅吗？

原博客再更新，可能就没了，之后将持续更新本篇博客。

副业收入是我做程序媛的3倍，工作外的B面人生是怎样的？

提到“程序员”，多数人脑海里首先想到的大约是：为人木讷、薪水超高、工作枯燥…… 然而，当离开工作岗位，撕去层层标签，脱下“程序员”这身外套，有的人生动又有趣，马上展现出了完全不同的A/B面人生！不论是简单的爱好，还是正经的副业，他们都干得同样出色。偶尔，还能和程序员的特质结合，产生奇妙的“化学反应”。 @Charlotte：平日素颜示人，周末美妆博主大家都以为程序媛也个个不修边幅，但我们也许...

MySQL数据库面试题（2020最新版）

文章目录数据库基础知识为什么要使用数据库什么是SQL？什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式？分别有什么区别？数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别？InnoDB引擎的4大特性存储引擎选择索引什么是索引？索引有哪些优缺点？索引使用场景（重点）...

如果你是老板，你会不会踢了这样的员工？

有个好朋友ZS，是技术总监，昨天问我：“有一个老下属，跟了我很多年，做事勤勤恳恳，主动性也很好。但随着公司的发展，他的进步速度，跟不上团队的步伐了，有点...

我入职阿里后，才知道原来简历这么写

私下里，有不少读者问我：“二哥，如何才能写出一份专业的技术简历呢？我总感觉自己写的简历太烂了，所以投了无数份，都石沉大海了。”说实话，我自己好多年没有写过简历了，但我认识的一个同行，他在阿里，给我说了一些他当年写简历的方法论，我感觉太牛逼了，实在是忍不住，就分享了出来，希望能够帮助到你。 01、简历的本质作为简历的撰写者，你必须要搞清楚一点，简历的本质是什么，它就是为了来销售你的价值主张的。往深...

离职半年了，老东家又发 offer，回不回？

有小伙伴问松哥这个问题，他在上海某公司，在离职了几个月后，前公司的领导联系到他，希望他能够返聘回去，他很纠结要不要回去？俗话说好马不吃回头草，但是这个小伙伴既然感到纠结了，我觉得至少说明了两个问题：1.曾经的公司还不错；2.现在的日子也不是很如意。否则应该就不会纠结了。老实说，松哥之前也有过类似的经历，今天就来和小伙伴们聊聊回头草到底吃不吃。首先一个基本观点，就是离职了也没必要和老东家弄的苦...

男生更看重女生的身材脸蛋，还是思想？

往往，我们看不进去大段大段的逻辑。深刻的哲理，往往短而精悍，一阵见血。问：产品经理挺漂亮的，有点心动，但不知道合不合得来。男生更看重女生的身材脸蛋，还是...

什么时候跳槽，为什么离职，你想好了么？

都是出来打工的，多为自己着想

程序员为什么千万不要瞎努力？

本文作者用对比非常鲜明的两个开发团队的故事，讲解了敏捷开发之道 —— 如果你的团队缺乏统一标准的环境，那么即使勤劳努力，不仅会极其耗时而且成果甚微，使用...

为什么程序员做外包会被瞧不起？

二哥，有个事想询问下您的意见，您觉得应届生值得去外包吗？公司虽然挺大的，中xx，但待遇感觉挺低，马上要报到，挺纠结的。

当HR压你价，说你只值7K，你该怎么回答？

当HR压你价，说你只值7K时，你可以流畅地回答，记住，是流畅，不能犹豫。礼貌地说：“7K是吗？了解了。嗯~其实我对贵司的面试官印象很好。只不过，现在我的手头上已经有一份11K的offer。来面试，主要也是自己对贵司挺有兴趣的，所以过来看看……”（未完）这段话主要是陪HR互诈的同时，从公司兴趣，公司职员印象上，都给予对方正面的肯定，既能提升HR的好感度，又能让谈判气氛融洽，为后面的发挥留足空间。...

面试：第十六章：Java中级开发（16k）

HashMap底层实现原理，红黑树，B+树，B树的结构原理 Spring的AOP和IOC是什么？它们常见的使用场景有哪些？Spring事务，事务的属性，传播行为，数据库隔离级别 Spring和SpringMVC，MyBatis以及SpringBoot的注解分别有哪些？SpringMVC的工作原理，SpringBoot框架的优点，MyBatis框架的优点 SpringCould组件有哪些，他们...

面试阿里p7，被按在地上摩擦，鬼知道我经历了什么？

面试阿里p7被问到的问题(当时我只知道第一个)：@Conditional是做什么的?@Conditional多个条件是什么逻辑关系？条件判断在什么时候执...

终于懂了TCP和UDP协议区别

wushan321