如何爬取这个音乐网站上的下载链接?网址:http://www.dj024.com

音乐网站:http://www.dj024.com 爬取“现场串烧”列表下的每一个音乐下载地址。源码里面的下载地址是异步加载的。

图片说明

可是怎么也获取不到json,访问如下地址获取的不是json,是html代码,设置“Content-Type: application/json”,用session都不行!

图片说明

求大神指教,最好贴出代码。

0

1个回答

import requests
import json

url = 'http://www.dj024.com/music/getData.html'
headers = {'Accept':'application/json, text/javascript, */*; q=0.01',
           'Accept-Encoding':'gzip, deflate',
           'Accept-Language':'zh-CN,zh;q=0.9',
           'Connection':'keep-alive',
           'Content-Length':'8',
           'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',
           'Cookie':'PHPSESSID=3msh15458cladsa4rs44blcqn6; Hm_lvt_5638419b16434ebb48ea2bdef1114b97=1548209089,1548209110; jy_home_user=think%3A%7B%22status%22%3A%221%22%2C%22data%22%3Anull%7D; jy_home_ListenRecord=think%3A%5B%2237393%22%2C%2237401%22%2C%2237348%22%5D; Hm_lpvt_5638419b16434ebb48ea2bdef1114b97=1548209462; jy_home___forward__=%2Fuser%2Faccount%2FgetActive.html%3Ft%3D0.5699561267137225',
           'Host':'www.dj024.com',
           'Origin':'http://www.dj024.com',
           'Referer':'http://www.dj024.com/topics/37401.html',
           'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
           'X-Requested-With':'XMLHttpRequest'}
data = {'id':'37401'}
html = requests.post(url,headers = headers,data = data).content
print(html)

字段是listen_url,有转义符,用replace替换了就行

1
qq_37121681
qq_37121681 非常感谢,抱拳了!
6 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
爬取并下载网站上的图片
前面我们可以爬取网页了,爬取网页之后我们就可以获取网页上的各种资源,比如图片。至于下载,主要用到urllib模块的urlretrieve方法,这个方法可以直接将远程数据下载到本地。nnnnnnnnnnurllib.urlretrieve(url[, filename[, reporthook[, data]]])nnnn参数说明:nnnnurl:外部或者本地urlnnnnfilename...
网络爬虫,爬指定网页的所有连接
简单网络爬虫,原理就是解析网页,取得所有a标签内容,当然只是demo,你可以自己编写规则。附一些测试,包括了从一个很好的电影网站下载电影种子的,还有百度新闻搜索等。
爬取allitebooks网站的电子书下载链接
allitebooks网址是目前为止还在更新的不多几个电子书免费下载网站。之前一直访问的http://it-ebooks.info由于版权原因已经去掉了全部的下载链接,转型为电子书导购网站。趁着还能访问,先把allitebooks的电子书都下载下来吧。搜索了一下已经有人写了python的爬虫抓取allitebooks的下载链接,太好了拿过来直接用。nn网站的结构非常简单,共两个级别:nn1)第一级...
爬某个音乐网站上的音乐程序
1,找到该网站(http://www.luoo.net/),分析网页的结构。n2,发现规律是http://www.luoo.net/music/数字 ,而且数字是递增的。n3,循环递增调用接口,拿到response的html文本。n4,解析文本,使用Scrapy模块进行xml解析,拿到mp3的下载地址。n5,开个线程专门去下载音乐,可以用多线程进行下载(我偷懒只用一个线程在下载),并保存到
对某音乐网站歌曲链接抓取的分析
一、用到的工具:nchromenfiddlern二、网站内容分析n1、打开该网站,分析页面歌曲链接,特点是都在尾端连接一个数字序列,猜测为songid。n2、点击歌曲,跳转到歌曲播放页面,通过查看页面的源代码,分析js代码,发现页面有该歌曲的json数据(包括歌曲id,src等信息),使用chrome内置console.log()方法打印当前页面播放器对象,发现entityde curr
初次使用Java爬取网站
1.首先,先准备Jsoup.jar包2.在你的项目里面添加Jsoup.jar的包。添加过程 在你的项目找到Build Path->Configure Build Path->Libraries->Add External JARS即可。3.接下来就是运用这个包里面的类。4.如果只是从网站里面爬取东西即运用里面的这些importimport org.jsoup.Jsoup;impo...
Python爬虫学习记录(3)——用Python获取虾米加心歌曲,并获取MP3下载地址
在第一篇里记录了获取虾米热门歌曲,听了一段时间后,加心了很多歌曲,因此想要批量下载加心过的虾米收藏夹歌曲。rnrnrn虾米好评歌曲页只保存最近的2000首。。之前star过的3k首歌有1k首都不在了。所以起了备份的念头。rnrnrnrnrnrnrn首先获取虾米个人加心歌曲的地址rnrnrn    虾米的个人好评歌曲页在 http://www.xiami.com/space/lib-song/u/2
九酷音乐真实地址解析
九酷音乐官网:http://www.9ku.com/选择一首歌曲,如 http://m.9ku.com/play/86179.htm其中,86179就是歌曲的id号真实地址为:http://mp3.9ku.com/m4a/86179.m4ahttp://111.161.71.11/mp3.9ku.com/m4a/86179.m4a...
爬虫练习之循环爬取网页中全部链接(requsets同步)
先贴代码,之后再写注释,已测试可用nnnnimport renimport requestsnn# 获取并检验要爬取的网站ndef url_get():n url = input("请输入要爬取的首页url:")n try:n kv = {'user_agent': 'Mozilla/5.0'}n requests.get(url, headers=kv
python爬某视频网站将网站下所有视频链接保存到TXT文件
nimport renimport requestsnimport timenn#宏定义n#title = 'https://8*8*5*r*i*.com'ntitle = 'http://www.gaoqing.la/'ntxtRoute = 'D:\\MySeGF\\'ncontextGF = []nlogList = []nfailFlag = 0nlogPrintDebug = 0n#函数...
python 实现爬取网站下所有URL
python3 实现爬取网站下所有URL获取首页元素信息:首页的URL链接获取:遍历第一次返回的结果:递归循环遍历:全部代码如下:小结:npython3.6nrequests && bs4n采用递归方法,最终爬取网站所有链接n获取首页元素信息:n目标 test_URL:http://www.xxx.com.cn/n首先检查元素,a 标签下是我们需要爬取得链接,通过获取链接路径,定位...
Java使用正则表达式爬取网站全部连接
npackage Regex;nnimport java.io.BufferedReader;nimport java.io.InputStreamReader;nimport java.net.MalformedURLException;nimport java.net.URL;nimport java.nio.charset.Charset;nimport java.util.ArrayLis...
linux rpm包网址
nn公司内部人士提供http://rpm.pbone.net/ http://pkgs.org/ n这俩网站联合使用,基本能找到linux需要的大部分的rpm的安装包
Python 抓取网页下载链接
Python 抓取网页下载链接
获取App的下载地址
使用苹果电脑打开 iTues --> 应用 --> 搜索到需要获取下载地址的 app --> 进入详情页面 --> 选择图标 底部 获取按钮右边 下拉箭头,选择 复制链接
python爬虫爬取女u番号和磁力链接,封面,保存到csv文件
暑假很无聊,学了一个月的爬虫,前两天写了一个爬取男人团上面的番号然后用番号到种子在线搜索的网站爬取磁力链接最后保存到csv文件的一个小案例,自己感觉很有趣,写一下大概的过程吧,给比我还新的爬虫选手参考参考。rnrn    首先进入男人团的网站,选择一个女u,这里我选的波多老师,我们看第一页网页http://nanrenvip.net/boduoyejieyi/发现后面就是波多野结衣的拼音。再看下第
利用爬虫在b站搜动漫找链接,第一次用jsoup 0.0
调用reZero方法输入要看的动漫即可,比如从零开始的异世界,fate,食戟之灵。。。rnpublic static void reZero(String search) throws IOException {rnif(search == null || "".equals(search)){rnreturn;rn}rnSystem.out.println("丢你雷姆");rnrn       
Python爬虫(七)学习提取网页中所有链接
import renimport urllib.requestnnndef getlink(url):n headers = ("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36")n op
网站链接抓取工具
很多SEO用户在优化网站的时候,可能会用到抓取某个网站的链接,而且还要批量,还能自动筛选那些垃圾链接。为此,我推荐这个LmCjl在线工具里面的网站链接抓取。抓取层数最高20层,还能分辨是否重复,还能筛选垃圾链接。全部只是你所需要的本站链接,层数几乎覆盖全站。里面还有一些功能是优化和竞价都有用到的,有需要的伙伴,可以去试试。网站:https://www.lmcjl.com/...
java爬虫,提供链接直接爬取网页代码
其实我只想要爬到整个网页的源代码的就好.通过java的一个包jsoup,就可以直接爬取了,后面有下载源代码(含jsoup包)的链接.rn输入:网页链接rn输出:网页源代码rn代码比较简单,解析都在代码中:rnrnimport org.jsoup.Jsoup;nimport org.jsoup.nodes.Document;nnimport java.io.FileOutputStream;nnpu
一个简单的爬取一个电影网的磁力链接
import requestsnfrom lxml import etreenfrom urllib import parsenimport rennn#定义一个函数ndef ygdy(baseurl):n headers ={n 'Cookie' : 'cscpvcouplet4298_fidx=1; cscpvrich5041_fidx=1',n 'Refer...
Python 爬虫笔记(获取整个站点中的所有外部链接)
#! /usr/bin/env pythonn#coding=utf-8import urllib2nfrom bs4 import BeautifulSoupnimport renimport datetimenimport randompages=set()nrandom.seed(datetime.datetime.now())n#Retrieves a list of all In
获取网页中的所有超级链接(爬虫专用)
//取得所有链接nfunction get_all_url($code)n{n preg_match_all('/<a\s+href=["|\']?([^>"\' ]+)["|\']?\s*[^>]*>([^>]+)<\/a>/i', $code, $arr);n return array('name' => $arr[2], 'url' => $arr[1]);n}
matlab抓取指定网址图片
Matlab实现抓取图片非常的容易,基本思路为 n1.使用urlread函数得到网页Html页面以字符串的形式储存网页 n2.再使用函数搭配正则表达式匹配到图片的网址 n3.根据得到的图片网址,用函数,下载图片并保存到制定指定问价文件中 n有了以上思路,一下为实现代码nnnnfunction spidernturl = 'http://www.3dmgame.com/';n[str,status]
用JAVA程序爬取网页地址,电话
1.test.javarnrnpackage com.zjhcsoft.travel;nnimport org.jsoup.Connection;nimport org.jsoup.Jsoup;nimport org.jsoup.nodes.Document;nimport org.jsoup.nodes.Element;nimport org.jsoup.select.Elements;nnim
老孙的爬虫(一)———爬取某网址内下载链接
目标:爬取url为&quot;https://ebooks.adelaide.edu.au/meta/collections&quot;的网站目录下的所有文件下载链接(每个标题点开后的界面最下方的下载链接)nn初始思路:首先爬取首个HTML下的内容,使用xpath过滤出接下来需要爬取的url并进行拼接,然后再次使用遍历爬取后存入MongoDB(这个思路是在没有彻底分析需要下载的数据时预想的,爬取过程繁琐,优化见下面)...
Python爬虫 爬取音频文件 #只用于学习
from lxml import etreenimport requestsnimport osnfrom urllib import request,parsenurl = 'https://www.ximalaya.com/lishi/4164479/'nheaders = {n 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64)...
scrapy爬取链接
近期因为工作需要,开始学习和写爬虫,学习到了很多内容,就整理了一下发上来。n需求n这里爬虫的目的是检测网站的漏洞,因此希望做成类似于burpSuit的历史记录一样的。n初步需求是简单地爬取网站的链接,去重,尝试绕过反爬虫。n更进一步的是希望像burpsuit一样记录网站的各个连接请求,从而获取到更全面的信息。nnn网址爬虫n简单的采用urllib之类的也是可以完成爬虫的,不过为了后
使用scrapy爬取网站上的所有图片
主要的代码逻辑为: n1,从start_url开始,下载页面,根据正则表达式提取其中的图片,使用xpath提取<a>标签中的网址链接。 n2,对于获取的图片链接,先判断之前是否已经爬取过(去重),没有的话,将图片链接拼接成完整的url格式,保存到img.txt中,使用其他的下载软件更快速的下载。(没有直接使用python下载,这样方便调试,检查自己的筛选规则是否正确) n3,对于提取到的网址,首先要
python 爬虫(九)——从网站上批量爬取图片
如何从网页(例如:百度图片,搜狗图片……)等网页上批量爬取图片并将图片保存到本地呢?nn在网页当中,图片是以动态的形式进行存储和加载的,因此如果我们单纯的通过requests来获取网页的url,我们将只能得到,图片的静态的编码。因此我们就使用其他的方式来获取动态的网页图片,并实现批量爬取。nn这里以搜狗图片为例:nnnimport requestsnimport jsonnimport urlli...
java网页图片爬虫(含链接深入)
java简单的图片爬虫,输入制定的网址,则可爬取当页的图片资源。 特点在于可以进入当前页面的所有子链接,并且爬取子页面上的所有图片
批量爬取某图片网站的图片
批量爬取某图片网站的图片n声明:仅用于爬虫学习,禁止用于商业用途谋取利益n1、网页解析nnn(1)打开veer首页,F12(谷歌浏览器),输入关键字,点击搜索,点击查看如图画圈位置nnnn(2)查看search中的Headers,找到请求的URL和请求的payload,URL是请求的网址,payload是发送请求时的参数n对于各个详细的参数在代码部分会详细讲nnnn(3)查看响应(请求发出后的返回...
ubuntu下载web链接文件
ubuntu下载web链接文件 rnrn#include rn   main()rn   {rn   system("wget -O /home/keyu0915/桌面/19.cer  http://localhost:8080/text2/Do    wnload?filename=19");rn   }rn安装wgetrnsudo apt-get updaternsudo apt-get in
网站目录遍历,爬取网页链接
import requestsnnimport renfrom bs4 import BeautifulSoupnfrom lxml import etreenfrom selenium import webdrivernn#爬取地址nurl = 'http://www.baidu.com'nr = requests.get(url)nr.encoding = 'gb2312'nn# 利用 re ...
python 爬取图片网站图片链接并下载收集
python进行图片网站图片收集,主要分成如下几个部分:(1)进行网站html页面分析,分析你要找到的图片的链接,以及每个链接url是怎么构成的,如果通过爬取页面的html获取这些图片的链接(2)通过python将这些已知链接的图片下载下来注意这行代码header = {&quot;Referer&quot;:&quot;http://&quot;, &quot;User-agent&quot;:&quot;Mozilla/5.0&quot;} #输入和imagepage类...
python 爬虫爬去虾米音乐 赵雷歌词
#/usr/bin/env pythonrn# *-*coding:utf-8 *-*rnrnrn#python 3 爬取赵雷歌词rn"""rn"""rnrnfrom collections import Counterrnfrom urllib import requestrnfrom bs4 import BeautifulSoup as BSrnimport jiebarnimport os
使用爬虫爬取某电影分享网站最新电影链接 -- 基于Python Requests库
前提:nnn 我弟在搞微信群营销,使用了一个第三方微信机器人软件来群发“最新电影链接”,看着别人群里分享的各种短域名,自己却没有资源,于是来求助我,虽然对爬虫有点了解,但是从来没亲自做过爬虫,只能硬着头皮上了,于是就有了下面这个全过程。nnn准备工作:nn先是理解一下他的需求,就是想要一个最新电影的链接,然后还要可以根据群成员的提问,比如有成员发送“爱情公寓”,那么就要通过机器人返回给“爱情公寓...
酷我音乐链接转换
酷我音乐自链转换
爬取json数据网站
scrapy框架爬取网页时查看网页时查看网络,如果是post数据 就不能直接getimport scrapy,jsonclass XXXSpider(scrapy.Spider):    name = 'xxx'    allowed_domains = ['域名']    base_url = 'http://www.XXX.com'    def start_requests(self):# ...
[Python]如何简单的爬取网站上的图片。
为了熟练的运用协程,接下来的代码将用协程来实现。只是一个简单的小demo。nnnimport geventnimport urllib.requestnimport renfrom gevent import monkeynnmonkey.patch_all()nnndef main():nn web_content = open(&quot;./&quot;+&quot;1.txt&quot;,&quot;rb&quot;)n content = web...
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 如何制作网页链接视频教程 java的一些学习这个。