python requests后json的问题

request后json的值为空,这是什么情况,各位老师给看看,谢谢
还有怎么上传图啊,手机。

图片说明图片说明

1个回答

因为网站做了反爬,直接输入你的URL在浏览器就是空值
www.kongfz.cn/seller/trade/getlist/?pgeCurr=1&pageShow=30&_=1543988784028
可以尝试使用下requests.session()来传递cookie

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
使用python爬虫解析json
报错 JSONDecodeError: Expecting value: line 1 column 1 (char 0) 源码 # -*- coding:utf-8 -*- import requests from openpyxl import Workbook url='https://www.lagou.com/jobs/positionAjax.json?px=default&city=上海&needAddtionalResult=false' page=1 lang_name='python' def get_json(url,page,lang_name): data={'first':True,'pn':page,'kd':lang_name} json_data=requests.post(url).json() #list_con=json_data['content']['positionResult']['result'] print(json_data['content']['positionResult']['result']) get_json(url,page,lang_name)
python中msgpack转json
最近在用python的requests库做接口测试调用的是底层的接口,传入的参数json先进行了msgpack压缩后再传入,响应的是msgpack(正常响应的是json),打印出来是乱码,我想打印出来json(要msgpack转成json), msgpack.load和msgpack.unpackb 直接打印报错(图片是get请求不需要传参数),请大神们帮忙解决。 ![图片说明](https://img-ask.csdn.net/upload/201907/19/1563501482_955702.png) ![图片说明](https://img-ask.csdn.net/upload/201907/19/1563501496_760252.png)
python json解析出现No JSON object could be decoded的报错
源代码:#coding:utf-8 import requests import re import json url="http://www.newrank.cn/public/info/list.js?t=1461063208.68" user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' headers = { 'User-Agent' : user_agent } jscontent=requests.get("http://www.newrank.cn/public/info/list.js?t=1461063208.68",headers=headers).content jsdict=json.loads(jscontent) 错误信息:Traceback (most recent call last): File "D:/Python/JetBrains PyCharm 5.0.4/PyCharm 5.0.4/Myproject/test1/test2.py", line 10, in <module> jsdict=json.loads(jscontent) File "D:\Python\lib\json\__init__.py", line 339, in loads return _default_decoder.decode(s) File "D:\Python\lib\json\decoder.py", line 364, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "D:\Python\lib\json\decoder.py", line 382, in raw_decode raise ValueError("No JSON object could be decoded") ValueError: No JSON object could be decoded 是因为json的bom头问题吗,我也尝试过一些网上的去除bom头的办法,不过都不管用,还望指点,非常头疼,谢谢!
python3.5中解析json错误JSONDecodeError
代码如下,错误 json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) 试过用urllib获取这个界面后用json.loads解析,一样的报错QAQ ``` import requests url = 'http://changyan.itc.cn/v2/asset/scsUtil.js?v=20150826191' page = requests.get(url).json() ```
用python提取div里的文本
import requests from bs4 import BeautifulSoup import pprint import json url="http://www.miaomu.com/qyml/default.asp" r= requests.get(url) html=r.content.decode('gbk','ignore') soup=BeautifulSoup(html,"html.parser") articles=soup.find_all("div",{"class":"gyjtnr"}) articles![图片说明](https://img-ask.csdn.net/upload/202001/14/1578970850_103571.jpg)
(python,requests问题)请问我用如下代码获取内容时,为什么得到的并不是url链接中的内容?
![图片说明](https://img-ask.csdn.net/upload/201907/28/1564327212_214562.jpg)![图片说明](https://img-ask.csdn.net/upload/201907/28/1564327221_398715.jpg) 请问我用如下代码获取内容时,为什么得到的并不是url链接中的内容? 希望得到第二张图中的内容,而实际得到的是图一中的内容 请问问题出在哪里?应该怎么修改呢? ``` import requests url = 'https://wallhere.com/en/user/618?page=7&format=json' header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36' } res = requests.get(url, headers=header) text = res.text print(text) ```
python 小白 : 关于 curl 转换成 requests 求助
原厂给的代码 : ``` #!/bin/bash username="example_username" apiKey="example_apiKey" date=`env LANG="en_US.UTF-8" date -u "+%a, %d %b %Y %H:%M:%S GMT"` password=`echo -en "$date" | openssl dgst -sha1 -hmac $apiKey -binary | openssl enc -base64` curl -i --url "https://open.chinanetcenter.com/api/report/domainflow?datefrom=2017-11-07T00:00:00%2B08:00&dateto=2017-11-07T00:15:00%2B08:00&type=fiveminutes" \ -X "POST" \ -u "$username:$password" \ -H "Date: $date" \ -H "Accept: application/json" \ -d '<?xml version="1.0" encoding="utf-8"?> <domain-list> <domain-name>www.example1.com</domain-name> </domain-list> ' ``` 试着改成 python 一直改不出来 一直出现 ``` <Response [400]> ``` 我改成 python 应该有错吧 . ``` import requests import datetime import hmac import hashlib import base64 username = "example_username" apiKey= 'example_apiKey' now = datetime.datetime.now() nowTime = now.strftime('%a, %d %b %Y %H:%M:%S GMT') nowTime_bytes = bytes(nowTime, encoding='utf-8') value = hmac.new(apiKey, nowTime_bytes, hashlib.sha1).digest() token = base64.b64encode(value).rstrip() headers = {"Accept": "application/json", "Date": nowTime} url = 'https://open.chinanetcenter.com/api/report/domainflow' payload= {'datefrom':'2017-11-07T00:00:00%2B08:00', 'dateto':'2017-11-07T00:15:00%2B08:00', 'type': 'fiveminutes'} xml = '<?xml version="1.0" encoding="utf-8"?> <domain-list> <domain-name>www.example1.com</domain-name> </domain-list> ' r = requests.post(url, headers=headers, auth=(username, token), data=xml,params=payload) print (r) ```
关于requests库,把请求URL的json数据转换为字典类型是报错
老是报这个错误,请指导下是什么原因 ![图片说明](https://img-ask.csdn.net/upload/202001/07/1578382990_859456.png)![图片说明](https://img-ask.csdn.net/upload/202001/07/1578382997_856496.png)
爬虫处理json数据的问题
这个爬虫几个星期前都可以正常使用,可是最近却出问题了 import json import requests as rq import pandas as pd kw = input('Please input the position needs to fetch:') lagou_url = 'http://www.lagou.com/jobs/positionAjax.json?first=false&pn={0}&kd={1}' lagou_python_data = [] for i in range(1, 31): print('fetch {0} page'.format(i)) lagou_url_ = lagou_url.format(i, kw) f=rq.get(lagou_url_).text lagou_data = json.loads(f) lagou_python_data.extend(lagou_data['content']['positionResult']['result']) position_data = pd.DataFrame(lagou_python_data) position_data.to_csv('./About {0} position.csv'.format(kw), index=False) print('data has been saved') 会报json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)的错误,查了一些资料觉得可能是json格式之类的问题,可是之前都能正常使用呐,实在是弄不明白。
python 爬虫遇到问题了,这个问题怎么办
我们老师让写一个爬虫,爬东方财富每个股票的历史流动资金,我写出来后,运行程序,前面没什么问题,到后面就有问题了 代码如下:import requests import pandas import json import pymssql import re #获取股票资金流量网页的数据 def GetHtml(url): html=requests.get(url) html=html.text return html #对数据进行拆分 def CleanData(html): Str_data=html[len('jQuery1830006374794149931473_1577602052640')+1:-2] #对数据进行切割 Str_data2=json.loads(Str_data)['data'] #对无用数据进行再切分获取代码和名称 print(Str_data2['code']) code = Str_data2['code'] #股票编码 name = Str_data2['name'] #股票名称 data=[] for i in range (len(Str_data2['klines'])): data.append(Str_data2['klines'][i]) dealData(data,name,code) data.clear() Str_data2.clear() #对拆分数据进行整理 def dealData(datalist,name,code): #对列表中元素进行切片 new_datalist = ''.join(datalist) new_datalist=new_datalist.split(',') Name=name Code=code #将新列表放入数据库中 insertDatabase(new_datalist,Name,Code) new_datalist.clear() #将数据导入数据库中 def insertDatabase(datalist,Name,Code): #对新列表数据进行分类 date=datalist[0] #时间 close_price=datalist[11] #收盘价 Quote_change=datalist[12] #涨跌幅 Main_net=datalist[1] #主力净额 Main_foce=datalist[6] #主力净占比 Over_net=datalist[5] #超大单净额 Over_foce=datalist[10] #超大单净占比 Big_net=datalist[4] #大单净额 Big_foce=datalist[9] #大单净占比 Mid_net=datalist[3] #中单净额 Mid_foce=datalist[8] #中单净占比 Sm_net=datalist[2] #小单净额 Sm_foce=datalist[7] #小单净占比 data=(Name,Code,date,close_price,Quote_change,Main_net,Main_foce,Over_net,Over_foce,Big_net,Big_foce,Mid_net,Mid_foce,Sm_net,Sm_foce) sql="insert into Moneymove values (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s);" #建立连接 conn = pymssql.connect(host="localhost:1433", user="sa", password="123456", database="test", charset="UTF-8") cursor = conn.cursor() #插入测试数据 cursor.execute(sql , data) conn.commit() del data conn.close() #创建数据库 def Createdatabase(): conn = pymssql.connect(host="localhost:1433", user="sa", password="123456", database="test", charset="UTF-8") cursor = conn.cursor() cursor.execute(""" create table Moneymove( 股票代码 varchar(100), 股票名称 varchar(100), 时间 varchar(100) , 收盘价 varchar(100), 涨跌幅 varchar(100), 主流净额 varchar(100), 主流净占比 varchar(100), 超大单净额 varchar(100), 超大单净占比 varchar(100), 大单净额 varchar(100), 大单净占比 varchar(100), 中单净额 varchar(100), 中单净占比 varchar(100), 小单净额 varchar(100), 小单净占比 varchar(100) ) """) conn.commit() conn.close() # def NeedData(): # 建立连接并获取cursor conn = pymssql.connect(host="localhost:1433", user="sa", password="123456", database="test", charset="UTF-8") cursor = conn.cursor() # 如果连接时没有设置autocommit为True的话,必须主动调用commit() 来保存更改。 conn.commit() # 查询记录 cursor.execute('SELECT 股票代码 From SwClass$ ') # 获取一条记录 row = cursor.fetchone() code_list=[] # 循环打印记录(这里只有一条,所以只打印出一条) for i in range (3769): if row[0] != None: if str(row[0][0]) =='6': code='1.'+row[0] code_list.append(code) else: code = '0.'+row[0] code_list.append(code) row = cursor.fetchone() return code_list # 连接用完后记得关闭以释放资源 conn.close() def main(): Createdatabase() code_list=NeedData() print(code_list) for i in code_list: url='http://push2his.eastmoney.com/api/qt/stock/fflow/daykline/get?lmt=0&klt=101&secid='+ str(i)+'&fields1=f1,f2,f3,f7&fields2=f51,f52,f53,f54,f55,f56,f57,f58,f59,f60,f61,f62,f63,f64,f65&ut=b2884a393a59ad64002292a3e90d46a5&cb=jQuery1830006374794149931473_1577602052640&_=1577602052949' html=GetHtml(url) CleanData(html) main() 出现的问题是这个: Traceback (most recent call last): File "C:/Users/VULCAN/Desktop/爬虫实习/3.py", line 135, in <module> main() File "C:/Users/VULCAN/Desktop/爬虫实习/3.py", line 134, in main CleanData(html) File "C:/Users/VULCAN/Desktop/爬虫实习/3.py", line 25, in CleanData dealData(data,name,code) File "C:/Users/VULCAN/Desktop/爬虫实习/3.py", line 39, in dealData insertDatabase(new_datalist,Name,Code) File "C:/Users/VULCAN/Desktop/爬虫实习/3.py", line 65, in insertDatabase conn = pymssql.connect(host="localhost:1433", user="sa", password="123456", database="test", charset="UTF-8") File "src\pymssql.pyx", line 636, in pymssql.connect File "src\_mssql.pyx", line 1957, in _mssql.connect File "src\_mssql.pyx", line 675, in _mssql.MSSQLConnection.__init__ ValueError: list.remove(x): x not in list 请问各位大佬,这要如何解决?
python错误:ValueError: No JSON object could be decoded
#-*- coding:utf-8 -*- import requests from operator import itemgetter # 执行API调用并存储响应 url = 'http://hacker-news.firebaseio.com/v0/topstories.json' r = requests.get(url) print("Status code:", r.status_code) # 处理有关每篇文章的信息 submission_ids = r.json() submission_dicts = [] for submission_id in submission_ids[:30]: # 对于每篇文章,都执行一个API调用 url = ('http://hacker-news.firebaseio.com/v0/item/' + str(submission_id) + '.json') submission_r = requesets.get(url) print(submisssion_r.status_code) reponse_dict = submission_r.json() submission_dict = { 'title': resopnse_dict['title'], 'link': 'http://news.ycombinator.com/item?id=' + str(submission_id), 'comments': response_dict.get('descendants', 0) } submission_dicts.append(submission_dict) submission_dicts = sorted(submission_dicts, key=itemgetter('comments'), recerse=Ture) for submission_dict in submission_dicts: print("/nTitle:", submission_dict['title']) print("Discussion link:", submission_dict['link']) print("Comeents", submission_dict['comments'])
Python爬取网页用json解析时出现'unicode' object has no attribute 'get'的错误
import json import requests from bs4 import BeautifulSoup headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'} data={'form':'news_webapp', 'pd':'webapp', 'os':'android', 'ver':6, 'category_name':'汽车', 'category_id':'', 'action':0, 'display_time':1559091497963, 'mid':'110B561D1D1B9ABD25614852D9CA61CD:FG=1'} urls='https://news.baidu.com/sn/api/feed_channellist' res=requests.post(urls,data=data,headers=headers) js=json.loads(res.text) if data and 'data' in js.keys(): for link in js.get('data'): print link.get('news')
python获取邮箱的内容后,怎么取到里面的验证码
# 连接到POP3服务器: server = poplib.POP3(pop3_server) # 可以打开或关闭调试信息: # server.set_debuglevel(1) # 可选:打印POP3服务器的欢迎文字: print(server.getwelcome().decode('utf-8')) # 身份认证: server.user(email) server.pass_(password) # stat()返回邮件数量和占用空间: print('Messages: %s. Size: %s' % server.stat()) # list()返回所有邮件的编号: resp, mails, octets = server.list() # 可以查看返回的列表类似[b'1 82923', b'2 2184', ...] # print(mails) # 获取最新一封邮件, 注意索引号从1开始: index = len(mails) resp, lines, octets = server.retr(index) # lines存储了邮件的原始文本的每一行, # 可以获得整个邮件的原始文本: msg_content = b'\r\n'.join(lines).decode('utf-8') # 稍后解析出邮件: msg = Parser().parsestr(msg_content) print_info(msg) ![图片说明](https://img-ask.csdn.net/upload/201912/05/1575552952_417417.png) 全部源码如下: # -*- coding: utf-8 -*- from email.parser import Parser from email.header import decode_header from email.utils import parseaddr import poplib import requests import json import re # 输入邮件地址, 口令和POP3服务器地址: email = "123456789@qq.com" password = "abcdefg" pop3_server = "pop.qq.com" # 文本邮件的内容也是str,还需要检测编码,否则,非UTF-8编码的邮件都无法正常显示 def guess_charset(msg): charset = msg.get_charset() if charset is None: content_type = msg.get('Content-Type', '').lower() pos = content_type.find('charset=') if pos >= 0: charset = content_type[pos + 8:].strip() return charset def decode_str(s): # decode_header()返回一个list 偷懒,只取了第一个元素 value, charset = decode_header(s)[0] if charset: value = value.decode(charset) return value def print_info(msg, indent=0): if indent == 0: for header in ['From', 'To', 'Subject']: value = msg.get(header, '') if value: if header=='Subject': value = decode_str(value) else: hdr, addr = parseaddr(value) name = decode_str(hdr) value = u'%s <%s>' % (name, addr) print('%s%s: %s' % (' ' * indent, header, value)) if (msg.is_multipart()): parts = msg.get_payload() for n, part in enumerate(parts): print('%spart %s' % (' ' * indent, n)) print('%s--------------------' % (' ' * indent)) print_info(part, indent + 1) else: content_type = msg.get_content_type() if content_type=='text/plain' or content_type=='text/html': content = msg.get_payload(decode=True) charset = guess_charset(msg) if charset: content = content.decode(charset) print('%sText: %s' % (' ' * indent, content + '...')) else: print('%sAttachment: %s' % (' ' * indent, content_type)) # 连接到POP3服务器: server = poplib.POP3(pop3_server) # 可以打开或关闭调试信息: # server.set_debuglevel(1) # 可选:打印POP3服务器的欢迎文字: print(server.getwelcome().decode('utf-8')) # 身份认证: server.user(email) server.pass_(password) # stat()返回邮件数量和占用空间: print('Messages: %s. Size: %s' % server.stat()) # list()返回所有邮件的编号: resp, mails, octets = server.list() # 可以查看返回的列表类似[b'1 82923', b'2 2184', ...] # print(mails) # 获取最新一封邮件, 注意索引号从1开始: index = len(mails) resp, lines, octets = server.retr(index) # lines存储了邮件的原始文本的每一行, # 可以获得整个邮件的原始文本: msg_content = b'\r\n'.join(lines).decode('utf-8')\ # 稍后解析出邮件: msg = Parser().parsestr(msg_content) print_info(msg)
通过python去爬网站,但是无法获取网站cookies。
1、尝试用python抓取网站里的一个值,页面是login.aspx,首先向页面抓取cookies,但是获取到的结果显示为 ```<RequestsCookieJar[<Cookie ASP.NET_SessionId=li5evtzfavnsshcvsiwhihyb for 10.23.10.20/>, <Cookie UICulture=ZH-CN for 10.23.10.20/>]>``` 2、我的步骤是这样: 首先打开登入界面,10.23.10.20/login.aspx: ![图片说明](https://img-ask.csdn.net/upload/201912/13/1576218442_193246.jpg) 然后点击登入后跳转到新页面,http://10.23.10.20/index.aspx ![图片说明](https://img-ask.csdn.net/upload/201912/13/1576217736_206768.jpg) 3、我的代码如下: ``` import requests session = requests.session() headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36', 'content-type': 'application/json' } url = 'http://10.23.10.20/Login.aspx' data = { '__EVENTTARGET':'', '__EVENTARGUMENT':'', '__LASTFOCUS':'', '__VIEWSTATE': '/wEPDwUKLTU4MDcwODY1NA9kFgICAw9kFgoCBA8QDxYGHg1EYXRhVGV4dEZpZWxkBQdSZXNOYW1lHg5EYXRhVmFsdWVGaWVsZAUIUGFyYUNvZGUeC18hRGF0YUJvdW5kZ2QQFQMM566A5L2T5Lit5paHBuiLseaWhwznuYHkvZPkuK3mlocVAwVaSC1DTgVFTi1VUwVaSC1ISxQrAwNnZ2cWAWZkAgUPDxYCHgdWaXNpYmxlaGRkAgYPDxYCHwNoZGQCBw8PFgIeBFRleHQFEumqjOivgeeggeW3suemgeeUqGRkAgsPDxYEHghDc3NDbGFzcwUFc3ViYnQeBF8hU0ICAmRkZDv8A1G1UoCThtCFhAOH9WUJNdJM/dRKUFJVTapERgX8', '__VIEWSTATEGENERATOR': 'C2EE9ABB', 'txtUserName': 'admin', 'txtPSW': '123456', 'HiddenField1':'', 'HiddenField2':'', 'UICultureDropDownList': 'ZH-CN', 'LoginButton':'' } session.post(url, headers=headers, data=data) cookies = session.cookies print(cookies) ``` 获取到的结果就是第一步写结果,得到的cookies不对。 我查看登入后index.aspx的resquest headers内容,如下图: ![图片说明](https://img-ask.csdn.net/upload/201912/13/1576218072_179501.jpg) 个人认为系统的cookies应该是红框里面显示的。 所以不知道是我哪里错误了?取不到正确的cookies。 完整的截图: ![图片说明](https://img-ask.csdn.net/upload/201912/13/1576225689_54923.jpg) ![图片说明](https://img-ask.csdn.net/upload/201912/13/1576225770_664683.jpg)
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
import requests import json url='https://c.y.qq.com/soso/fcgi-bin/client_search_cp' headers = { 'referer':'https://y.qq.com/portal/search.html', 'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36' } for i in range(3): params = { 'ct':'24', 'qqmusic_ver':'1298', 'remoteplace':'txt.yqq.lyric', 'searchid':'93038333267724521', 'aggr':'0', 'catZhida':'1', 'lossless':'0', 'sem':'1', 't':'7', 'p':str(i+1), 'n':'5', 'w':'周杰伦', 'g_tk':'5381', 'loginUin':'0', 'hostUin':'0', 'format':'json', 'inCharset':'utf8', 'outCharset':'utf-8', 'notice':'0', 'platform':'yqq.json', 'needNewCode':'0' } res=requests.get(url,headers=headers,params=params) res_music=json.loads(res.text, strict=False) list_music=res_music['data']['lyric']['list'] for x in list_music: song_name=x['songname'] singer=x['singer'][0]['name'] album=x['albumname'] lyric=x['content'] url=x['download_url'] print('歌曲:' + song_name + ' 歌手:' + singer) print('专辑:' + album + '\n') print('URL:' + url + '\n') print('歌词:\n'+ lyric +'\n\n--------------------------------------') print('这是第%s页'%(i+1)) 用json爬QQ音乐报错: Traceback (most recent call last): File "f:/py练习/爬QQ音乐进阶.py", line 33, in <module> res_music=json.loads(res.text, strict=False) File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\json\__init__.py", line 361, in loads return cls(**kw).decode(s) File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\json\decoder.py", line 337, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "C:\Users\Administrator\AppData\Local\Programs\Python\Python37\lib\json\decoder.py", line 355, in raw_decode raise JSONDecodeError("Expecting value", s, err.value) from None json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
python3.8用pyinstaller3.5导不出exe提示TypeError: an integer is required (got type bytes)
我开始以为是我代码出问题, 后来发先即使我的代码是 print ("Hello World!") 都会出现相同的问题 import requests url="https://ar.**d.cn/users/20000" headers = {"Authorization": "Basic NDM1NzY1OTU6ckgyNzdadXpaZi96VUh4b1g3bVZNQkpNMmtUZm5XUjF2ZEdwNWhlVDlDRVlzMjMvV2VBeUJaQWtyR0h2NHcvb1FTTFJjeWNxc1h******UlsS0ZpVEh5TVM5WW96cjR1SURoNkhqSFhLRkNvUWMyZ0kyNUNZTzRXYnM5aUFKRklEMjJXM3lGOE5MeklTYnF0b2g2SXB5QWo0b2FvOUR6KzRHYTlwRGNjamw2S2k3Umw2SUdKZi9Od2ZXSkFsRmJOUnliRzh3T0tZNFEySGpkbHFTSnIxc0pZa0h3TEY4enE4OEt1U3V4TzJzU29j"} r = requests.get(url, headers=headers) print (r.json()) 上面是我之前的代码,测试运行都是没问题的,但是打包exe就出错了 ![图片说明](https://img-ask.csdn.net/upload/201911/07/1573062806_777820.jpg)
python 里面的方法(函数)无法执行
![图片说明](https://img-ask.csdn.net/upload/201912/04/1575463067_99351.png) 代码如下 ``` import urllib.request as ur import ssl import json import re import smtplib from email.mime.text import MIMEText context = ssl._create_unverified_context() def fasongdata(title,neirong): mailserver = "smtp.qq.com" # 邮箱服务器地址 username_send = '1715082070@qq.com' # 邮箱用户名 password = 'uloboyvbhdgabcbj' # 邮箱密码:需要使用授权码 username_recv = '1715082070@qq.com' # 收件人,多个收件人用逗号隔开 mail = MIMEText(neirong) mail['Subject'] = title mail['From'] = username_send # 发件人 mail['To'] = username_recv # 收件人;[]里的三个是固定写法,别问为什么,我只是代码的搬运工 # smtp = smtplib.SMTP(mailserver, port=25) # 连接邮箱服务器,smtp的端口号是25 smtp=smtplib.SMTP_SSL('smtp.qq.com',port=465) #QQ邮箱的服务器和端口号 smtp.login(username_send, password) # 登录邮箱 smtp.sendmail(username_send, username_recv, mail.as_string()) # 参数分别是发送者,接收者,第三个是把上面的发送邮件的内容变成字符串 smtp.quit() # 发送完毕后退出smtp print('发送邮件成功') def chaxu1(token,date): url='https://api.moguding.net:9000/attendence/clock/v1/list' data_s={"currPage":"1","pageSize":"10","startTime": str(date)+" 00:00:00","planId":"aa64c3a6aea631d42b3705772e164d15","endTime":"2020-12-31 23:59:59"} headers = { 'Authorization': token, 'Content-Type': 'application/json; charset=UTF-8', 'User-Agent': 'Mozilla/5.0 (Linux; U; Android 8.1.0; zh-cn; vivo X9s Build/OPM1.171019.019) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30', } data = json.dumps(data_s) try: requert = ur.Request(url=url,data=data.encode(),context=context) print('1') print(ur.urlopen(requert).read().decode()) except: pass def qiandao(token,username): data_s={ 'country': '中国', 'address': '湖北省 · 中国农业银行', 'province': '湖北省', 'city': '湖北省', 'latitude': '30.336959', 'type': 'START', 'longitude': '113.429182' } url = 'https://api.moguding.net:9000/attendence/clock/v1/save' headers = { 'Authorization': token, 'Content-Type': 'application/json; charset=UTF-8', 'User-Agent':'Mozilla/5.0 (Linux; U; Android 8.1.0; zh-cn; vivo X9s Build/OPM1.171019.019) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30' } data=json.dumps(data_s) requests=ur.Request(url=url,data=data.encode("utf-8"),headers=headers) try: html = json.loads(ur.urlopen(requests, context=context).read().decode()) html=html['data']['createTime'][:10] print('我是一',username) print('我是二',html) chaxu1(token,html) except Exception as e: pass def logo(username,passwd): logo_data = { "phone":username, "password":passwd, "loginType":"android" } request_logo = ur.Request( url = 'https://api.moguding.net:9000/session/user/v1/login', data =json.dumps(logo_data).encode(), headers = { 'Content-Type':'application/json; charset=UTF-8' } ) try: token = json.loads(ur.urlopen(request_logo,context=context).read().decode())['data']['token'] qiandao(token,username) except Exception as e: datad = '<urlopen error Remote end closed connection without response>' if datad==str(e): print('网络连接超时') else: # print('账号或密码输入错误') return username+'账号或密码输入错误' pass if __name__ == '__main__': # qiandao('eyJhbGciOiJIUzUxMiJ9.eyJpc3MiOiJtb2d1ZGluZy11c2VyIiwic3ViIjoie1wibG9naW5UeXBlXCI6XCJhbmRyb2lkXCIsXCJ1c2VySWRcIjoxMDEyMjQ2Mjd9IiwiYXVkIjoibW9ndWRpbmciLCJleHAiOjE4OTEwMDU4MTUsIm5iZiI6MTU3NTM4NTcxNSwiaWF0IjoxNTc1Mzg2NjE1fQ.cNDpwYjwAIUS3bMhOQdEOQXoTpyFCx5UWQ3YBKINJEqDiVAwhV4W0ID3U19q6lNgtDUjx8yWucgrtSf0gGwMFw','123') list=[] for data in open('zhanghaomim.txt','r',encoding='utf-8'): data=re.sub('\n','',data) list.append(data) if len(list) % 2 == 0: for i in range(len(list)): if i%2==0: logo(list[i],list[i+1]) else: # print('zhanghaomim.txt这个文件账号密码不完整') pass ```
求助,python 解析爬取的网页源码中的json部分
爬下来的网页源码有一部分是这样的 : ![图片说明](https://img-ask.csdn.net/upload/201603/11/1457684608_605734.jpg) 中间那一部分是json吧?要怎么才能解析成像浏览器那样的好继续抓取所要的信息? 说部分是因为有另外一些是正常的html,就中间这一部分想要的信息就这样两行超级长的延伸。。。也使用过json.load()来解析,不想显示错误“没有可以解析的json对象”。 这两行中还有一部分“}\u0026nick\u003d${nick}\u0026rn\u003d${rn}\u0026stats...”应该是unicode的编码,也不知道要怎么办。。 我是想要从淘宝上爬些衣服的图片下来,从首页开始,爬出其中分页的链接,然后拿到分页的源码后要解析出图片的url时出的问题。 下面是部分代码: url = 'https://www.taobao.com' header = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/601.4.4 (KHTML, like Gecko) Version/9.0.3 Safari/601.4.4'} cookie = {"cookies":'mt="ci=10_1";uc1="cookie14=UoWyia%2Bf0iS5lw%3D%3D&cookie16=VT5L2FSpNgq6fDudInPRgavC%2BQ%3D%3D&existShop=false&cookie21=U%2BGCWk%2F7pY%2FF&tag=7&cookie15=UIHiLt3xD8xYTw%3D%3D&pas=0"'} html = requests.get(url) #解析html,xml转义字符 html_parser = HTMLParser.HTMLParser() text = html_parser.unescape(html.text) # soup = BeautifulSoup(html.text) #用xpath来提取链接,如"打底羊毛衫"这个类别 selector = etree.HTML(text) sub_url = selector.xpath('//*[@id="J_Top"]/div/div[1]/div/div/div/div[3]/div[1]/div/div/div[1]/a[1]/@href') print sub_url[0] sub_html = requests.get(sub_url[0]) sub_text = html_parser.unescape(sub_html.text) # soup = BeautifulSoup(sub_html.text,"lxml") # print soup.prettify() print sub_text ``` ```
想请教一下使用selenium请求网页和requests.get 获取网页的区别
最近刚开始学习selenium,想知道自己的理解对不对,使用selenium模拟登录网页的话可以直接去搜索网页检查里面出现的内容,是经json等文件渲染之后的网页,而requests获取的网页是网页源代码?是这样的区别吗 不知道自己的理解对不对。
爬虫福利二 之 妹子图网MM批量下载
爬虫福利一:27报网MM批量下载    点击 看了本文,相信大家对爬虫一定会产生强烈的兴趣,激励自己去学习爬虫,在这里提前祝:大家学有所成! 目标网站:妹子图网 环境:Python3.x 相关第三方模块:requests、beautifulsoup4 Re:各位在测试时只需要将代码里的变量 path 指定为你当前系统要保存的路径,使用 python xxx.py 或IDE运行即可。
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、PDF搜索网站推荐 对于大部
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 顺便拉下票,我在参加csdn博客之星竞选,欢迎投票支持,每个QQ或者微信每天都可以投5票,扫二维码即可,http://m234140.nofollow.ax.
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入  假设现有4个人
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 欢迎 改进 留言。 演示地点跳到演示地点 html代码如下`&lt;!DOCTYPE html&gt; &lt;html&gt; &lt;head&gt; &lt;title&gt;music&lt;/title&gt; &lt;meta charset="utf-8"&gt
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。 1. for - else 什么?不是 if 和 else 才
数据库优化 - SQL优化
前面一篇文章从实例的角度进行数据库优化,通过配置一些参数让数据库性能达到最优。但是一些“不好”的SQL也会导致数据库查询变慢,影响业务流程。本文从SQL角度进行数据库优化,提升SQL运行效率。 判断问题SQL 判断SQL是否有问题时可以通过两个表象进行判断: 系统级别表象 CPU消耗严重 IO等待严重 页面响应时间过长
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 c/c++ 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7
通俗易懂地给女朋友讲:线程池的内部原理
餐厅的约会 餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”我楞了一下,心里想女朋友今天是怎么了,怎么突然问出这么专业的问题,但做为一个专业人士在女朋友面前也不能露怯啊,想了一下便说:“我先给你讲讲我前同事老王的故事吧!” 大龄程序员老王 老王是一个已经北漂十多年的程序员,岁数大了,加班加不动了,升迁也无望,于是拿着手里
经典算法(5)杨辉三角
写在前面: 我是 扬帆向海,这个昵称来源于我的名字以及女朋友的名字。我热爱技术、热爱开源、热爱编程。技术是开源的、知识是共享的。 这博客是对自己学习的一点点总结及记录,如果您对 Java、算法 感兴趣,可以关注我的动态,我们一起学习。 用知识改变命运,让我们的家人过上更好的生活。 目录一、杨辉三角的介绍二、杨辉三角的算法思想三、代码实现1.第一种写法2.第二种写法 一、杨辉三角的介绍 百度
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹
面试官:你连RESTful都不知道我怎么敢要你?
面试官:了解RESTful吗? 我:听说过。 面试官:那什么是RESTful? 我:就是用起来很规范,挺好的 面试官:是RESTful挺好的,还是自我感觉挺好的 我:都挺好的。 面试官:… 把门关上。 我:… 要干嘛?先关上再说。 面试官:我说出去把门关上。 我:what ?,夺门而去 文章目录01 前言02 RESTful的来源03 RESTful6大原则1. C-S架构2. 无状态3.统一的接
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看
SQL-小白最佳入门sql查询一
一 说明 如果是初学者,建议去网上寻找安装Mysql的文章安装,以及使用navicat连接数据库,以后的示例基本是使用mysql数据库管理系统; 二 准备前提 需要建立一张学生表,列分别是id,名称,年龄,学生信息;本示例中文章篇幅原因SQL注释略; 建表语句: CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // dosho
【图解经典算法题】如何用一行代码解决约瑟夫环问题
约瑟夫环问题算是很经典的题了,估计大家都听说过,然后我就在一次笔试中遇到了,下面我就用 3 种方法来详细讲解一下这道题,最后一种方法学了之后保证让你可以让你装逼。 问题描述:编号为 1-N 的 N 个士兵围坐在一起形成一个圆圈,从编号为 1 的士兵开始依次报数(1,2,3…这样依次报),数到 m 的 士兵会被杀死出列,之后的士兵再从 1 开始报数。直到最后剩下一士兵,求这个士兵的编号。 1、方
致 Python 初学者
文章目录1. 前言2. 明确学习目标,不急于求成,不好高骛远3. 在开始学习 Python 之前,你需要做一些准备2.1 Python 的各种发行版2.2 安装 Python2.3 选择一款趁手的开发工具3. 习惯使用IDLE,这是学习python最好的方式4. 严格遵从编码规范5. 代码的运行、调试5. 模块管理5.1 同时安装了py2/py35.2 使用Anaconda,或者通过IDE来安装模
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,
程序员:我终于知道post和get的区别
IT界知名的程序员曾说:对于那些月薪三万以下,自称IT工程师的码农们,其实我们从来没有把他们归为我们IT工程师的队伍。他们虽然总是以IT工程师自居,但只是他们一厢情愿罢了。 此话一出,不知激起了多少(码农)程序员的愤怒,却又无可奈何,于是码农问程序员。 码农:你知道get和post请求到底有什么区别? 程序员:你看这篇就知道了。 码农:你月薪三万了? 程序员:嗯。 码农:你是怎么做到的? 程序员:
《程序人生》系列-这个程序员只用了20行代码就拿了冠军
你知道的越多,你不知道的越多 点赞再看,养成习惯GitHub上已经开源https://github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 前言 这一期不算《吊打面试官》系列的,所有没前言我直接开始。 絮叨 本来应该是没有这期的,看过我上期的小伙伴应该是知道的嘛,双十一比较忙嘛,要值班又要去帮忙拍摄年会的视频素材,还得搞个程序员一天的Vlog,还要写BU
加快推动区块链技术和产业创新发展,2019可信区块链峰会在京召开
      11月8日,由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办,科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。   区块链技术被认为是继蒸汽机、电力、互联网之后,下一代颠覆性的核心技术。如果说蒸汽机释放了人类的生产力,电力解决了人类基本的生活需求,互联网彻底改变了信息传递的方式,区块链作为构造信任的技术有重要的价值。   1
程序员把地府后台管理系统做出来了,还有3.0版本!12月7号最新消息:已在开发中有github地址
第一幕:缘起 听说阎王爷要做个生死簿后台管理系统,我们派去了一个程序员…… 996程序员做的梦: 第一场:团队招募 为了应对地府管理危机,阎王打算找“人”开发一套地府后台管理系统,于是就在地府总经办群中发了项目需求。 话说还是中国电信的信号好,地府都是满格,哈哈!!! 经常会有外行朋友问:看某网站做的不错,功能也简单,你帮忙做一下? 而这次,面对这样的需求,这个程序员
网易云6亿用户音乐推荐算法
网易云音乐是音乐爱好者的集聚地,云音乐推荐系统致力于通过 AI 算法的落地,实现用户千人千面的个性化推荐,为用户带来不一样的听歌体验。 本次分享重点介绍 AI 算法在音乐推荐中的应用实践,以及在算法落地过程中遇到的挑战和解决方案。 将从如下两个部分展开: AI 算法在音乐推荐中的应用 音乐场景下的 AI 思考 从 2013 年 4 月正式上线至今,网易云音乐平台持续提供着:乐屏社区、UGC
【技巧总结】位运算装逼指南
位算法的效率有多快我就不说,不信你可以去用 10 亿个数据模拟一下,今天给大家讲一讲位运算的一些经典例子。不过,最重要的不是看懂了这些例子就好,而是要在以后多去运用位运算这些技巧,当然,采用位运算,也是可以装逼的,不信,你往下看。我会从最简单的讲起,一道比一道难度递增,不过居然是讲技巧,那么也不会太难,相信你分分钟看懂。 判断奇偶数 判断一个数是基于还是偶数,相信很多人都做过,一般的做法的代码如下
日均350000亿接入量,腾讯TubeMQ性能超过Kafka
整理 | 夕颜出品 | AI科技大本营(ID:rgznai100) 【导读】近日,腾讯开源动作不断,相继开源了分布式消息中间件TubeMQ,基于最主流的 OpenJDK8开发的
8年经验面试官详解 Java 面试秘诀
    作者 | 胡书敏 责编 | 刘静 出品 | CSDN(ID:CSDNnews) 本人目前在一家知名外企担任架构师,而且最近八年来,在多家外企和互联网公司担任Java技术面试官,前后累计面试了有两三百位候选人。在本文里,就将结合本人的面试经验,针对Java初学者、Java初级开发和Java开发,给出若干准备简历和准备面试的建议。   Java程序员准备和投递简历的实
面试官如何考察你的思维方式?
1.两种思维方式在求职面试中,经常会考察这种问题:北京有多少量特斯拉汽车? 某胡同口的煎饼摊一年能卖出多少个煎饼? 深圳有多少个产品经理? 一辆公交车里能装下多少个乒乓球? 一
相关热词 c#选择结构应用基本算法 c# 收到udp包后回包 c#oracle 头文件 c# 序列化对象 自定义 c# tcp 心跳 c# ice连接服务端 c# md5 解密 c# 文字导航控件 c#注册dll文件 c#安装.net
立即提问

相似问题

2
python2.7上传中文名文件到企业微信,返回media_id为空
1
python错误:ValueError: No JSON object could be decoded
2
python 爬取php页面信息返回内容为空
2
python爬虫的奇葩错误,socket.gaierror: [Errno 11001] getaddrinfo failed
1
想请教一下使用selenium请求网页和requests.get 获取网页的区别
2
Python爬取网页用json解析时出现'unicode' object has no attribute 'get'的错误
2
python中msgpack转json
1
python爬取需要登录的网站并获取下载链接进行下载
0
(python,requests问题)请问我用如下代码获取内容时,为什么得到的并不是url链接中的内容?
1
python简单爬虫正常运行遍历,没有报错,但最后csv文件为什么只保存了一条信息
2
pandas写入csv,字段行业一直重复怎么解决???
1
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
1
爬虫问题(模拟请求不回应?)
1
爬虫过程中遇到报错:ValueError: can only parse strings
2
python3.8用pyinstaller3.5导不出exe提示TypeError: an integer is required (got type bytes)
1
python 小白 : 关于 curl 转换成 requests 求助
1
python中报TypeError: __init__() missing 2 required positional arguments: 'url' and 'method'
2
这是周杰伦歌名提取训练,请问字典提取那一步首个['data']是哪里来的?
1
【帮帮孩子】scrapy框架请问如何在parse函数中调用已有的参数来构造post请求获得回传的数据包呀
1
python 里面的方法(函数)无法执行