qq_40406414 2017-11-23 03:12 采纳率: 0%
浏览 1071

python爬取网易国内新闻无输出

import bs4
import requests
from bs4 import BeautifulSoup
def getHtmlText(url):
try:
r=requests.get(url)
r.raise_for_status()
r.encoding=r.apparent_enconding
return r.text
except:
return""
def getheadersList(slist,url):
html=getHtmlText(url)
soup=BeautifulSoup(html,"html.parser")
ul=soup.find_all('ul',attrs={"class":"idx_cm_list idx_cm_list_h"})
for a in ul:
title=ul.find_all('a')
slist.append(title.get('href'))

    for i in range(len(slist)):
        surl=slist[i]
        nhtml=getHtmlText(surl)
        soup=BeautifulSoup(nhtml,"html.parser")
        nheader=soup.find_all('div',attrs={"class":"post_content_main"})
        content=soup.find_all('div',attrs={"class":"post_text"})
        print(nheader.find_all('h1').string)
        print(content.get_text())
        print('-------------------------分割线-----------------------')

def main():
url="http://news.163.com/domestic/"
slist=[]
main()

  • 写回答

2条回答 默认 最新

  • JPF1024 2017-11-23 05:38
    关注

    估计是被拦截了把,你试试百度新闻的

    评论

报告相同问题?

悬赏问题

  • ¥15 高德地图点聚合中Marker的位置无法实时更新
  • ¥15 DIFY API Endpoint 问题。
  • ¥20 sub地址DHCP问题
  • ¥15 delta降尺度计算的一些细节,有偿
  • ¥15 Arduino红外遥控代码有问题
  • ¥15 数值计算离散正交多项式
  • ¥30 数值计算均差系数编程
  • ¥15 redis-full-check比较 两个集群的数据出错
  • ¥15 Matlab编程问题
  • ¥15 训练的多模态特征融合模型准确度很低怎么办