qazqwer12580 2017-11-27 05:29 采纳率: 0%
浏览 995

关于Python下的Beaytifulsoup爬虫

刚学爬虫,想爬房天下网站新房信息,其他都爬出来了,就是价格这个一直弄不了,各位大神帮忙看看吧import requests
from bs4 import BeautifulSoup
import time
import csv

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'}
for i in range(0,2):
link = 'http://newhouse.xian.fang.com/house/s/a77-b91/?ctm=1.xian.xf_search.page.' + str(i)
r = requests.get(link, headers=headers)
r.encoding = 'gb2312'
soup = BeautifulSoup(r.text, 'lxml')
fang_list = soup.find_all('div', class_='nlc_details')

articles = []
for fang in fang_list:
    xiaoqvming = fang.find('div', class_='nlcd_name').a.text.strip()
    huxing_list = fang.find('div', class_='house_type clearfix').text.strip()
    qvyv = fang.find('span', class_='sngrey').text.strip()
    address = fang.find('div', class_='address').text.strip()
    zhuangtai = fang.find('span', class_='inSale').text.strip()
    tags = fang.find('div', class_=['fangyuan','pr']).a.text.strip()
    price = fang.find('div', class_='nhouse_price').span.get_text()
    articles.append([xiaoqvming,huxing,qvyv,address,zhuangtai,tags,price])print (xiaoqvming,huxing,qvyv,address,zhuangtai,tags,price)![图片说明](https://img-ask.csdn.net/upload/201711/27/1511760270_282359.png)![图片说明](https://img-ask.csdn.net/upload/201711/27/1511760360_844086.png)![图片说明](https://img-ask.csdn.net/upload/201711/27/1511760297_185914.png)![图片说明](https://img-ask.csdn.net/upload/201711/27/1511760383_771431.png)
  • 写回答

1条回答

  • 你我渐行渐远 2017-11-29 16:19
    关注

    .span[0].get_text()

    评论

报告相同问题?

悬赏问题

  • ¥50 导入文件到网吧的电脑并且在重启之后不会被恢复
  • ¥15 (希望可以解决问题)ma和mb文件无法正常打开,打开后是空白,但是有正常内存占用,但可以在打开Maya应用程序后打开场景ma和mb格式。
  • ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
  • ¥20 腾讯企业邮箱邮件可以恢复么
  • ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗?
  • ¥15 错误 LNK2001 无法解析的外部符号
  • ¥50 安装pyaudiokits失败
  • ¥15 计组这些题应该咋做呀
  • ¥60 更换迈创SOL6M4AE卡的时候,驱动要重新装才能使用,怎么解决?
  • ¥15 让node服务器有自动加载文件的功能