qazqwer12580 2017-11-27 05:29 采纳率: 0%
浏览 995

关于Python下的Beaytifulsoup爬虫

刚学爬虫,想爬房天下网站新房信息,其他都爬出来了,就是价格这个一直弄不了,各位大神帮忙看看吧import requests
from bs4 import BeautifulSoup
import time
import csv

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'}
for i in range(0,2):
link = 'http://newhouse.xian.fang.com/house/s/a77-b91/?ctm=1.xian.xf_search.page.' + str(i)
r = requests.get(link, headers=headers)
r.encoding = 'gb2312'
soup = BeautifulSoup(r.text, 'lxml')
fang_list = soup.find_all('div', class_='nlc_details')

articles = []
for fang in fang_list:
    xiaoqvming = fang.find('div', class_='nlcd_name').a.text.strip()
    huxing_list = fang.find('div', class_='house_type clearfix').text.strip()
    qvyv = fang.find('span', class_='sngrey').text.strip()
    address = fang.find('div', class_='address').text.strip()
    zhuangtai = fang.find('span', class_='inSale').text.strip()
    tags = fang.find('div', class_=['fangyuan','pr']).a.text.strip()
    price = fang.find('div', class_='nhouse_price').span.get_text()
    articles.append([xiaoqvming,huxing,qvyv,address,zhuangtai,tags,price])print (xiaoqvming,huxing,qvyv,address,zhuangtai,tags,price)![图片说明](https://img-ask.csdn.net/upload/201711/27/1511760270_282359.png)![图片说明](https://img-ask.csdn.net/upload/201711/27/1511760360_844086.png)![图片说明](https://img-ask.csdn.net/upload/201711/27/1511760297_185914.png)![图片说明](https://img-ask.csdn.net/upload/201711/27/1511760383_771431.png)
  • 写回答

1条回答 默认 最新

  • 你我渐行渐远 2017-11-29 16:19
    关注

    .span[0].get_text()

    评论

报告相同问题?

悬赏问题

  • ¥20 thinkphp适配人大金仓问题
  • ¥15 有卷积神经网络识别害虫的项目吗
  • ¥15 数据库数据成问号了,前台查询正常,数据库查询是?号
  • ¥15 算法使用了tf-idf,用手肘图确定k值确定不了,第四轮廓系数又太小才有0.006088746097507285,如何解决?(相关搜索:数据处理)
  • ¥15 彩灯控制电路,会的加我QQ1482956179
  • ¥200 相机拍直接转存到电脑上 立拍立穿无线局域网传
  • ¥15 (关键词-电路设计)
  • ¥15 如何解决MIPS计算是否溢出
  • ¥15 vue中我代理了iframe,iframe却走的是路由,没有显示该显示的网站,这个该如何处理
  • ¥15 操作系统相关算法中while();的含义