python爬虫制作接口怎么做

python爬虫, 需要包装成接口,提供一个 url 给 别人用,效果是 打开 这个 url 就自动运行爬虫了。请教下怎么搞, 希望可以说的稍微具体,详细点

2个回答

你做一个简单的web网站,部署到云服务器上,有一个公网ip,把这个地址给别人。
开发简单的web网站可以用现成的框架,代码很简单,参考:https://www.cnblogs.com/sunshine-1/p/7372934.html
你也可以google下其中提到的内容。

l1159015838
殇夜07 多谢。看来得回头好好看看web框架了
一年多之前 回复

你可以看一下基于tornado的爬虫, http://www.tornadoweb.org/en/stable/guide/queues.html

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
python制作简单的爬虫
该爬虫只是简单的爬去了一个小网站上的图片:1# encoding:utf-8 2 import urllib 3 import re 4 #该函数传入URL获得该url所对应的html源代码 5 def gethtml(url): 6 page = urllib.urlopen(url) 7 html = page.read() 8 return
python简易爬虫制作
编译环境:pycharm 4.5.3 python版本:3.5.1 首先从pycharm库中下载并安装BeautifulSoup4,lxml,requests,time插件 以KnewOne为例: from bs4 import BeautifulSoup import requests import time url='https://knewone.com/things'
用Python制作简单的爬虫---爬虫基本思想
以http://rmfygg.court.gov.cn/psca/lgnot/bulletin/page/0_0.html 这个网站为例,我们爬取的深度只有一层,只是通过这个例子简单阐述爬虫的基本思想: </p><p>先上图贴代码:</p><pre name="code" class="python"># -*- coding: utf-8 -*-...
Python爬虫 | Python爬虫入门
https://zhuanlan.zhihu.com/p/21377121?refer=xmucpp
【python爬虫】python爬虫demo
我在入门python爬虫的时候,在网上找demo,找了好久都找不到,好不容易找到了一个,但是又跑不起来。 我把一个简易的demo贴出来。 使用 BeautifulSoup 库 抓取 酷狗音乐TOP500 第1页到第9页的音乐歌名、歌手、时长、链接 1、需要先安装 requests 库和BeautifulSoup 库 ,自行百度 2、Demo import ...
利用flask构造爬虫接口(python初级)
爬虫很多时候除了能够做成项目在服务器上跑以外,还可以做成接口的形式够其他语言调用,即爬虫可以实时的镶嵌到app,web或者其他场景下,当有客户调用时就会启动,无人调用时,就静静的待着。下面说一下利用python中的flask框架来写一个简单的爬虫来供其他语言调用。初级入门很简单的web框架和爬虫之间的结合应用。如果有其他的应用需求,请自行研究。 首先,导包不解释了,自行安装flask就可以了。 ...
Python爬虫爬取百度搜索内容接口-xpath
先占个坑
Python爬虫电脑端User-Agent池接口
import random # 先定义一个空的User—Agent列表 userAgent_list = [] # 向空列表追加各个浏览器的User—Agent值 # Opera userAgent_list.append(     'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom...
python爬虫入门教程(三):淘女郎爬虫 ( 接口解析 | 图片下载 )
python爬虫入门教程(三):淘女郎爬虫 ( 接口解析 | 图片下载 ) 时隔好久,爬虫教程终于更新了。不好意思啊= = 这篇教程主要讲如何将网络上的图片保存到本地来,以及如何利用接口解析完成动态页面的抓取。 本来是想依然用“妹子图”站点来演示的,结果点击去一看,没想到只过去一年,里面的图片却尺度越来越大了。。。还是算了。 看了一下,还是用“淘女郎”来演示吧,这也是一个用的比较多的例子。...
python爬虫(机器学习数据集的制作方式之一)
好多python学习的书籍,最后一章,都会以python爬虫作为收尾的考核学习。 在我看来,这个只是机器学习的开始。 因为现在主流的 统计机器学习,都是需要训练集的。而训练集的收集,除了在网上找一些别人已经收集好的。还需要自己能够收集数据!  自己的训练网络,自己的数据适应性肯定是最好的。如果用别人的 训练集,还得按照别人的训练集是否有Label ,来确定自己是否为有监督模型。  总之!自己
python 爬虫(二) 爬虫知乎 制作成电子书发送到kindle
平时关注比较多的知乎话题,上网的状态下看着会容易走神,所以写了个python脚本用来抓取自己喜欢的问题,然后推送到自己kinle看。 代码: python爬虫 推送知乎文章到kindle电子书
python爬虫之图片爬虫
爬取图片http://www.ivsky.com的网站 把图片素材下的18个类别,每个类别的前20页,每页的18个合集,每个合集中大约有10多张图片,下载到本地,大约有6万多张图片,一百多行代码完成。 import os import re from urllib import request from bs4 import BeautifulSoup def get_data(url): ...
Python爬虫---一个爬虫
import urllib import urllib.request import time con=urllib.request.urlopen('http://blog.sina.com.cn/s/articlelist_1191258123_0_1.html').read() url=['']*50 mycon=con.decode('utf-8') #print('mycon',myc...
Python爬虫之第一个爬虫
爬虫的任务就是两件事:请求网页和解析提取信息 爬虫三大库 Requests Lxml BeautifulSoup Requests库:请求网站获取网页数据 import requests #from bs4 import BeautifulSoup headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWeb...
Python爬虫之<单线程爬虫>
一.直接获取源代码>>> import requests >>> url='http://www.wutnews.net/' >>> html=requests.get(url) >>> print html.content <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xht
PYTHON爬虫(爬虫的基本原理)
一 爬虫的概念   二 爬虫的步骤 1 发起请求 请求方法:get/post 请求url:统一资源定位符 请求头:请求配置 请求体:post 2 获取响应 常见的状态码:200/301(重定向)/404(找不到资源)/502(服务器内部出错) 响应头 响应体 3 解析内容 直接处理 json解析 正则 美丽汤 pyquery xpath js渲染的解决方法:分析a...
Python爬虫:爬虫基本原理
爬虫: 请求网站 并 提取数据 的 自动化程序 爬虫基本流程: 发起请求 -&amp;gt; 获取响应 -&amp;gt; 解析内容 -&amp;gt; 保存数据 Request 请求方式 Request Method:get post 请求url Request URL 请求头 Request Headers 请求体 Form Data Response 响应状态 Status code 200o...
爬虫-小说爬虫-python
运行命令:python yuedu.py 然后按照提示走~ eg.:欢迎使用小说下载器!请输入小说名称:雪鹰领主 已找到小说:雪鹰领主,输入yes或者回车选定小说,输入no重新选择小说:yes 开始分析章节数...总章节数:1185,请输入开始章节和结束章节如:18~30(默认1~1185):1183 /Download/雪鹰领主/第35篇 第36章 虚界幻境第一人.txt /Download/雪鹰领主/第35篇 第37章 钧帝肆虐.txt /Download/雪鹰领主/正文 第35篇 第38章 恐怖的剑主.txt 输入quit退出:quit bey
python爬虫-->爬虫基础
在做机器学习,数据挖掘时,常常需要训练针对某个特定应用场景的模型,但是有时候又缺少我们想要的数据集,这个时候我们就要自己上某些特定的网站进行网络爬虫来获取大量数据。这也是我们学习python爬虫的一个动机和目标。 难点一:urllib2.urlopen与urllib2.request区别import urllib2 response=urllib2.urlopen('http://www.exam
【Python 微博爬虫】Python 实现微博爬虫
前言—功能:这个可以用来爬取微博信息,自定义时间间隔,来爬取用户的微博动态,最后调用短信接口,来提醒用户被监控用户发微博了(因为微博里面有特别关注这个功能,所以这个实战,也仅仅只是兴趣了) 一、简介: 这个微博爬虫是基于一个比较古老的微博版本的,那个时候的微博还可以直接爬网页来获取用户的微博内容,网址是:https://weibo.cn 二、准备阶段: 首先进行爬取的时候是需要带入 cook...
Python爬虫
Python 批量下载图片要批量下载图片,首先的有个图片的地址,要批量下载,那么就得解析网页,自动获取图片的地址,一页的图片总是不够的,所以需要翻页。下载图片下载图片就要用到网络库,用的是 request 创建requests,注意开启stream 因为图片都比较大,用流的方式保存图片 r = requests.get(url, stream=True) filename = os.path.joi
python爬虫
再不写点东西就真不会写代码了 最近一直在学习云计算的东西,慢慢的也准备整理一下。 今天试试手,写一个简单的爬虫,之前就写了,但一直没有实现。很简单,正好熟悉一下python# coding=utf-8 import sys import os import urllib import urllib2 import threadingbase_uri = "http://www.csdn.net/
python 爬虫
python 爬虫,用来开发爬虫的文档 不过不是很完整 只有一些便签 python 爬虫,用来开发爬虫的文档 不过不是很完整 只有一些便签 以及其他的适度 python 爬虫,用来开发爬虫的文档 不过不是很完整 只有一些便签 以及其他的适度 python 爬虫,用来开发爬虫的文档 不过不是很完整 只有一些便签 以及其他的适度 以及其他的适度
爬虫——python
import codecs,sysimport urllib.requestimport redict1 = {}f=codecs.open('Fi.txt','w')url1 = 'http://oeis.org/wiki/Index_to_OEIS:_Section_Fi'print(url1)f.write(url1)f.write('\n')req1=urllib.request.Requ...
Python ❀ 爬虫
Python学习计划(终) 爬虫简介 一、爬虫简介 1、为什么要做爬虫 首先请问:都说现在是&amp;quot;大数据时代&amp;quot;,那数据从何而来? 企业产生的用户数据:百度指数、阿里指数、TBI腾讯浏览指数、新浪微博指数 数据平台购买数据:数据堂、国云数据市场、贵阳大数据交易所 政府/机构公开的数据:中华人民共和国国家统计局数据、世界银行公开数据、 联合 国数据、纳斯达克。 数据管理咨询公司:麦肯锡、埃森哲、艾瑞...
相关热词 c# 去空格去转义符 c#用户登录窗体代码 c# 流 c# linux 可视化 c# mvc 返回图片 c# 像素空间 c# 日期 最后一天 c#字典序排序 c# 截屏取色 c#中的哪些属于托管机制