爬取全部有限合伙型私募基金的工商信息

中基协网页上有一条私募基金公示,http://gs.amac.org.cn/amac-infodisc/res/pof/fund/index.html,里面包含已经备案的3万多条私募基金的基本信息,它有300多页,每条都复制太麻烦了。如何将全部信息汇总,并将所有公司的注册地址、注册资本信息爬取建立文件。以上为两个需求:1)汇总上述网页所有3万多只基金2)爬取3万只基金的注册地址、注册资本等信息。至少希望解决需求1。

0

1个回答

接口这个
http://gs.amac.org.cn/amac-infodisc/api/pof/fund?rand=0.6231982027861624&page=0&size=20

post请求这个,同时post发送page和size参数

0
weixin_42620528
weixin_42620528 还是没明白,最终用postman笨方法弄了。能给个联系方式
2 个月之前 回复
showbo
showbo 回复weixin_42620528: 不是说了,page和size参数不能放到post里面,自己好好看我说的那4点
2 个月之前 回复
weixin_42620528
weixin_42620528 它还是说Internal Server Error,该怎么办
2 个月之前 回复
weixin_42620528
weixin_42620528 url = "http://gs.amac.org.cn/amac-infodisc/api/pof/fund?rand=0.6231982027861624&page=0&size=20" pyload ={"keyword": "", "sortType": 0, "withCoupon": 0, "categoryId": 16, "pageNumber": 0, "pageSize": 10000} response = requests.post(url, data=json.dumps(pyload), headers=headers).text print(response)
2 个月之前 回复
weixin_42620528
weixin_42620528 我搜索后用python抄了额段,import requests import json headers = { "Content-Type": "application/json; charset=UTF-8", "Referer": "http://gs.amac.org.cn/amac-infodisc/res/pof/fund/index.html", "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36" }
2 个月之前 回复
showbo
showbo 自己看如何post {}这个内容,及设置content-type为application/json
2 个月之前 回复
showbo
showbo 回复weixin_42620528: 你这个代码应该这样。不知道你的语言,contenttype不懂如何设置,自己百度下。import requests import json url = 'http://gs.amac.org.cn/amac-infodisc/api/pof/fund?rand=0.6231982027861624&page=0&size=20' fl = '{}' r = requests.post(url, fl) print(r.text)
2 个月之前 回复
showbo
showbo 回复weixin_42620528: 不懂你这个语言。。。需要注意4点。1)接口地址就是贴出来的,page是当前页,从0开始算,size分页大小。2)POST请求这个地址 3)POST发送{},不是page和size值,我帖子里面说的错误了,page和size放在url上4)要设置请求对象的ontenttype为application/json
2 个月之前 回复
weixin_42620528
weixin_42620528 为啥改了还是显示Internal Server Error,我这个不太懂
2 个月之前 回复
weixin_42620528
weixin_42620528 回复showbo: import requests import json url = 'http://gs.amac.org.cn/amac-infodisc/api/pof/fund?rand=0.6231982027861624&page=}&size={}' fl = {'page': 1,'size':100000} r = requests.post(url, fl) print(r.text)
2 个月之前 回复
showbo
showbo 回复weixin_42620528: 而且注意请求对象的contenttype要设置为application/json,要不也会报错
2 个月之前 回复
showbo
showbo 回复weixin_42620528: POST请求这个地址,POST发送的参数内容为{},要不会报错,发送{}就可以了
2 个月之前 回复
weixin_42620528
weixin_42620528 请问我发送过去后,显示Internal Server Error,怎么办
2 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
私募基金年度信息披露报表模板
私募基金年度信息披露报表模板
金融、股票的常见术语及一些简单区分
简称 全称 中文意思 简单解释 GP General Partner 普通合伙人 公司内部人员 LP Limited Partner 有限合伙人 出资人 AI Angel Investment 天使投资 概念产品 5-100万 至少5年以上上市 VC Venture Capital 风险投资 ...
干货|FOF资产配置方案全解析
一、国外FOF市场简介 1.1美国FOF市场概况       FOF(fund of fund)也被称作组合基金,不同与一般的基金,FOF以绝大部分资产投资于其他的基金。FOF起源于美国,首只FOF基金由VANGUARD公司发行。    2002年以来,美国FOF快速发展,总规模从2002年的689.6亿美元一举上涨到2015年的17216.2亿美元,并且除2008年金融危机以外
Python爬虫抓取基金数据
Python做网络爬虫需要学习额外基本知识:         1.HTML。基金所需的数据都通过HTML网页的形式返回,数据和HTML tag通过一定的规范组成渲染后的形成网页。了解HTML是为了有效地剥离数据。         2.Python的正则表达式。正则表达式对文字的筛选效率十分高。上面已经说明数据需要剥离,而正则表达式正为了完成这项工作。正则表达式一定要学,不然所有东西都白搭。同时
如何成立一家私募基金公司
主要监管规则: 1、不设行政审批 私募基金及私募基金管理人的设立,不设行政审批,强化事中事后监管,依法严厉打击以私募基金为名的各类非法集资活动。 2、必须登记备案 基金管理人应当依法登记,私募基金应当依法备案,备案机关为中国证券投资基金业协会,网址为http://www.amac.org.cn/。 按要求,基金管理人应当登记。私募基金在募集设立后20个工作日内,应申请
教你写私募基金计划书(转自http://www.iwenbi.com/)
目前,展业计划书成为申请私募基金管理人的必备文件。那么,如何起草一份符合审查要求的私募基金管理人展业计划书呢?结合过往诸多项目的反馈经验,小编总结了协会关注的展业计划书要点,希望能给苦于展业计划书的私募机构一个清晰的思路。 协会的常见反馈信息 根据过往项目的经验,单纯就展业计划书而言,协会审核员一般会提出这些反馈信息读后感。 1、《商业计划书》请详述公司未来发展方向(如研究、投资
Python urllib 爬取基金数据
1.urllib 使用笔记urlopen(url,data,timeout) 第一个参数url即为URL,第二个参数data是访问URL时要传送的数据,第三个timeout是设置超时时间。 第二三个参数是可以不传送的,data默认为空None,timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT 第一个参数URL是必须要传送的,在这个例子里面我们传送了百度的URL
全网爬取6500多只基金|看看哪家基金最强
理财是个非常重要的技能,无论是高高在上的成功人士还说大众老百姓都必须要掌握的技能,俗话说"人不理财,财不理你"。理财的方法有很多,我个人比较喜欢买基金,而基金又有很分很多种:股票型,混合型,债券型,QDII还有分级基金,指数基金,货币基金,到底哪家最强的~~ 我们码农是靠手艺吃饭的,不就是数据分析吗,简单自己动手写个程序,分析一下.整个的内容我会分几篇来写,今天是思路篇,这算是一个小小的综合
新疆股权投资企业税收优惠政策
2010年,自治区人民政府推出的旨在推动新疆股权投资企业发展的优惠政策。政策文件包括《新疆维吾尔自治区促进股权投资企业发展暂行办法》(简称《暂行办法》)、《关于鼓励股权投资类企业迁入我区的通知》和《自治区工商行政管理局关于有限责任公司变更为合伙企业的指导意见》。目前全国各地针对股权投资企业的税收优惠政策存在很大的差异,新疆2010年出台的PE行业政策是其他地区无法比拟的,这些行业政策以国家法律和新
(转)私募基金机构设立、牌照申请、后续运营的最新政策规定和操作流程
关于在国内成立私募基金公司,牌照申请、产品发行、后续公司运营的一些事项.....