爬取全部有限合伙型私募基金的工商信息

中基协网页上有一条私募基金公示,http://gs.amac.org.cn/amac-infodisc/res/pof/fund/index.html,里面包含已经备案的3万多条私募基金的基本信息,它有300多页,每条都复制太麻烦了。如何将全部信息汇总,并将所有公司的注册地址、注册资本信息爬取建立文件。以上为两个需求:1)汇总上述网页所有3万多只基金2)爬取3万只基金的注册地址、注册资本等信息。至少希望解决需求1。

0

1个回答

接口这个
http://gs.amac.org.cn/amac-infodisc/api/pof/fund?rand=0.6231982027861624&page=0&size=20

post请求这个,同时post发送page和size参数

0
weixin_42620528
lanthon 还是没明白,最终用postman笨方法弄了。能给个联系方式
5 个月之前 回复
showbo
支付宝加好友偷能量挖 回复weixin_42620528: 不是说了,page和size参数不能放到post里面,自己好好看我说的那4点
5 个月之前 回复
weixin_42620528
lanthon 它还是说Internal Server Error,该怎么办
5 个月之前 回复
weixin_42620528
lanthon url = "http://gs.amac.org.cn/amac-infodisc/api/pof/fund?rand=0.6231982027861624&page=0&size=20" pyload ={"keyword": "", "sortType": 0, "withCoupon": 0, "categoryId": 16, "pageNumber": 0, "pageSize": 10000} response = requests.post(url, data=json.dumps(pyload), headers=headers).text print(response)
5 个月之前 回复
weixin_42620528
lanthon 我搜索后用python抄了额段,import requests import json headers = { "Content-Type": "application/json; charset=UTF-8", "Referer": "http://gs.amac.org.cn/amac-infodisc/res/pof/fund/index.html", "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36" }
5 个月之前 回复
showbo
支付宝加好友偷能量挖 自己看如何post {}这个内容,及设置content-type为application/json
5 个月之前 回复
showbo
支付宝加好友偷能量挖 回复weixin_42620528: 你这个代码应该这样。不知道你的语言,contenttype不懂如何设置,自己百度下。import requests import json url = 'http://gs.amac.org.cn/amac-infodisc/api/pof/fund?rand=0.6231982027861624&page=0&size=20' fl = '{}' r = requests.post(url, fl) print(r.text)
5 个月之前 回复
showbo
支付宝加好友偷能量挖 回复weixin_42620528: 不懂你这个语言。。。需要注意4点。1)接口地址就是贴出来的,page是当前页,从0开始算,size分页大小。2)POST请求这个地址 3)POST发送{},不是page和size值,我帖子里面说的错误了,page和size放在url上4)要设置请求对象的ontenttype为application/json
5 个月之前 回复
weixin_42620528
lanthon 为啥改了还是显示Internal Server Error,我这个不太懂
5 个月之前 回复
weixin_42620528
lanthon 回复showbo: import requests import json url = 'http://gs.amac.org.cn/amac-infodisc/api/pof/fund?rand=0.6231982027861624&page=}&size={}' fl = {'page': 1,'size':100000} r = requests.post(url, fl) print(r.text)
5 个月之前 回复
showbo
支付宝加好友偷能量挖 回复weixin_42620528: 而且注意请求对象的contenttype要设置为application/json,要不也会报错
5 个月之前 回复
showbo
支付宝加好友偷能量挖 回复weixin_42620528: POST请求这个地址,POST发送的参数内容为{},要不会报错,发送{}就可以了
5 个月之前 回复
weixin_42620528
lanthon 请问我发送过去后,显示Internal Server Error,怎么办
5 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
运用 Python 爬取私募基金信息
2018.11.22 前提:安装好 Anaconda(Python 版本为 3.6) 一、环境 因为已经安装好了 Anaconda,所以在 Anaconda 控制台(Anaconda Prompt)中输入 conda install scrapy 在安装过程中,是否安装所需要的框架,选择是(输入 y)。 验证:在控制台中输入 python 进入 Python,然后输入import scrapy,不...
运用 Python 爬取私募基金信息-Scrapy post payload
2018.11.23 上一篇采用 Selenium 和 Ajax 参数分析两种方法来爬取了基金信息。链接: https://blog.csdn.net/luckycdy/article/details/84342640 本篇介绍更快、更强的工具-Scrapy 框架! 爬虫要求: 目标 url:http://gs.amac.org.cn/amac-infodisc/res/pof/fund/inde...
全网爬取6500多只基金|看看哪家基金最强
理财是个非常重要的技能,无论是高高在上的成功人士还说大众老百姓都必须要掌握的技能,俗话说"人不理财,财不理你"。理财的方法有很多,我个人比较喜欢买基金,而基金又有很分很多种:股票型,混合型,债券型,QDII还有分级基金,指数基金,货币基金,到底哪家最强的~~ 我们码农是靠手艺吃饭的,不就是数据分析吗,简单自己动手写个程序,分析一下.整个的内容我会分几篇来写,今天是思路篇,这算是一个小小的综合
金融界货币型基金净值采集爬虫开发教程
金融界的货币型基金数据比较多,基金数据的参数项比较全,参考价值高。 本文再分享一篇用JavaScript采集“金融界货币型基金净值采集”的源码,并做简单的解析。先看源码: /** 金融界货币型基金净值采集爬虫源码 建议给爬虫配置代理IP,可有效解决金融界网站的反爬问题 **/ var configs = { domains: ["fund.jrj.com.cn"]...
如何成立一家私募基金公司
主要监管规则: 1、不设行政审批 私募基金及私募基金管理人的设立,不设行政审批,强化事中事后监管,依法严厉打击以私募基金为名的各类非法集资活动。 2、必须登记备案 基金管理人应当依法登记,私募基金应当依法备案,备案机关为中国证券投资基金业协会,网址为http://www.amac.org.cn/。 按要求,基金管理人应当登记。私募基金在募集设立后20个工作日内,应申请
私募基金年度信息披露报表模板
私募基金年度信息披露报表模板
Python爬虫抓取基金数据
Python做网络爬虫需要学习额外基本知识:         1.HTML。基金所需的数据都通过HTML网页的形式返回,数据和HTML tag通过一定的规范组成渲染后的形成网页。了解HTML是为了有效地剥离数据。         2.Python的正则表达式。正则表达式对文字的筛选效率十分高。上面已经说明数据需要剥离,而正则表达式正为了完成这项工作。正则表达式一定要学,不然所有东西都白搭。同时
通过爬虫获取相关基金的历史净值,成分股代码,名称,比例,数量,以及现金替代等信息
搜索网上资料,很难获取到开放式基金历史成分股,比例及数量,以及现金替代的数据,这些数据对于计算ETF的盘中净值相当重要,本代码通过爬取基金公司的网站获取相关的信息。
金融、股票的常见术语及一些简单区分
简称 全称 中文意思 简单解释 GP General Partner 普通合伙人 公司内部人员 LP Limited Partner 有限合伙人 出资人 AI Angel Investment 天使投资 概念产品 5-100万 至少5年以上上市 VC Venture Capital 风险投资 ...
Python urllib 爬取基金数据
1.urllib 使用笔记urlopen(url,data,timeout) 第一个参数url即为URL,第二个参数data是访问URL时要传送的数据,第三个timeout是设置超时时间。 第二三个参数是可以不传送的,data默认为空None,timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT 第一个参数URL是必须要传送的,在这个例子里面我们传送了百度的URL
python3网络爬虫-破解天某查+企业工商数据-分布式爬虫系统-源码深度解析
Python爬虫-2018年-我破解天某查和启某宝企业数据爬虫--破解反爬技术那些事情 最近在自己用python3+mongdb写了一套分布式多线程的天某查爬虫系统,实现了对天某查整个网站的全部数据各种维度的采集和存储,主要是为了深入学习爬虫技术使用,并且根据天眼查网页的数据结构建立了30个表来存储30个维度的数据,很多做技术的朋友在爬天某查的时候会遇到以下几个问题,我把我的经历和解决方案分享给...
教你写私募基金计划书(转自http://www.iwenbi.com/)
目前,展业计划书成为申请私募基金管理人的必备文件。那么,如何起草一份符合审查要求的私募基金管理人展业计划书呢?结合过往诸多项目的反馈经验,小编总结了协会关注的展业计划书要点,希望能给苦于展业计划书的私募机构一个清晰的思路。 协会的常见反馈信息 根据过往项目的经验,单纯就展业计划书而言,协会审核员一般会提出这些反馈信息读后感。 1、《商业计划书》请详述公司未来发展方向(如研究、投资
私募基金业务--从入门到精通
截至2017年底,登记管理人数量19896家已备案的私募基金数量超过54000只认缴规模已经接近15万亿元私募超过公募,发展步入快车道▼的确私募正在快速崛起抢占越来越多金...
(转)私募基金机构设立、牌照申请、后续运营的最新政策规定和操作流程
关于在国内成立私募基金公司,牌照申请、产品发行、后续公司运营的一些事项.....
python爬取企查查公司工商信息
最近因为在爬取一些公司的工商信息,找了许多网站 ,也看了一些大神的博客,自己总结改进了爬取企查查网站公司的信息。废话不多说,先直接上代码: # -*- coding-8 -*- import requests import lxml from bs4 import BeautifulSoup import xlwt import re import urllib import ra
基金英文术语
公募基金:public offering of fund 私募基金:private equity fund 公开发行:public offering 证金公司:China Securities Finance Corporation Limited,CSF 市盈率:Price to Earning Ratio,PE,P/E Ratio
有限合伙税收“优惠”:上市公司股东大举入疆或为避税
有限合伙税收“优惠”:上市公司股东大举入疆或为避税 新三板小兵 发表于 2015-06-24 19:06 2   越来越多的上市公司股东成为新疆的股权投资企业。 “昨天有一个创投公司客户委托我们将企业迁往新疆,并变更为有限合伙企业。”3月28日,某律师告诉本报记者,“这家公司是福建的,持有一些上市公司和拟上市公司股权,计划迁移和变更是为了在二级市场减持套现的合理避税做准备。
python爬虫爬取企查查公司工商信息
爬取企查查网站上公司的工商信息,路径大家根据自己情况自行修改,然后再在工程路径下创建个company.txt,里面输入想要爬取的公司名,就会生成该公司的工商信息网页。
Python 爬取网页数据(以基金净值数据为例子)
BeautifulSoup的使用
双管理人模式下的契约型私募基金实用发行指南
双管理人模式下的契约型私募基金实用发行指南 象树资产 1周前 基金业协会在2016年4月18日发布的《私募投资基金合同指引1号》(契约型私募基金合同内容与格式指引)第二十二条规定:“存在两个以上(含两个)管理人共同管理私募基金的,所有管理人对投资者承担连带责任。管理人之间的责任划分由基金合同进行约定,合同未约定或约定不清的,各管理人按过错承担相应的责任。”上述条款明确肯定了“多管理人...
私募和公募的区别
  在聊私募之前,我们先看看公募。从字面意思上,公募便是公开募集,大伙多半对余额宝不陌生,当年余额宝火起的时候,其收益还算是比较可观的。而余额宝实际上对接的是天弘基金旗下的增利宝货币基金,赶上余额宝最早那一波的人,是否体会到了其理财门槛低及其操作上的便利。而门槛低,也算是公募基金的一个特点,普罗大众稍有闲钱,都可以参与。公募基金是面向非特定对象公开募集,非特定对象指的是对用户的身份及身家没过多限...
记录一次利用python调用chrome爬取天眼查网址工商信息的过程
1.首先准备工作: 1.pyhton3.6(官网有下载)。https://www.python.org/downloads/release/python-363/ 2.pycharm 2017 开发工具。(官网有下载,破解方法百度)。 下载地址:https://www.jetbrains.com/zh/pycharm/specials/pycharm/pycharm.html 破解方法参考:htt...
爬虫采集全国工商系统的数据(外接打码平台)
javascript的代码用的是java的javascript引擎,用python的jpype去调用java的对象。因为试了好多python的js库,PYv8装起来太麻烦。而且对js的eval函数支持不是很好,后面就用了java 的js引擎。 java的话打包成jar或者class文件,java用的是1.8版本 #coding:UTF-8 import json import re impo...
2018那一年我破解天某查+企某查-企业工商数据-python爬虫源码破解版分享
由于项目需要,需要建立亿万级的企业信息数据库,经过1个月的爬虫技术博弈,我终于破解了企业数据爬虫面临的封IP和字体库加密以及验证码的问题,完成了亿万级企业库的信息的挖掘和数据库建立,海量的企业数据如何进行市场化呢?做类似天眼查、启信宝、企查查这种网站模式还是做成其他的模式呢?这样的问题是目前很多创业的朋友面临的问题。 (需要爬虫技术交流的朋友欢迎加我qq:2779571288)其实大家可以微信搜...
一名基金运营人的“日常”和“非常”
一名基金运营人的“日常”和“非常” 积募 让私募事儿更简单 一只基金的成功运转,离不开后台运营工作,但却鲜少有人能够理解基金运营人员的工作状态。 他们大多不善言辞、不喜社交,几乎天天加班至深夜,与海量的数据打交道…… 正是这群默默无闻的人,确保着基金产品的正常运营。本文试图通过揭示运营人的“日常”和“非常”,对这个岗位进行初步的窥探。 来源:第一财经日报 一只基金得以成功运转,基金运营工作贯穿始终...
全国知名的私募基金-全国office组网MPLS
项目需求: XXXX全国企业办公组建企业内部网络: Ø搭建全国的办公区网络专专线带宽要求为:国内分公司选择带宽2M,北京总部带宽为6M; Ø集团总部和分布均由供应商提供Cisco1921或者同等型号设备; Ø提供针对于不同应用的QOS保证,根据带宽需求划分比例为100%金级别; Ø海外非洲接入点为南非点约翰内斯堡,接入带宽为2M; ØQOS金定义:端到端转发率>99.9%,网络抖...
新手学python笔记--3--爬取天天基金数据
整理一下思路: 1.天天基金网的数据网址,首先是一个基金排行的数据(第一页): url='http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=zzf&st=desc&sd=2017-01-25&ed=2018-01-25&qdii=&tabSubtype=,,,,,&pi=2&pn=50&
年收入500万是家常便饭 私募基金经理的财富神话
“这是最好的年代。” 对私募基金经理而言,5月30日大跌的股市把他们带入了一个更为美好的境界:股市的震荡带来股票的迷局,看不懂的人只能请人代劳。越来越多的资金臣服在他们的脚下,希望得到指点。 美好的时代从去年开始。随着股市的节节升温,操作得当的证券业人士投身私募基金,从最初帮助亲戚朋友们买卖股票起,到口耳相传后客户的不断加入。私募基金经理让钱生钱,并从中获得了丰...
python+selenium+xpath 爬取天眼查工商基本信息
# -*- coding:utf-8 -*- # author: kevin # CreateTime: 2018/8/16 # software-version: python 3.7 import time from selenium import webdriver from selenium.webdriver import Firefox import os class GetC...
案列:抓取基金网站JS形式的数据
自动探测网页编码:chardethttp://blog.csdn.net/github_26672553/article/details/78529734 可曾记得,在前面我们抓取基金网站网页的时候,最后要把抓取过来的内容进行gb2312解码才能够看懂。 这是因为该网页就是gb2312编码的,当然那时候我们是肉眼查看才得知的。现在我们利用chardet包来自动帮我探测网页是什么编码。 http
评价PE基金绩效的常用指标IRR、MIOC、DPI、TVPI意义
评价PE基金绩效的常用指标 作为信息系统,辅助管理层决策是重要的功能之一。前文介绍了PE基金管理系统的建设,对PE业务的运转有了一些了解,但没有介绍如何评价PE基金的绩效,而这是管理层作出重大决策的主要依据之一。PE基金本质也是资本,追求在最短的时间内,获得最大的回报倍数。本文,笔者将介绍评价PE基金绩效的常用指标。 1. 内部收益率(IRR: Internal Rate Of Return)...
还不起9亿?有人建议为范冰冰发行一款私募ABS产品融资!
2018年10月3日,备受瞩目的中国影星范冰冰“阴阳合同”偷税漏税案靴子终于落地,范冰冰连缴带罚共需上交8.84亿元。税务部门表示,如果她能如期缴纳,将不予追究刑事责任。...
基于selenium模拟天眼查登录并爬取企业工商信息的爬虫
此资源仅供学习用途,当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取,天眼查的反爬技术算是很不错的,仅仅用于个人学习用,并不可以进行大数据的爬取 技术: python selenium 爬虫 模拟登陆 xpath css选择器 可自己装proxy 想添加翻页功能可以参考里面的代码模板 也可以加我QQ问
通过动态获取cookie爬取国家企业信用信息公司系统
1.首先分析,通过设置heads头,requests包来爬取网页总返回521,其实就应该明白做了简单的反爬。我们要动态获取cookie,然后通过每次返回的cookie去获取数据。百度也查到很多解析前端js代码来获取cookie的,感觉太麻烦了。我这里使用的webdriver中的phantomJS(看下源码就知道webdriver支持很多,也可以使用Chrome) 2.直接上代码,我这里使用pyt...
爬取企业信息-企业信用信息查询系统-天眼查爬虫
(知乎也有我的文章)在这里,先表明,此爬虫是否失效,视时间而定,解析网页内容方法较为原始,本人并非爬虫大神,开始爬虫只是因为数学建模需要自己爬取数据(坑爹),整个队伍就我一个计算机专业,责任在我,只好硬着头皮去搞,没想到还挺有成就感。好,话不多说,直接上代码# -*- coding: utf-8 -*- """ Created on Thu Feb 8 18:09:44 2018 @autho...
(转)机会还是陷阱:诺亚财富的私募股权策略
诺亚财富是中国规模最大的第三方理财机构之一。根据其公司官网的介绍,截止2016年年底,诺亚财富为客户配置的资产规模达到3808亿人民币。诺亚的全资子公司歌斐资产的资产管理规模达到了1209亿人民币。
爬取天眼查企业工商数据并写入数据库(仅供学习参考)
最近需要一些企业数据来做分析,故写了爬取天眼查企业工商数据的python脚本,用的是selenium,代码如下: import pymysql from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys fro...
爬取18年二季度天天基金网基金持仓信息-python
爬取的目的 通过爬取基金持仓信息,我们可以了解基金的资金流向,说白了,就是知道大型基金公司都买了什么股票,买了多少。也可以跟踪一些知名的基金,看看他们都买了什么股票,从而跟买或者不买,估值便宜的股票,又有很多基金入场,很可能这家公司大家都非常看好,未来业绩很可能增长,可能是一次比较好的投资机会;而有些股票,估值已经很高了,里边还有很多的基金公司,这就需要注意了,很可能基本面发生一点点恶化,或者达...
(转)证券公司私募(PB)整体服务
证券公司私募服务。
富国基金:基金公司是如何进行数据架构规划与实践的
富国基金:基金公司是如何进行数据架构规划与实践的 永洪科技 已认证的官方帐号 ​关注 导读:“数据的架构和建设是一个长期的过程,一旦走在这条路上,就应该从公司的战略角度来看待这件事。”“我们做指标、做数据集市、做数据分析,逐步提升到更加高级的应用,这样一步步地实现富国对数据的实践与应用。” 基金公司是资产管理行业一个组成部分,它具有轻资产的特征,它最大的资产可能就是建立在信息优势上投资管...
文章热词 CAVLC解码上下文信息 Python分布式爬取网数据教程 Python分布式爬取网数据配置 Python分布式爬取网数据实例 CABAC编解码上下文信息
相关热词 c#爬取 c++共有型保护型私有型 c#数据爬取的学习心得 区块链acet私募价格 python爬取腾讯教育