爬取全部有限合伙型私募基金的工商信息

中基协网页上有一条私募基金公示,http://gs.amac.org.cn/amac-infodisc/res/pof/fund/index.html,里面包含已经备案的3万多条私募基金的基本信息,它有300多页,每条都复制太麻烦了。如何将全部信息汇总,并将所有公司的注册地址、注册资本信息爬取建立文件。以上为两个需求:1)汇总上述网页所有3万多只基金2)爬取3万只基金的注册地址、注册资本等信息。至少希望解决需求1。

0

1个回答

接口这个
http://gs.amac.org.cn/amac-infodisc/api/pof/fund?rand=0.6231982027861624&page=0&size=20

post请求这个,同时post发送page和size参数

0
weixin_42620528
lanthon 还是没明白,最终用postman笨方法弄了。能给个联系方式
10 个月之前 回复
showbo
支付宝加好友偷能量挖 回复weixin_42620528: 不是说了,page和size参数不能放到post里面,自己好好看我说的那4点
10 个月之前 回复
weixin_42620528
lanthon 它还是说Internal Server Error,该怎么办
10 个月之前 回复
weixin_42620528
lanthon url = "http://gs.amac.org.cn/amac-infodisc/api/pof/fund?rand=0.6231982027861624&page=0&size=20" pyload ={"keyword": "", "sortType": 0, "withCoupon": 0, "categoryId": 16, "pageNumber": 0, "pageSize": 10000} response = requests.post(url, data=json.dumps(pyload), headers=headers).text print(response)
10 个月之前 回复
weixin_42620528
lanthon 我搜索后用python抄了额段,import requests import json headers = { "Content-Type": "application/json; charset=UTF-8", "Referer": "http://gs.amac.org.cn/amac-infodisc/res/pof/fund/index.html", "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36" }
10 个月之前 回复
showbo
支付宝加好友偷能量挖 自己看如何post {}这个内容,及设置content-type为application/json
10 个月之前 回复
showbo
支付宝加好友偷能量挖 回复weixin_42620528: 你这个代码应该这样。不知道你的语言,contenttype不懂如何设置,自己百度下。import requests import json url = 'http://gs.amac.org.cn/amac-infodisc/api/pof/fund?rand=0.6231982027861624&page=0&size=20' fl = '{}' r = requests.post(url, fl) print(r.text)
10 个月之前 回复
showbo
支付宝加好友偷能量挖 回复weixin_42620528: 不懂你这个语言。。。需要注意4点。1)接口地址就是贴出来的,page是当前页,从0开始算,size分页大小。2)POST请求这个地址 3)POST发送{},不是page和size值,我帖子里面说的错误了,page和size放在url上4)要设置请求对象的ontenttype为application/json
10 个月之前 回复
weixin_42620528
lanthon 为啥改了还是显示Internal Server Error,我这个不太懂
10 个月之前 回复
weixin_42620528
lanthon 回复showbo: import requests import json url = 'http://gs.amac.org.cn/amac-infodisc/api/pof/fund?rand=0.6231982027861624&page=}&size={}' fl = {'page': 1,'size':100000} r = requests.post(url, fl) print(r.text)
10 个月之前 回复
showbo
支付宝加好友偷能量挖 回复weixin_42620528: 而且注意请求对象的contenttype要设置为application/json,要不也会报错
10 个月之前 回复
showbo
支付宝加好友偷能量挖 回复weixin_42620528: POST请求这个地址,POST发送的参数内容为{},要不会报错,发送{}就可以了
10 个月之前 回复
weixin_42620528
lanthon 请问我发送过去后,显示Internal Server Error,怎么办
10 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
运用 Python 爬取私募基金信息_request
2018.11.22n前提:安装好 Anaconda(Python 版本为 3.6)n一、环境n因为已经安装好了 Anaconda,所以在 Anaconda 控制台(Anaconda Prompt)中输入 conda install scrapyn在安装过程中,是否安装所需要的框架,选择是(输入 y)。n验证:在控制台中输入 python 进入 Python,然后输入import scrapy,不...
运用 Python 爬取私募基金信息_Scrapy
2018.11.23n上一篇采用 Selenium 和 Ajax 参数分析两种方法来爬取了基金信息。链接:nhttps://blog.csdn.net/luckycdy/article/details/84342640n本篇介绍更快、更强的工具-Scrapy 框架!n爬虫要求:n目标 url:http://gs.amac.org.cn/amac-infodisc/res/pof/fund/inde...
私募基金年度信息披露报表模板
私募基金年度信息披露报表模板
金融界货币型基金净值采集爬虫开发教程
金融界的货币型基金数据比较多,基金数据的参数项比较全,参考价值高。nn本文再分享一篇用JavaScript采集“金融界货币型基金净值采集”的源码,并做简单的解析。先看源码:nnnn/**n 金融界货币型基金净值采集爬虫源码n 建议给爬虫配置代理IP,可有效解决金融界网站的反爬问题n**/nnvar configs = {n domains: ["fund.jrj.com.cn"]...
python爬虫爬取京东金融基金信息
闲暇之余,利用Python爬虫爬取下京东金融的基金信息,感兴趣的小伙伴可以看看,有什么关于代码的交流可以加我微信:nqqtxw128n#__author:"tangxiaowen"n#date:2018/9/28nimport requestsnfrom lxml import etreenfrom selenium import webdrivernfrom selenium.common.ex...
教你写私募基金计划书(转自http://www.iwenbi.com/)
目前,展业计划书成为申请私募基金管理人的必备文件。那么,如何起草一份符合审查要求的私募基金管理人展业计划书呢?结合过往诸多项目的反馈经验,小编总结了协会关注的展业计划书要点,希望能给苦于展业计划书的私募机构一个清晰的思路。rnrn协会的常见反馈信息rnrn根据过往项目的经验,单纯就展业计划书而言,协会审核员一般会提出这些反馈信息读后感。rnrn1、《商业计划书》请详述公司未来发展方向(如研究、投资
如何成立一家私募基金公司
主要监管规则:rnrn1、不设行政审批rnrn私募基金及私募基金管理人的设立,不设行政审批,强化事中事后监管,依法严厉打击以私募基金为名的各类非法集资活动。rnrn2、必须登记备案rnrn基金管理人应当依法登记,私募基金应当依法备案,备案机关为中国证券投资基金业协会,网址为http://www.amac.org.cn/。rnrn按要求,基金管理人应当登记。私募基金在募集设立后20个工作日内,应申请
Python urllib 爬取基金数据
1.urllib 使用笔记urlopen(url,data,timeout) n第一个参数url即为URL,第二个参数data是访问URL时要传送的数据,第三个timeout是设置超时时间。 n第二三个参数是可以不传送的,data默认为空None,timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT n第一个参数URL是必须要传送的,在这个例子里面我们传送了百度的URL
实战:抓取某只基金历史净值数据
http://fund.eastmoney.com/f10/jjjz_519961.html n1、接下来,我们需要动手把这些html抓取下来(这部分知识我们之前已经学过,现在不妨重温)# coding: utf-8from selenium.webdriver.support.ui import WebDriverWaitnfrom selenium import webdrivernfrom b
全国知名的私募基金-全国office组网MPLS
项目需求:nnXXXX全国企业办公组建企业内部网络:nnØ搭建全国的办公区网络专专线带宽要求为:国内分公司选择带宽2M,北京总部带宽为6M;nnØ集团总部和分布均由供应商提供Cisco1921或者同等型号设备;nnØ提供针对于不同应用的QOS保证,根据带宽需求划分比例为100%金级别;nnØ海外非洲接入点为南非点约翰内斯堡,接入带宽为2M;nnØQOS金定义:端到端转发率>99.9%,网络抖...
基金英文术语
公募基金:public offering of fundrn私募基金:privatern equity fundrnrn公开发行:publicrn offeringrnrn证金公司:Chinarn Securities Finance Corporation Limited,CSFrnrn市盈率:Price to Earning Ratio,PE,P/E Ratio
Python 爬取网页数据(以基金净值数据为例子)
BeautifulSoup的使用
python3网络爬虫-破解天某查+企业工商数据-分布式爬虫系统-源码深度解析
Python爬虫-2018年-我破解天某查和启某宝企业数据爬虫--破解反爬技术那些事情nn最近在自己用python3+mongdb写了一套分布式多线程的天某查爬虫系统,实现了对天某查整个网站的全部数据各种维度的采集和存储,主要是为了深入学习爬虫技术使用,并且根据天眼查网页的数据结构建立了30个表来存储30个维度的数据,很多做技术的朋友在爬天某查的时候会遇到以下几个问题,我把我的经历和解决方案分享给...
爬取天眼查企业工商数据并写入数据库(仅供学习参考)
最近需要一些企业数据来做分析,故写了爬取天眼查企业工商数据的python脚本,用的是selenium,代码如下:nnnimport pymysqlnfrom selenium import webdrivernfrom selenium.webdriver.common.by import Bynfrom selenium.webdriver.common.keys import Keysnfro...
量化择业 银行vs券商vs公募vs私募?(行内人深度分享)
金融类专业毕业生这三五年逐渐增加,虽然这个领域已经越来越拥挤,大家依然在努力获得一份薪资较高且有上升空间的工作。但是金融行业依然有很多不确定性,特别是直接接触二级市场的量化投资方向,今天通过我对行业内各种工作的认知谈一些感悟,希望能够帮助到正在面临择业的同学们。nn遥想自己1996年从北京大学硕士毕业,已是20多年前的事,当时的金融行业远不如现在发达,除了进银行,我们真想不到去哪里找工作,也不用担...
python爬取企查查公司工商信息
最近因为在爬取一些公司的工商信息,找了许多网站 ,也看了一些大神的博客,自己总结改进了爬取企查查网站公司的信息。废话不多说,先直接上代码:rn# -*- coding-8 -*-rnimport requestsrnimport lxmlrnfrom bs4 import BeautifulSouprnimport xlwtrnimport rernimport urllibrnimport ra
通过爬虫获取相关基金的历史净值,成分股代码,名称,比例,数量,以及现金替代等信息
搜索网上资料,很难获取到开放式基金历史成分股,比例及数量,以及现金替代的数据,这些数据对于计算ETF的盘中净值相当重要,本代码通过爬取基金公司的网站获取相关的信息。
记录一次利用python调用chrome爬取天眼查网址工商信息的过程
1.首先准备工作: 1.pyhton3.6(官网有下载)。https://www.python.org/downloads/release/python-363/ 2.pycharm 2017 开发工具。(官网有下载,破解方法百度)。 下载地址:https://www.jetbrains.com/zh/pycharm/specials/pycharm/pycharm.html 破解方法参考:htt...
通过动态获取cookie爬取国家企业信用信息公司系统
更多总结查看Githubnn1.首先分析,通过设置heads头,requests包来爬取网页总返回521,其实就应该明白做了简单的反爬。我们要动态获取cookie,然后通过每次返回的cookie去获取数据。百度也查到很多解析前端js代码来获取cookie的,感觉太麻烦了。我这里使用的webdriver中的phantomJS(看下源码就知道webdriver支持很多,也可以使用Chrome)nn2....
python爬虫爬取企查查公司工商信息
爬取企查查网站上公司的工商信息,路径大家根据自己情况自行修改,然后再在工程路径下创建个company.txt,里面输入想要爬取的公司名,就会生成该公司的工商信息网页。
python+selenium+xpath 爬取天眼查工商基本信息
n# -*- coding:utf-8 -*-n# author: kevinn# CreateTime: 2018/8/16n# software-version: python 3.7nnnimport timenfrom selenium import webdrivernfrom selenium.webdriver import Firefoxnimport osnnclass GetC...
Python爬取天天基金网历史净值数据
n n n 天天基金网历史净值数据的页面地址是nhttp://fund.eastmoney.com/f10/F10DataApi.aspx?type=lsjz&code=110022&sdate=2018-02-22&edate=2018-03-02&per=20n参数说明如下:nntype 类型,历史净值用lsjz表示ncode...
[笔记]《中国私募股权投资案例教程》李晓峰
n n n 阅读《中国私募股权投资案例教程》李晓峰编。感想:不愧是“案例教程”,结构很清楚,前两章大致给了个intro(主要是原理/概览),后面四章(初创阶段、成长阶段、并购、其他类型)就从背景、案例分析、启示展望三个方面说了28个案例。(阿里巴巴;远望谷;分众传媒;迅雷;土豆;嘉禾木;Vancl;迈瑞生物;蒙牛乳业;无锡尚德;如家;小肥羊;完美时空;安博;PPG;哈...
基于selenium模拟天眼查登录并爬取企业工商信息的爬虫
此资源仅供学习用途,当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取,天眼查的反爬技术算是很不错的,仅仅用于个人学习用,并不可以进行大数据的爬取 技术: python selenium 爬虫 模拟登陆 xpath css选择器 可自己装proxy 想添加翻页功能可以参考里面的代码模板 也可以加我QQ问
爬取天天基金排行
环境要求nnnrequests第三方模块nlxml第三方模块njson模块nnn代码如下nnnnimport requestsnfrom lxml import etreenimport jsonnnclass TiantianSpider:n def __init__(self):n self.temp_url = "http://fund.eastmoney.com/api...
selenium 爬取某基金网站数据
# coding: utf-8nfrom selenium import webdrivernimport timenndriver = webdriver.Chrome()nndriver.get(n 'http://fund.eastmoney.com/data/fundranking.html#tall;c0;r;szzf;pn100;ddesc;qsd20170531;qed2018...
爬取18年二季度天天基金网基金持仓信息-python
爬取的目的nn通过爬取基金持仓信息,我们可以了解基金的资金流向,说白了,就是知道大型基金公司都买了什么股票,买了多少。也可以跟踪一些知名的基金,看看他们都买了什么股票,从而跟买或者不买,估值便宜的股票,又有很多基金入场,很可能这家公司大家都非常看好,未来业绩很可能增长,可能是一次比较好的投资机会;而有些股票,估值已经很高了,里边还有很多的基金公司,这就需要注意了,很可能基本面发生一点点恶化,或者达...
爬取晨星所有基金评级
Python爬取晨星基金评级n晨星评级介绍n晨星把每只具备3年以上业绩数据的基金归类,在同类基金中,基金按照“晨星风险调整后收益”指标(Morningstar Risk-Adjusted Return)由大到小进行排序:前10%被评为5星;接下来22.5%被评为4星;中间35%被评为3星;随后22.5%被评为2星;最后10%被评为1星。nn目标网站介绍n基金评级网址:http://cn.morni...
Python selenium 爬取天天基金网股票型基金
对于股票市场长期的判断,普通上班族没有多少时间和资料可以分析。那么,就应该借助基金机构选择的股票来分析,借助各基金经理管理的股票基金来统计,哪些股票是基金经理或团队分析购买的。所以选择的是股票型基金,最终将分析得出哪类股票是机构最多选择的,那只股票是机构购买最多的。利用基金经理们分析的结果,我们可选择相应的几只股票进行长期投资。rnrnrnrnrnrn先看看股票型基金,然后遍历某基金的股票持仓。r
企业信息查询爬虫-Java
package com.hyy2;import java.util.HashMap;import java.util.Map;import org.apache.commons.httpclient.Cookie;import org.apache.commons.httpclient.HttpClient;import org.apache.commons.httpclient.NameValu...
看指标挑基金(一)衡量业绩的根本指标
n n n 买基金不能观看收益率,也要同时考虑风险。如果两只基金在同一时期获得了相同的收益率,那么标准差小的那只,会更加稳定一些。nnnnnnn n nn...
新手学python笔记--3--爬取天天基金数据
整理一下思路:rn1.天天基金网的数据网址,首先是一个基金排行的数据(第一页):rnurl='http://fund.eastmoney.com/data/rankhandler.aspx?op=ph&dt=kf&ft=all&rs=&gs=0&sc=zzf&st=desc&sd=2017-01-25&ed=2018-01-25&qdii=&tabSubtype=,,,,,&pi=2&pn=50&
python爬虫获取基金数据<2>
用sklearn分析基金数据&amp;lt;1&amp;gt;python爬虫获取基金数据&amp;lt;2&amp;gt;数据预处理:数据清洗、生成样本数据&amp;lt;3&amp;gt;用sklearn训练样本数据&amp;lt;4&amp;gt;用模型进行预测及改进&amp;lt;5&amp;gt;nnn    前面已经说了大致思路,需要用上个月所有基金的表现情况来预测这个月所有基金的表现情况,数据的获取显然是第一步,像基金这种开放的数据通过python爬虫来得到自然...
案列:抓取基金网站JS形式的数据
自动探测网页编码:chardethttp://blog.csdn.net/github_26672553/article/details/78529734 n可曾记得,在前面我们抓取基金网站网页的时候,最后要把抓取过来的内容进行gb2312解码才能够看懂。 n这是因为该网页就是gb2312编码的,当然那时候我们是肉眼查看才得知的。现在我们利用chardet包来自动帮我探测网页是什么编码。 nhttp
股权和创业投资基金概论
投资基金运作机制和私募基金的主要类别;中国股权投资的现状
基于selenium模拟天眼查登录并爬取企业工商信息的python爬虫
此资源仅供学习用途,当前selenium都是基于无头模式的firefox或者chrome等浏览器进行爬虫抓取,天眼查的反爬技术算是很不错的,仅仅用于个人学习用,并不可以进行大数据的爬取 技术: python selenium 爬虫 模拟登陆 xpath css选择器 可自己装proxy 想添加翻页功能可以参考里面的代码模板 也可以加我QQ问;必须将deckodriver放在相同路径 记住:自己输入账号和密码!每次输入之后都要回车!
python爬取天天基金网AJax表格
Abstract:    笔者想从天天基金网(http://fund.eastmoney.com/f10/jjjz_001631.html)爬取某只基金的历史净值进行数据分析,发现天天基金网使用的是JavaScript,其历史净值表格使用的Ajax技术,只采用BeautifulSoup无法进行爬取。最后笔者通过selenium模拟表格“下一页”按钮的点击,然后采用BeautifulSoup解析se...
分享2019年我利用python爬虫+大数据技术破解8000万46个纬度的企业工商数据那些事儿
2019年我利用python爬虫+大数据技术破解8000万46个纬度的企业工商数据那些事儿rn因为一直从事php+python+AI大数据深度挖掘的技术研发,当前互联网已经从it时代发展到data时代,人工智能+大数据是当前互联网技术领域的两大趋势,记得在2010-2016年从事过电商的技术研发,当时电商时代造就了很多创业人,很多有想法的大学生或者有梦的青年都抓住电商时代赚了财富,当时只要您有一个好...
阿里巴巴面试流水账
Aliexpress-算法专家-搜索推荐算法(淘宝海外版)nn一面:技术面—主要考察技术广度,涉及C++基础,TCP/IP,数据库,中间件,简单算法,设计模式nn(为防止作弊,第一二轮为交叉面试,由两个面试官分别从一个大题库里随机抽题面试)nn二面:技术面—主要考察技术广度,涉及C++基础,TCP/IP,数据库,中间件,简单算法,设计模式nn(为防止作弊,第一二轮为交叉面试,由两个面试官分别从一个...
批量工商信息查询
自动从excel文件中读取待查名单,查询信息,自行根据需要提取相关信息
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 私募基金产品经理培训 基金产品经理培训班