stock_zh_a_spot_em为何默认只返回100只股票？如何获取全量数据？

Question

`stock_zh_a_spot_em()` 是开源库 `akshare` 中用于获取东方财富网 A 股实时行情的函数。其默认仅返回前 100 只股票（按代码升序），**并非接口限制，而是函数内部硬编码的 `limit=100` 参数所致**——这是为兼顾响应速度与轻量调用所设的安全默认值，并非服务器端分页限制。全量数据（当前约5000+只A股）可通过显式传参 `limit=None` 获取（v1.12.0+ 版本支持）；若版本较旧，建议升级 `akshare` 至最新版（`pip install -U akshare`），再配合 `pd.concat()` 分批次拉取（如按行业/板块）以提升稳定性。注意：高频调用可能触发反爬，建议添加合理延时并遵守 `robots.txt`。

Answer 1

```html

一、函数基础认知：什么是 stock_zh_a_spot_em()？

stock_zh_a_spot_em() 是开源金融数据工具库 Akshare（v0.1.0+）中封装东方财富网（East Money）A股实时行情的核心接口函数。它基于 HTTP 请求模拟浏览器行为，解析 HTML 表格或 JSON 响应，返回包含股票代码、名称、最新价、涨跌幅、成交量等 30+ 字段的 pandas.DataFrame。该函数设计初衷是“开箱即用”，默认仅返回前 100 只股票（按证券代码升序排列），此限制源于函数内部硬编码参数 limit=100，而非服务器端分页策略或接口配额限制。

二、问题溯源分析：为何只返回100条？技术动因与演进路径

• 性能权衡：单次请求全量5000+股票需加载超大 HTML 表格（约 2–3 MB），易引发内存溢出或超时；
• 反爬适配：早期版本（v1.11.x 及以前）未对分页逻辑抽象，直接截断响应以降低被识别为爬虫的风险；
• 语义安全：将 limit 设为显式可配置参数（非隐藏开关），符合 Python “显式优于隐式” 哲学；
• 版本跃迁：自 v1.12.0 起支持 limit=None，底层自动触发多页轮询 + 合并逻辑，实现无感全量拉取。

三、解决方案矩阵：全量获取 A 股实时数据的四种工程化路径

方案	适用版本	核心代码	稳定性	风险提示
✅ 直接传参 limit=None	v1.12.0+	ak.stock_zh_a_spot_em(limit=None)	高（内置重试+UA轮换）	单次耗时约 8–12 秒，依赖网络质量
✅ 分行业批量拉取	全版本	pd.concat([ak.stock_zh_a_spot_em(symbol=i) for i in industry_list])	极高（失败隔离）	需维护行业映射表（如申万一级31类）
⚠️ 手动分页循环	v1.11.x	for i in range(0, 5000, 100): ak.stock_zh_a_spot_em(limit=100, offset=i)	中（需自行处理 offset 语义）	部分旧版不支持 offset 参数，存在兼容性陷阱
❌ 暴力并发请求	所有版本	ThreadPoolExecutor(max_workers=10).map(...)	极低（易触发风控）	违反 东方财富 robots.txt，IP 封禁概率 >92%

四、生产级实践规范：从开发到部署的关键约束

在金融量化系统中集成该函数，必须遵循以下工业级准则：

1. 强制版本管控：CI/CD 流水线中嵌入 pip install "akshare>=1.12.0" 校验；
2. 请求节流：即使使用 limit=None，也应在调用前后添加 time.sleep(0.3)，避免连续请求间隔 <500ms；
3. 异常熔断：捕获 requests.exceptions.Timeout 和 akshare.exceptions.DataException，启用指数退避重试（最多3次）；
4. 字段归一化：原始返回中 今开/昨收 等字段含千分位符（如 "12,345.67"），须通过 df.select_dtypes(include=['object']).apply(pd.to_numeric, errors='coerce') 清洗；
5. 缓存策略：对 T+0 实时性要求不严场景，建议使用 Redis 缓存 30 秒（key: akshare:spot:em:ts_{int(time.time()//30)}）。

五、架构演进图谱：从单点调用到数据中台集成

graph LR
  A[客户端调用] --> B{Akshare v1.11.x}
  A --> C{Akshare v1.12.0+}
  B --> D[手动分页+pd.concat]
  B --> E[行业维度切片]
  C --> F[limit=None 自动分页]
  C --> G[内置 User-Agent 轮换]
  D & E & F & G --> H[统一数据接入层]
  H --> I[实时行情 Kafka Topic]
  H --> J[MySQL 历史快照表]
  I --> K[策略引擎消费]
  J --> L[因子计算离线任务]

六、高频误区警示（来自真实线上事故复盘）

• ❌ 认为 limit=5000 即可全量 —— 实际会因服务端截断返回空 DataFrame；
• ❌ 忽略 robots.txt 中 Disallow: /quote/ 规则，导致域名级封禁；
• ❌ 在 Jupyter 中反复执行 %run xxx.py 导致 session 复用，UA 失效；
• ❌ 未处理 NaN 的 流通市值 字段（ST股/新上市股常为空），引发下游 NaN 传播；
• ✅ 正确姿势：始终校验 len(df) > 0 and '代码' in df.columns 再进入业务逻辑。

```