Scrapy Dispatcher已弃用，如何安全迁移至信号系统？

Question

Scrapy 2.0+ 已彻底移除 `scrapy.dispatcher` 模块（含 `SignalManager` 和 `connect()`/`send()` 等接口），其功能由内置的 `scrapy.signals` 模块与 `crawler.signals.connect()` 统一替代。常见迁移问题：开发者沿用旧式全局 `dispatcher.connect(handler, signal=signals.spider_closed)`，导致 `ImportError` 或 `AttributeError`；或错误地在 `Spider` 类外直接调用信号方法，忽视信号绑定需通过 `Crawler` 实例（如 `self.crawler.signals.connect(...)`）；此外，自定义信号未注册、回调函数签名不匹配（如遗漏 `sender` 参数）、异步回调未适配 Twisted 事件循环，均会导致信号静默失效。安全迁移关键：① 替换所有 `from scrapy import dispatcher` 为 `from scrapy import signals`；② 将 `dispatcher.connect()` 改为 `crawler.signals.connect(handler, signal=signals.xxx)`；③ 确保 handler 接收 `sender` 及信号约定参数（如 `spider_closed` 需 `spider`）；④ 自定义信号须继承 `object` 并通过 `crawler.signals.register()` 注册。

Answer 1

```html

一、现象层：迁移失败的典型报错与表征

Scrapy 2.0+ 升级后，大量项目在启动时抛出 ImportError: cannot import name 'dispatcher' 或运行中触发 AttributeError: module 'scrapy' has no attribute 'dispatcher'。更隐蔽的问题是信号“静默失效”——如 spider_closed 回调从未执行，日志无报错、无堆栈，爬虫结束即终止，导致资源未释放、统计未上报、数据库连接泄漏等生产事故。

二、结构层：信号机制演进的架构图谱

graph LR
    A[Scrapy 1.x] -->|全局单例| B(dispatcher.SignalManager)
    B --> C[connect/send API]
    C --> D[弱引用绑定/无 sender 约束]
    E[Scrapy 2.0+] -->|Crawler 生命周期绑定| F(crawler.signals)
    F --> G[signals.xxx 预定义对象]
    F --> H[register() 动态注册]
    F --> I[强制 sender + 信号专属参数]

三、语法层：关键代码迁移对照表

场景	Scrapy 1.x（已废弃）	Scrapy 2.0+（推荐写法）
导入声明	from scrapy import dispatcher	from scrapy import signals
绑定内置信号	dispatcher.connect(on_close, signal=signals.spider_closed)	crawler.signals.connect(on_close, signal=signals.spider_closed)
回调函数签名	def on_close(spider): ...	def on_close(sender, spider, reason): ...（sender 必须首参）

四、语义层：sender 参数的设计哲学与契约约束

Scrapy 2.0+ 强制所有信号处理器接收 sender 参数，其本质是将信号从“广播模式”升级为“上下文感知事件总线”。sender 恒为触发方实例（如 Crawler、Spider 或 Engine），使回调可精准区分多爬虫共存场景（例如：A爬虫关闭 vs B爬虫关闭）。遗漏 sender 不仅引发 TypeError，更破坏 Twisted 的信号分发契约——因为底层通过 twisted.internet.defer.maybeDeferred 调用，参数不匹配将被静默吞没。

五、扩展层：自定义信号的注册与生命周期管理

若需定义业务信号（如 item_validated），必须显式注册：

from scrapy import signals
from scrapy.signalmanager import SignalManager

# ✅ 正确：继承 object，注册到 crawler 实例
class ItemValidated:
    pass

# 在 Spider.__init__ 或 Extension 中：
crawler.signals.register(ItemValidated)

# 绑定方式：
crawler.signals.connect(
    self.on_item_validated,
    signal=ItemValidated
)

未调用 register() 将导致 ValueError: Unknown signal；注册后未通过 crawler.signals.connect() 绑定，则事件永不触发。

六、并发层：异步回调与 Twisted 事件循环的协同规范

当信号处理器含异步逻辑（如调用 asyncio.to_thread 或 HTTP 上报），必须包装为 Twisted 兼容的 Deferred：

from twisted.internet import defer

def on_spider_closed(sender, spider, reason):
    # ❌ 错误：直接 await 会阻塞 reactor
    # await upload_stats(spider)

    # ✅ 正确：返回 Deferred，由 reactor 调度
    return defer.ensureDeferred(upload_stats(spider))

否则将导致 reactor 停滞、后续中间件失效、甚至整个 Crawler hang 住。

七、验证层：信号调试的三重校验法

1. 静态检查：用 grep -r "dispatcher\.connect\|from.*dispatcher" . 扫描全项目，确保零残留；
2. 运行时注入：在 Spider.start_requests() 中插入 self.crawler.signals.send_catch_log(signal=signals.spider_opened, spider=self) 触发测试；
3. 日志钩子：在 settings.py 启用 LOG_LEVEL = 'DEBUG'，观察 [scrapy.core.engine] Spider opened 等信号日志是否出现。

```