元素中可以看到内容，python返回就没有了

Question

https://yc.ifeng.com/book/3252558/1/
这个地址的小说内容爬不出来，怎么解决呢？用selenium可以爬出来，但是别的就不会了，有更好的办法吗？为什么会出现源代码中能看到内容，在python中返回就缺失了内容

Answer 1

以下代码本地测试是可以爬取的,那个特殊换行不知道复制出来对不对,可以自己试试

import re
import requests

url = 'https://yc.ifeng.com/book/3252558/1/'
headers = {'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'}
res = requests.get(url,headers=headers)
# 使用正则获取文章的unicode编码字符
pattern = 'html\(unescape\("(?P<data>.*)"\)\);'
match = re.search(pattern,res.text)
data = match.group('data')
# 解码unicode字符
ans = data.replace(r'%','\\').encode('utf-8').decode('unicode_escape')
# 替换特殊换行字符
newline = 'CbrFECbrFE'
print(ans.replace(newline, '\n'))