我准备抓取新闻网站中的新闻进行摘要,但是遇到了一些问题。
在我点击网站的新闻的时候并不是跳转到一个新的网页,而是在当前页面直接显示新的内容,即异步请求。请求的url地址如下。
但是问题在于,当我跳转到这个请求的地址时,并没有得到具体的内容,而是提示404 not found,如下,
然后我去观察控制台中的Response,发现点击这些新闻的时候返回的响应是一些js代码,如下
在这些js代码中绑定了新闻的内容。
我现在想问如果我直接去访问请求地址提示我404的话,该怎么办呢,例如我如何能获得具体的响应内容?即使是js代码