ximyma 2022-03-31 09:03 采纳率: 0%
浏览 153

delphi开发网页爬虫的问题

begin

问题遇到的现象和发生背景

工作中需要对某类网站进行每天监测,统计各栏目是否有更新文章,间隔时间超过N天即报警并提示栏目管理员。

问题相关代码,请勿粘贴截图

如何提取网站各栏目网页元素文本和链接并写入数据库,对栏目文章更新日期进行自动检测,并对超过更新期限的栏目自动报警。

我的解答思路和尝试过的方法

1、使用delphi10.4,通过webbrowser和idHTTP控件,Memo1.text := idhttp1.get(edit1.text);可以实现对提取网页源代码,
2、通过webbrowser,载入网页
WebBrowser1.Silent := True;
WebBrowser1.Navigate(Edit1.text);
3、实现提取网页全部链接
for i := 0 to Webbrowser1.OleObject.Document.links.Length - 1 do
memo2.lines.Add(Webbrowser1.OleObject.Document.Links.Item(i));
4、实现提取网页文本
memo3.text := ihtmldocument2(webbrowser1.document).body.outerText;

运行结果及报错内容

5、调用ActivX、MSHTML函数,提取网页元素文本和链接失败。
for j := 0 to Webbrowser1.OleObject.Document.getElementById('h2').innerText.Length - 1 do
memo3.lines.Add(Webbrowser1.OleObject.Document.getElementById('h2').innerText.Item(j));
尝试使用GetElementsById、GetElementsTagName、GetElementTagName全部报错。

我想要达到的结果

通过对网站全站扫描获取网站栏目结构和链接,自动对栏目文章更新日期进行自动检测,并对超过更新期限的栏目自动报警,自动生成网站绩效管理报告并分发到邮箱和企业微信。
end.

  • 写回答

2条回答 默认 最新

  • ximyma 2022-04-29 18:31
    关注

    爬虫程序已经完成,会开源给大家。

    评论

报告相同问题?

问题事件

  • 创建了问题 3月31日

悬赏问题

  • ¥15 基于卷积神经网络的声纹识别
  • ¥15 Python中的request,如何使用ssr节点,通过代理requests网页。本人在泰国,需要用大陆ip才能玩网页游戏,合法合规。
  • ¥100 为什么这个恒流源电路不能恒流?
  • ¥15 有偿求跨组件数据流路径图
  • ¥15 写一个方法checkPerson,入参实体类Person,出参布尔值
  • ¥15 我想咨询一下路面纹理三维点云数据处理的一些问题,上传的坐标文件里是怎么对无序点进行编号的,以及xy坐标在处理的时候是进行整体模型分片处理的吗
  • ¥15 CSAPPattacklab
  • ¥15 一直显示正在等待HID—ISP
  • ¥15 Python turtle 画图
  • ¥15 stm32开发clion时遇到的编译问题