begin
问题遇到的现象和发生背景
工作中需要对某类网站进行每天监测,统计各栏目是否有更新文章,间隔时间超过N天即报警并提示栏目管理员。
问题相关代码,请勿粘贴截图
如何提取网站各栏目网页元素文本和链接并写入数据库,对栏目文章更新日期进行自动检测,并对超过更新期限的栏目自动报警。
我的解答思路和尝试过的方法
1、使用delphi10.4,通过webbrowser和idHTTP控件,Memo1.text := idhttp1.get(edit1.text);可以实现对提取网页源代码,
2、通过webbrowser,载入网页
WebBrowser1.Silent := True;
WebBrowser1.Navigate(Edit1.text);
3、实现提取网页全部链接
for i := 0 to Webbrowser1.OleObject.Document.links.Length - 1 do
memo2.lines.Add(Webbrowser1.OleObject.Document.Links.Item(i));
4、实现提取网页文本
memo3.text := ihtmldocument2(webbrowser1.document).body.outerText;
运行结果及报错内容
5、调用ActivX、MSHTML函数,提取网页元素文本和链接失败。
for j := 0 to Webbrowser1.OleObject.Document.getElementById('h2').innerText.Length - 1 do
memo3.lines.Add(Webbrowser1.OleObject.Document.getElementById('h2').innerText.Item(j));
尝试使用GetElementsById、GetElementsTagName、GetElementTagName全部报错。
我想要达到的结果
通过对网站全站扫描获取网站栏目结构和链接,自动对栏目文章更新日期进行自动检测,并对超过更新期限的栏目自动报警,自动生成网站绩效管理报告并分发到邮箱和企业微信。
end.