2 qq 34928556 qq_34928556 于 2016.05.11 11:21 提问

java采集网页信息,并获取到所需要的信息存入数据库中对应的字段中去 (可以自动创建表头)

“java采集网页信息,并获取到所需要的信息存入数据库中对应的字段中去 ”创建好数据库的情况下可以插入对应数据了,现在我想实现自动创建表头,请问如何实现?请各位大大支招^_^

2个回答

caozhy
caozhy   Ds   Rxr 2016.05.11 11:28
qq_34928556
qq_34928556 谢谢您的回答,我就是用的这篇博文,就是需要自己建好数据库的表和表头,我想能不能自动获取表头,然后往里插数据
大约 2 年之前 回复
sxwws
sxwws   2016.05.11 14:57

没有你想象中的这么智能,要采集什么网页信息,入到什么表,什么字段里去。这都是根据你自己的需求走的。
这方面的技术很简单,用的比较多的有htmlparser的开源jar包。你只要负责通过配置的方式,找到你想爬的信息的位置,把内容取出来就可以了。

qq_34928556
qq_34928556 谢谢您的回答,我觉得上面那篇用正则的方法写的特别好,就是表头还需要自己创建
大约 2 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
java采集网页信息,并获取到所需要的信息存入数据库中对应的字段中去
最近,由于一些需要,用到了java和正则,做了个的足球网站的数据采集程序,由于是第一次做关于java的html页面数据采集,必然在网上查找了很多资料,但是发现运用如此广泛的java在使用正则做html采集方面的(中文)文章是少之又少,都是简单的谈了下java正则的概念,没有真正用在实际网页html采集,所以实例教程更是寥寥无几(虽然java有它自己的Html Parser,而且十分强大),但个人觉得作为如此深入人心的正则表达式,理应有其相关的java实例教程,而且应该很多很全.于是在完成java版的html数据采集程序之后,本人便打算写个关于正则表达式在java上的html页面采集,以便有相关兴趣的读者更好的学习.
自己写网页爬虫——网页分类抓取/采集并导入数据库
一直想着整理出网页抓取的具体实现功能代码,方便大家指正,也方便自己学习修正。当然这个并不是针对所有网页,自己写的功能有限,只能针对某一特定结构的网页进行数据采集,如果有更好的方法,请大家不吝指教,在此谢过!
Java 爬取信息存入数据库
功能包括抓取新闻信息,保存在数据库中,并根据请求返回相应数据。这里我选取的新闻来源是一点资讯(主要是他的API比较容易获取),抓取和解析选取Jsoup+Gson.运行采取Schedul 定时运行爬虫脚本。
【网络爬虫】数据采集——将html的数据分析保存到数据库
上篇文章,介绍了Heritrix爬取土木在线网的一些html数据,今天介绍如何将这些数据导入数据库。 首先建立一个web工程,写好domain,这是javaweb的基础,不在过多介绍。 package cn.hpu.edu.heritrix.domain; public class Extractor_TuMu { private String id; private String t
用Jsoup写一个简单的爬虫,并把从网页上面爬下的数据保存到数据库中
今天研究了Jsoup的一些基本用法,来与大家一块分享一下。我是先把从网页上面的数据做成了一个对象,然后把对象存进HashMap中,最后通过JDBC再保存到数据库中。 今天要进行爬虫的网站是智联招聘。每一条招聘信息都可以看成是一个对象。那么就要有一个自定义的JavaBeen类。 其中要用到两个jar包,分别是 :jsoup-1.10.3.jar 和 mysql-connector-java-5.
express 框架下使用mysql 保存页面抓取的数据
通过 nodejs 抓取的页面信息进行解析保存到数据库 抓取页面功能http://blog.csdn.net/black_wizard/article/details/51701101 保存到数据库 var itemDO = json_obj.itemDO; var date = new Date(); var curtime = date.getTime()/1000;// 当前时间戳
如何实现动态获取数据库中的字段
在做项目的路途有没有遇到这样的一个问题:数据库的字段名称可能随着时间和需求的变化会发生改变,而实际的程序中需要获取的数据是不变的,比如说:开始的时候用name这次字段表示名称,在某种需求下改成只是将字段名称了name1保存的数据没有变并且要求程序要求获取到对应的数据。这该怎么办的?        这时会想到动态的获取这个字段名,那么应该如何实现呢?        首先,数据库的设计应该是会有一
获取网页特定信息
获取特定网站中的网页的特定信息,程序运用的是线程池来处理多线程。获取到的信息存入Access数据库中
JavaWeb注册并把数据存入数据库
注册信息并把信息存入数据库,本人用到的软件如下; 1.mysql数据库     2.myeclipse     3.界面化sqlyou 首先创建这几个包和类,还有jsp页面        包和类如下: jsp如下: 下面是创建的数据库表即表内容; 再就是Member类了: 在之后就是Register类了,如下: 最后就是RegisterS
爬取天气数据并写入数据库中的总结
sql = 'INSERTINTO table_name (city,air_quality,AQI,PM2_5,dt)VALUES(%s,%s,%s,%s,%s)' try:  cur.executemany(sql,tuple(data))#data 是列表,但是里面的元素是元组 print("now: ……Done……")  #对于写入数据库,这个fetchall没有用,但是对