2 u014387402 u014387402 于 2014.10.27 09:30 提问

Elasticsearch使用elasticsearch-river-jdbc插件操作Mysql遇到的问题。

我用elasticsearch-river-jdbc添加了一个mysql的数据源。代码如下:
curl -XPUT 'localhost:9200/_river/bankinfo/_meta' -d '{
"strategy" : "simple",
"interval" : 0,
"flush_interval" : "5s",
"type" : "jdbc",
"jdbc": {
"driver": "com.mysql.jdbc.Driver",
"url": "jdbc:mysql://192.168.1.91:3306/game",
"user": "root",
"password": "111",
"sql": "select * from bank_info",
"interval":"1800",(秒)
"index" : "bank_info_db",
"type" : "bank_info_table"
}
}'
现在的问题是,每隔半个小时去同步一次数据,但是新同步过来的数据是累加到bankinfo索引中的,但这并不是我想要的效果啊,我希望的是如果我的MYSQL库其中一条数据发生了update事件,那么在同步的时候只更新这条发生了变化的数据。不知道该怎么处理。希望各位大神帮帮忙。谢谢了。

1个回答

aa602149695
aa602149695   2015.06.03 09:14

select id as \"_id\" from bank_info 这样的话 es中的_id就不会在每次同步的时候增加了,那么数据也就不会累加

qq_16771499
qq_16771499 感觉这个插件隔段时间把所有数据再导入一遍然后原来的数据删除掉是这样吗?还有删除的数据问题你解决了吗?
一年多之前 回复
qq_16771499
qq_16771499 回复oulinjiang: 楼主为什么我river导入时增量更新能实现了但是日志里面影响的行数一直再涨[2016-04-22 17:05:00,517][INFO ][river.jdbc.RiverMetrics ] pipeline org.xbib.el asticsearch.plugin.jdbc.RiverPipeline@4679fbd0 complete: river jdbc/student metr ics: 205 rows, 0.12851905702703972 mean, (0.11193781951894739 0.0231399646497355 1 0.007756212793144578), ingest metrics: elapsed 0 seconds, 1.42 KB bytes, 7.0 b ytes avg, 0.003 MB/s
一年多之前 回复
qq_16771499
qq_16771499 回复oulinjiang: 楼主为什么我river导入时增量更新能实现了但是日志里面影响的行数一直再涨[2016-04-22 17:05:00,517][INFO ][river.jdbc.RiverMetrics ] pipeline org.xbib.el asticsearch.plugin.jdbc.RiverPipeline@4679fbd0 complete: river jdbc/student metr ics: 205 rows, 0.12851905702703972 mean, (0.11193781951894739 0.0231399646497355 1 0.007756212793144578), ingest metrics: elapsed 0 seconds, 1.42 KB bytes, 7.0 b ytes avg, 0.003 MB/s
一年多之前 回复
oulinjiang
oulinjiang 如果把Mysql里的数据删除一条,而ES里的是不会同步的删除这条咋办啊?楼主
大约 2 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!