mysql的数据修改后实时更新到elasticsearch的问题

最近在研究elasticsearch,mysql中新增和修改的数据已经能够自动的同步到elasticsearch中了,但是删除的数据无法自动的从elasticsearch中删除,请问各位大神改怎么做才行?

1个回答

我们放弃使用river,基于canal(mysql增量订阅组件)开发同步服务,几乎达到实时同步哦

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
mysql5.0数据实时更新问题
有熟悉mysql的没 在5.0中怎么对数据库中的数据进行实时更新,rn例如每天的 某个时间定时去检测数据库中某个时间字段是否比当前时间大,然后更新该记录的某个字段rn注意是在5.0中
数据实时更新的问题!
想问下,,,A页面输入数据进数据库,按提交打开B页面,B页面显示刚刚输入的数据
数据实时更新问题
ADODataSet1->Refresh() ;rnDBGrid1->DataSource = DataSource1;rnrn//DBGrid1->Columns [0].Items->rnDBGrid1->Update() ;rnrn但是数据库的变化无法立即表现出来,rn只有应用程序重启才能表现出来。rn是不是控件设置问题?
实时更新GridView数据问题
一个页面上就2个控件 一个txt文本框,一个gridview,要求文本框输入数据不同,gridview里要实时更新,求代码。要求用户输入在文本框中的每一个值改变都会触发gridview显示的数据改变
winform数据实时更新问题。
一个winform程序,由于局域网内多客户端使用该用程序连接同一个服务器数据库,由于多用户的操作,所以数据会时刻发生更改,不知有什么办法可以做到数据的实时更新?以免用户对旧数据进行操作,导致问题发生。
【技术实验】mysql准实时同步数据到Elasticsearch
实验背景 Elasticsearch在阿里云商业化已经有一段时间,它作为大数据场景下搜索和分析的引擎,可以用于很多场景。前两天有同学提到需要将MySQL中的数据准实时的同步到ElasticSearch中的需求,由于自己对ES也很感兴趣但一直没有机会实操,恰好趁这个机会学习验证了一下,并把过程记录下来,方便新人尽快上手少走弯路。 本次实操采用Logsta...
ElasticSearch和Mysql同步数据的方法
1. 对于需要在ES中进行查询的表格,增加字段UPDATE_TIME,ES同步数据时根据该字段同步插入和更新的数据。在增加和修改数据时,MySql会自动更新UPDATE_TIME为当前时间,不需要人工进行管理 ALTER TABLE `table_name` ADD COLUMN `UPDATE_TIME` timestamp NOT NULL DEFAULT CURRENT_TIMESTAM...
解决 MySQL 与 Elasticsearch 数据不对称问题
摘要: jdbc-input-plugin 只能实现数据库的追加,对于 elasticsearch 增量写入,但经常jdbc源一端的数据库可能会做数据库删除或者更新操作。这样一来数据库与搜索引擎的数据库就出现了不对称的情况。 当然你如果有开发团队可以写程序在删除或者更新的时候同步对搜索引擎操作。如果你没有这个能力,可以尝试下面的方法。 本文节选自《Netkiller Database 手
数据修改后的显示问题!!
dbgrid链接了ADOStoredProc用作显示数据,而另外的用了一个edit来填入相关内容,修改数据,具体的数据操作是由adoquery来完成的,现在遇到问题就是,在我用adoquery完成修改后,要在dbgrid里面显示更新后的数据,TADOStoredProc.refresh不行,那我只有用TADOStoredProc.close,然后TADOStoredProc.open,最后我还得TADOStoredProc.locate到这条记录,!!rn太麻烦了,大家都是如何处理这样的问题的!!
请问MYSQL能否实现数据的实时更新?
设计到通讯,当有新数据送来时,数据库进行实时更新?
elasticsearch mysql插件问题
es版本 1.5.1rn命令:./plugin --install jprante/elasticsearch-jdbcrn报错:rn[code=text]root@iZ25hqieqgjZ:~/elasticsearch-1.5.1/bin# ./plugin --install jprante/elasticsearch-jdbcrn-> Installing jprante/elasticsearch-jdbc...rnTrying https://github.com/jprante/elasticsearch-jdbc/archive/master.zip...rnDownloading ...............................................................................................................................................................................................................................................................................................................................................................................DONErnInstalled jprante/elasticsearch-jdbc into /root/elasticsearch-1.5.1/plugins/jdbcrnUsage:rn -u, --url [plugin location] : Set exact URL to download the plugin fromrn -i, --install [plugin name] : Downloads and installs listed plugins [*]rn -t, --timeout [duration] : Timeout setting: 30s, 1m, 1h... (infinite by default)rn -r, --remove [plugin name] : Removes listed pluginsrn -l, --list : List installed pluginsrn -v, --verbose : Prints verbose messagesrn -s, --silent : Run in silent modern -h, --help : Prints this help messagernrn [*] Plugin name could be:rn elasticsearch/plugin/version for official elasticsearch plugins (download from download.elasticsearch.org)rn groupId/artifactId/version for community plugins (download from maven central or oss sonatype)rn username/repository for site plugins (download from github master)rnrnMessage:rn Error while installing plugin, reason: IllegalArgumentException: Plugin installation assumed to be site plugin, but contains source code, aborting installation.[/code]rnelasticsearch mysql 的配置没太多资料,求可用的
一个数据实时更新的问题,谢谢.
主界面上是一个dbgrid,用于显示某access中的数据;从另外一个窗体输入新数据(检查数据库了,新数据输入成功),我希望输入新数据后,窗体一关闭,主界面的dbgrid里面数据马上更新.rn但是,我用的是access+ado,用了adoquery,总是不能做到实时更新,只有重新打开才能更新.请问,如何解决,谢谢.
有关MFC的数据实时更新问题
从网上找了一个程序:在VS中用MFC改了一下:从HTTP//服务器中获取数据,数据结果在上位机文本框中显示,一旦服务器的数据更新,上位机数据也会自动更新,但更新到第6个数据时程序发生中断,检查了一下找不出原因,本身也是新手小白,希望有大佬相助...
PHP页面数据实时更新问题
现在我想做一个简单的登陆界面与一个简单的后台界面,前台只做一个用户名与密码,后台用户管理中只有一个用户管理界面(包含用户名与密码两栏),要求当我在前台输入用户名、密码的时候,在后台用户管理界面中实时的显示用户名与密码,求高手帮助,本人小白一个,不知道该如何下手,十分感谢
C# 数据不能实时更新问题?
C# 使用VS LinqToSQL 向导连接数据库,读取没问题。但发现当一个表读取-〉数据库中修改数据(非此程序内修改)-〉 再次读取 。rnrn如下:rnrnUser U1=(from user in db.User where id==1 select user).FirstOrDefault();rn//直接用其他程序修改数据内容rnUser U2=(from user in db.User where id==1 select user).FirstOrDefault();rnrn发现 U1和U2是一样的,U2读取前的修改内容没变化。rnrn数据库中确实是修改了的,只有当这个程序重新运行后才能读出更改后的值。
关于web数据实时更新的问题
我这里需要做一个实时更新,就是一个客户端提交数据,在另一个客户端能及时反映rn是B/S结构,现在我自己考虑的是用ajax提交请求,然后通过js解析返回数据更新页面,rn但是我想如果需要很及时的反映新的信息就需要不断的提交请求,这样服务器压力会比较大,rn有没更好一点的方法么?rn望csdn大侠指点一下小弟rn
请教关于数据实时更新的问题!
使用DELPHI三层结构开发的系统中,有没有办法让中间服务程序主动给所有已经创建的客户端程序发消息?我的系统有多人使用,现在要求当某个数据表中增加记录时,所有已经连接的客户断均需要在短时间内刷新显示,除了在客户端中设置定时刷新以外,还有没有什么其它的方法?rn多谢!
MySQL实时更新的解决方法?
本地服务器和远地服务器上都有一个字段几乎相同的数据库表。rnrn现在本地服务器需要接收远地服务器发送过来的XML数据文件,使用php读取xml中的数据,然后转存到本地服务器数据库表中。rnrn本地数据库表是通过字段id和user来标识唯一记录的,转存过程中可能会执行以下操作:rn1、搜索记录rn2、如果记录不能存在,则插入;rn3、如果表中已存在记录,则进行字段值比较,如果某个字段值已发生变化,则更改字段值,更新表;rnrn问题:rn1、因为XML数据量大,且本地数据库表的更新操作由用户触发,所以操作速度不能过慢,有没有好的更新数据库的解决方案?或者不按照上面提到的操作步骤,可以快速地将xml数据存储到本地数据库?rnrn2、本地数据库接收远地服务器的xml操作,除了用户执行相应的php文件来触发外,还有没有其他好的办法?php没有实时执行的功能,用死循环又太浪费资源。
实时更新adapter中的数据
main.xmlrn[code=XML]rnrnrn rn rn rn rn rn rn rn rn rn rnrnrn[/code]rnuser.xmlrn[code=XML]rn rn rn rn rn rn rn rn rn rn rn rn rn rn rn[/code]rnActivityrn[code=Java]rnpackage com.list;rnrnimport java.util.ArrayList;rnimport java.util.HashMap;rnrnimport android.app.Activity;rnimport android.os.Bundle;rnimport android.widget.ListView;rnimport android.widget.SimpleAdapter;rnrnpublic class ListTest extends Activity rn /** Called when the activity is first created. */rnrn @Overridern public void onCreate(Bundle savedInstanceState) rn super.onCreate(savedInstanceState);rn setContentView(R.layout.main);rn ArrayList> users = new ArrayList>();rn for (int i = 0; i < 10; i++) rn HashMap user = new HashMap();rn user.put("img", R.drawable.user);rn user.put("username", "姓名(" + i + ")");rn user.put("age", (20 + i) + "");rn users.add(user);rn rn SimpleAdapter saImageItems = new SimpleAdapter(this, users,// 数据来源rn R.layout.user,// 每一个user xml 相当ListView的一个组件rn new String[] "img", "username", "age" ,rn // 分别对应view 的idrn new int[] R.id.img, R.id.name, R.id.age );rn // 获取listviewrn ((ListView) findViewById(R.id.users)).setAdapter(saImageItems);rnrn rnrn[/code]rn我现在想实时更新滚条的显示进度,在网上查了很多,说需要重写adpter之类的,但是我重写了也不会用,还需要handler传递消息,来刷新当前进度条的进度显示,期待牛人的帮助。
对话框数据实时更新
在鼠标移动的过程中,获取鼠标坐标,并且见鼠标坐标送入对话框中,请问,怎么做可以使对话框中的数据得到实时的更新,也就是随着鼠标在视图上的移动,数据一起变化。
asp.net + ajax 数据实时更新
asp.net + ajax 数据实时更新rnrn不是定时更新,是当服务器端数据变化(这个数据是从别处采集来的),或者来了新数据就发送到客户的网页上。rnrn我是ajax的小菜,大家多多指教!
mybatis缓存与数据实时更新
第一种方式:刷新缓存(就是清空缓存)在mapper的同一个namespace中,如果有其它insert、update、delete操作数据后需要刷新缓存,如果不执行刷新缓存会出现脏读,每次查询都需要清除缓存,设置statement配置中的flushCache=”true” 属性,默认情况下为true即刷新缓存,如果改成false则不会刷新。使用缓存时如果手动修改数据库表中的查询数据会出现脏读。**
数据统计报表实时更新springmvc+ajax+highcharts
数据统计报表 数据统计报表 数据统计报表模板数据统计报表 数据统计报表
Java的数据实时更新
用Java写一个模块,实现将服务端数据的实时变化通知客户端浏览器,不使用Ajax轮询的方式。rnrn 哪位高手有思路的,指点一下啊 ?
Mschart 饼状图 数据实时更新
用的Mschart组件,做饼状图的时候,数据分2块。合格数量和不合格数量。rn测试:开始运行的时候,增加一个合格品数量1rnchart1.series("data").points.addY(1)rn第二个产品,直接修改前一个的值rnchart1.series("data").points.item(0).setValueY(2)rn第三个产品rnchart1.series("data").points.item(0).setValueY(3)rnrn这样运行没有问题,但是没有时间间隔,看不出效果。就想每个产品增加的时候,做一个时间延迟。rn通过for 循环来做rnfor i =2 to 10rn thread.sleep(1000)rn chart1.series("data").points.item(0).setValueY(i)rnnextrnrn但是这样就出问题了,chart1的数据一直不动,直到for循环结束,chart1的数据直接到最后一个产品的序号10了。rnrn以为是setValueY 方法的问题,然后用chart1.series("data").points.clear,先清除,后添加rnchart1.series("data").points.addY(1).rn这种办法在for循环里同样错误。rnrn如果把延迟去掉,瞬间,char1的值变成10. 也就是说chart1的值无法变化显示,它只显示最后一个值。rnrn这种问题,要怎么破??rn
dbgrid数据实时更新
很经典的用法应该是很成熟了,就是不知道怎么写rn点击保存数据后,数据更新到与之相连的dbgrid中rn数据保存,就能在dbgrid中看到刚才保存的数据
echart数据的实时更新
https://www.cnblogs.com/rongyux/p/5855660.html
vc TeeChart 数据实时更新
[code=C/C++]rn char second[32] ="";rn char one[7]="";rn struct tm *temptm;rn time_t temptime;rn temptime= time(0);rn temptm = localtime(&temptime);rnrn sprintf(second,"%02d:%02d:%02d",temptm->tm_hour,temptm->tm_min,temptm->tm_sec);rn while(m_Chart1.Series(0).GetCount()>50) m_Chart1.Series(0).Delete(0);rn if(m_Chart1.Series(0).GetCount()>50) m_Chart1.Series(0).Delete(0); rn rn newX=m_Chart1.Series(0).GetXValues().GetCount()+1;//rn newY=GetRandom(100,300);rn m_Chart1.Series(0).AddXY(newX,newY,second,RGB(255,255,0));rn[/code]rn[color=#FF0000]rn1。页面最多显示100个点温度曲线rn2。根据时间测试一个点的温度数据实时更新(超过100个点的时候删除前面的点)rn3。后面的温度曲线每秒向前移动一个温度曲线。[/color]
ExpandableListView实时更新UI数据
本来想添加图片但是没有找到怎么添加效果图,ExpandableListView中操作子项内容,更新数据并实时的显示到group中,应该说是实时刷新UI。
人口数据实时更新网
http://www.world-gazetteer.com/
弹出框数据实时更新
鼠标点击事件PopUpManager弹出TitleWindow框,添加一个点击按钮的父辈,titleWindow.addElement(evt.target.parent);rn问题是evt.target.parent里面的数据实时更新,而弹出框里面的数据时点击时刻的数据,如何保证弹出框数据保持实时更新,
ListView控件的数据实时更新
最近看一份wpf4.0(Visual Studio 2010)的资料,书中讲到将ListView控件通过DataContext绑定到一个List<>集合,在一个对话框中对列表选中项的数据进行修改,修改完成后,对数据的更新会实时的反应到ListView控件中,在Visual Studio2010中实验OK!rn 可是转换到WPF4.5(Visual studio2015)中时,一切不一样了,首先EF框架到了5.X或6.x,之前获取数据的方式不一样了,查资料修改,搞定!数据显示正常!更新数据,结果LisView控件不会再实时更新了,反复实验,结果发现需要重新设置LIstView控件的DataContext属性才行!rn[code=csharp]rn//数据库使用Northwind示例数据库rn//ListView控件和另一个ComboBox控件关联rn//两个表,EF框架中通过SupplierID关联了Suppliers和Products两张表rn//设置ComboBox的DataContext的代码,northwindDB是窗体的字段,类型是NorthwindEntities,NorthwindEntities是由EF向导生成的DBContext对象rn northwindDB = new NorthwindEntities();rn northwindDB.Suppliers.Load();rncmbSupplierList.DataContext = northwindDB.Suppliers.Local;rnrn//当选择了ComboBox中的项目后设置ListView控件中的DataContext的代码,sp是窗体字段,类型是EF生成的Supplier类,productList是一个定义为List的集合,也是窗体字段。rnsp = cmbSupplierList.SelectedItem as Supplier;rnproductList = sp.Products.ToList();rnlsvProductList.DataContext = this.productList;rnrn//到此为止,显示一切正常rn//下面是更新数据的代码,ProductForm是一个编辑产品信息的窗口,显示为模态,用户编辑完成后单击确定按钮,相关的校验在该窗口完成rnprivate void editProduct(Product prod)rn rn ProductForm pf = new ProductForm();rn pf.Title = "编辑产品信息";rn pf.txtProductName.Text = prod.ProductName;rn pf.txtQuantityPerUnit.Text = prod.QuantityPerUnit;rn pf.txtUnitPrice.Text = prod.UnitPrice.ToString();rnrn if(pf.ShowDialog().Value)rn rn prod.ProductName = pf.txtProductName.Text;rn prod.QuantityPerUnit = pf.txtQuantityPerUnit.Text;rn prod.UnitPrice = decimal.Parse(pf.txtUnitPrice.Text);rn btnSaveChanges.IsEnabled = true;rn rn //如果没有下面这三句,ListView控件就不能反应实时更新了rn sp = cmbSupplierList.SelectedItem as Supplier;//这一句可以不需要,ComboBox控件的状态并没有变化rn productList = sp.Products.ToList();rn lsvProductList.DataContext = productList;rn rn rn[/code]rn我的疑惑是ProductList是一个集合,属于引用类型,集合成员Product也是一个class类型,也是引用类型,理论上讲,更改其数据,就会影响到指向数据的引用啊,无论productList还是ListView控件的DataContext属性都只是指向同一个内存区域的引用,我的更改应该会实时的反映到两个引用才对,上面最后三条语句,应该只是起到了强制ListView控件刷新的作用,没有上面三条语句,通过手动或代码变换一下ComboBox的SelectedItem也能达到效果。那么有没有更优雅的办法解决ListView控件的实时更新问题。rnrn还有一个问题,背景同上rn原来的EF框架生成的Context是继承自ObjectContext,拥有一个Refresh方法,在更新数据库时习惯用它来处理Lost Update,但是现在EF6.x和5.x框架的Context都是继承自DBContext类了,而DBContext没有Refresh方法,那应该怎样解决这一问题呢?我的一个解决方案是:出现更新错误后,重新调用对应DbSet的Load方法,以反映数据库当前的变化,在这之前还要将当前本地数据保存,然后再用本地数据更新DbSet,然后在调用SaveChanges方法。方法显得比较笨拙,有没有其它的好办法??
取实时更新的数据
字段khjl(a,b,c,d....)数据每天都在更新,由字段khjl中的(a,b,c,d....)来更新,我现在要取最新的一个数据,更新后数据会覆盖前一个的数据,登记日期为rq,但是由于khjl中有些人员没有及时登记更新,因此,我要取 每个人员(a,b,c...)最近一次登记的数据来合成一份最新的数据,这个怎么做,跪求~~~![img=https://forum.csdn.net/PointForum/ui/scripts/csdn/Plugin/003/monkey/34.gif][/img]
实时更新DataGrid里的数据
怎么样实现如题的效果,在不刷新网页下,改变了数据库,就会在DataGrid里显示出来
实时更新问题
本人写了一个C/S程序,在两机器同时执行打开同一窗体(客房)当我在一台机器上点添加然后添加一条记录,但是那台机器上的那个窗体并没有实时地显示出刚刚添加的记录,而是必须关闭窗体,再打开才能有,请问有什么办法可以实时显示呢更新呢?谢谢大家指点了rn(sql server 2000 服务器,adoquery连接)
实时更新的问题!
在一个主页面上有 DataGrid Button1rn我点击这个 Button1弹出一个对话框 在里面可以添加内容rn当我关闭对话框的时候只能重新登陆才能在DataGrid中显示刚才添加的内容rnrn请高手帮忙解决一下 当我一添加完成 就能够在DataGrid中显示刚才添加的信息
数据窗口取修改后的数据问题?
数据窗口控件设置数据有setitem函数,可以不用管字段的类型;但是取数据时却要区分数据类型,分别用getitemdate,getitemstring等等,有没有方法可以不用管数据类型,直接取出来赋值给一个any类型的变量。rnrn我知道用dwcontrol.object.data[]可以取到,但是好象必须得先accepttext一下,否则取到的还是原来的数值,而不是修改之后的数值。rnrn注意我要取的是修改之后但是还没有调用accepttext函数的值,也就是itemchanged事件的参数data,但是data是string类型的,需要转换数据类型。rnrn
python脚本将mysql中的数据存入Elasticsearch
python脚本将mysql中的数据存入Elasticsearch 公司项目数据分析的项目,需要爬虫获取数据存入msyql,然后将mysql的数据转存到elasticsearch,没有太高效率的需求,只需判断各字段非空即可。简单的python实现代码和ES创建的代码如下: python从mysql转存到ES import MySQLdb import pandas as pd import re ...
导入MySQL中新闻数据到Elasticsearch
Elasticsearch 5.4新闻搜索项目实战视频教程:本课程基于Java开发,通过项目案例的方式讲解Elasticsearch分布式搜索引擎(Elasticsearch索引)中的核心技术,ES的版本为5.4,学员学习本课程以后可以初级实现类似百度新闻搜索项目。rnrnElasticSearch是一个基于Lucene的分布式搜索引擎,适合做大数据搜索和大数据分析,百度、腾讯、360、斗鱼、快手、饿了么等诸多一线互联网公司都在使用Elasticsearch。rnrn1.课程提供完整课件和源代码 2.支持QQ群答疑。rnrn
求助!!!不同对话框之间数据实时更新问题
有两个对话框,点击父对话框中的“设置参数”菜单,先向下位机发送获取参数的命令,再把获取到的参数显示在弹出的子对话框中,我[color=#FF0000]上位机接收数据是自动接收的[/color],收到数据后就把m_bParaGetOK标志置true,rn现在的问题是: 我必须要先获取一次参数,但不显示子对话框,第二次点击“设置参数”菜单的时候,才能正确地在弹出的子对话框中显示变量; 如果在“设置参数”方法中直接调用获取参数并且弹出子对话框,那我子对话框中显示的就不是这一次获取到的参数,现在的代码如下:rnrnif (m_bParaGetOK==FALSE)//判断是否获得参数rn rn OnMenuGetpara();//获取下位机参数方法rn return;//第二次点击菜单是再创建子对话框显示rn rn elsern rn m_bParaGetOK=FALSE;rn CrtParaSetDlg(); //创建一个非模态对话框并显示rn rnrn[size=14px]不知道有没有什么方法可以在只点击一次“设置菜单”的时候就把收到的数据实时地显示在子对话框中? [/size]
相关热词 c#入门推荐书 c# 解码海康数据流 c# xml的遍历循环 c# 取 查看源码没有的 c#解决高并发 委托 c#日期转化为字符串 c# 显示问号 c# 字典对象池 c#5.0 安装程序 c# 分页算法