logstash同步数据mysql一对多数据结构的情况? 5C

学生表student和课程表class一对多关系,
学生表student和兴趣interest表一对多关系,
想要将三个表同步到一个索引里面,通过ES一次性查询到学生信息、学生的课程数组、学生的兴趣数组;

[
{
"id": 1,
"name": "小王",
"class": [
{
"id": 1,
"name": "数学"
},
{
"id": 2,
"name": " 语文"
}
],
"interest": [
{
"id": 1,
"name": "学习"
},
{
"id": 1,
"name": "足球"
}
]
}]
我是想搜索出来这样的数据 同时包含学生的 课程和兴趣,而这条数据是真实同步到logstash中的 不是通过ES的联合查询出来的

4个回答

input {
stdin {
}
jdbc {
# mysql jdbc connection string to our backup databse
jdbc_connection_string => "jdbc:mysql://192.168.42.147:3306/test"
# the user we wish to excute our statement as
jdbc_user => "root"
jdbc_password => "root"
# the path to our downloaded jdbc driver
jdbc_driver_library => "/home/hadoop/opt/logstash-2.3.2/mysql-connector-java-5.1.29.jar"
# the name of the driver class for mysql
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
statement_filepath => "jdbc.sql"
schedule => "* * * * "
type => "gjhz"
}
jdbc {
# mysql jdbc connection string to our backup databse
jdbc_connection_string => "jdbc:mysql://192.168.42.147:3306/test"
# the user we wish to excute our statement as
jdbc_user => "root"
jdbc_password => "root"
# the path to our downloaded jdbc driver
jdbc_driver_library => "/home/hadoop/opt/logstash-2.3.2/mysql-connector-java-5.1.29.jar"
# the name of the driver class for mysql
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
statement_filepath => "jdbc2.sql"
schedule => "
* * * *"
type => "rjfw"
}
}

网卡,一不小心发了四遍图片说明

u013098329
blueness_sunshine 好像这几遍有的不一样。所以根据我这种情况,关键点是在哪儿?
2 年多之前 回复

[
{
"id": 1,
"name": "小王",
"class": [
{
"id": 1,
"name": "数学"
},
{
"id": 2,
"name": " 语文"
}
],
"interest": [
{
"id": 1,
"name": "学习"
},
{
"id": 1,
"name": "足球"
}
]
}]我是想搜索出来这样的数据 同时包含学生的 课程和兴趣,而这条数据是真实同步到logstash中的 不是通过ES的联合查询出来的

先把表设计写好 再写对表的操作就好写了 应该先看一下这个一对多的表设计https://www.cnblogs.com/fengxuehuanlin/p/5325312.html

u013098329
blueness_sunshine 回复chenxiansheng888: 那么更新操作呢?
2 年多之前 回复
chenxiansheng888
小刀有话说 回复blueness_sunshine: 怎么会不更新 插入的时候 不算数据库更新吗
2 年多之前 回复
u013098329
blueness_sunshine 兴趣表与课程表没有关系,这里也没有多对多的情况;我的问题需要考虑到logstash后期增量更新的时候,是否能找到对应是哪条数据有更新,不然变成了只插入不更新,造成冗余数据
2 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐