用RestHighLevelClient将数据从MongoDb同步到ElasticSearch报错

如图,当批量增加时报错
图片说明

我的代码如下:
Test类:

 @Test
    public  void aa (UserVo userVo) throws IOException {
        try {
            MongoClient mongo = new MongoClient("47.106.125.227", 27017);//连接mongo
            DB db = mongo.getDB("qhc");//获取数据库
            DBCollection table = db.getCollection("sjs_list");//获取表名
            RestHighLevelClient client = new RestHighLevelClient(
                    RestClient.builder(
                            new HttpHost("localhost", 9200, "http")));//连接es
                //找到数据
                List<UserVo> userVoList=new ArrayList<>();
                userVoList.add(userVo);
                //放入数据
                batchInsertToEsSync(client,userVoList,"user","_search");//导出到es  表  字段
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

batchInsertToEsSync:

    public  void batchInsertToEsSync(RestHighLevelClient client,List<UserVo> objs,String tableName,String type) throws IOException {//导出
        BulkRequest bulkRequest=new BulkRequest();
        for(UserVo obj:objs) {
            IndexRequest req = new IndexRequest(tableName, type);
            Map<String,Object> map=new HashMap<>();
            //获取数据
            String id = obj.getId();
            String title = obj.getTitle();
            String content = obj.getContent();
            String source = obj.getSource();
            String date = obj.getDate();
            String pageUrl = obj.getPageUrl();
            String areaTag = obj.getAreaTag();
            String affairsTag = obj.getAffairsTag();
            String contentTag = obj.getContentTag();
            List<FuJian> enclosure= obj.getEnclosure();
            String img = obj.getImg();
            String summary = obj.getSummary();
            String tag = obj.getTag();
            String labelName = obj.getLabelName();
            //添加数据
            map.put("_id",id);
            map.put("_title",title);
            map.put("_content",content);
            map.put("_source",source);
            map.put("_date",date);
            map.put("_pageUrl",pageUrl);
            map.put("_areaTag",areaTag);
            map.put("_affairsTag",affairsTag);
            map.put("_contentTag",contentTag);
            map.put("_enclosure",enclosure);
            map.put("_img",img);
            map.put("_summary",summary);
            map.put("_tag",tag);
            map.put("_labelName",labelName);

            req.id(map.get("_id").toString());
            req.source(map, XContentType.JSON);

            bulkRequest.add(req);
        }
        BulkResponse bulkResponse=client.bulk(bulkRequest);
        for (BulkItemResponse bulkItemResponse : bulkResponse) {
            if (bulkItemResponse.isFailed()) {
                System.out.println(bulkItemResponse.getId()+","+bulkItemResponse.getFailureMessage());
            }
        }
    }

pom.xml一部分:

 <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>6.2.3</version>
            <exclusions>
                <exclusion>
                    <groupId>org.elasticsearch</groupId>
                    <artifactId>elasticsearch</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

是包冲突还是?我的elasticsearch版本是6.2.3,jdk1.8,有遇到过的朋友加下QQ1479756648 ,万分感谢

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
mongodb数据同步到MySQL

如何将mongodb数据同步到MySQL,有没有好的办法,可以同步增量

MongoDB同步数据到ES中(kettle)报java.util.date异常

想通过kettle来同步mongodb的数据到es中,mongodb中有两个日期类型的数据,一同步就报错,看了一下大概是日期转换的问题。没有什么好的思路解决。其他的方法也用过,例如mongo-connector,但是服务器是无网环境,安装不了,求大神出个解决方案

利用logstash_input_jdbc,把mongodb上的数据同步到MySQL

如何利用利用logstash_input_jdbc,把mongodb上的数据同步到MySQL,配置文件如何填写

hbase导入mongodb数据,mongodb总是退出服务

这两天测试从mongodb数据导入到hbase,使用的是hbase的client api。 不仅速度很慢(2.3万条数据写入时间15min),而且总数据6万条数据总是跑到2.3w的时候,mongodb的服务就会断掉,直接跳出下记断开链接代码! 把jar包达到linux上运行也是如此。 很疑惑,求解! ``` 2019-01-14T14:46:03.800+0800 I NETWORK [conn1] end connection 192.168.183.100:39820 (2 connections now open) 2019-01-14T14:46:03.802+0800 I NETWORK [conn2] end connection 192.168.183.100:39822 (2 connections now open) ```

用mongo-connector同步mongodb和elasticsearch遇到的几个问题

我希望把mongodb中存储的数据同步到elasticsearch,以便后续实现检索功能。系统是windows10,各种工具和环境都搭建好了,mongodb的副本集也已建立,elasticsearch版本是6.X,同步工具选择的是mongo-connector,同步命令如下: ``` mongo-connector --auto-commit-interval=0 -m localhost:27017 -t localhost:9200 -d elastic2_doc_manager -o mongodb_oplog_position.oplog ``` 但是在数据同步过程中遇到了几个问题: 1. ```failed to parse field [xx] of type [long]``` 出错的数据是一个32位的MD5值,在mongodb中的数据类型是String,是因为长度太长了所以出这个错误吗,该怎么解决呢? 2. ```Rejecting mapping update to [db] as the final mapping would have more than 1 type: [t1, t2]``` 提示一个index中不能有多个type,查了一下,发现是elasticsearch 6.X版本以后的新规范,但是mongodb通常会一个DB中有多个Collection,这个该怎么同步呢? 请各位大佬帮忙解答一下。

mongodb 读取不到数据

我在Swarm集群中部署了一个mongo的docker ,然后挂载了一个数据卷 -v data/db:/data/db,然后,将这个数据卷copy到k8s集群中的一个节点上,然后在k8s中部署一个mongo的docker, 也挂载这个卷,但是这个mongo启动之后,之前的数据库都不存在了 ,我查询了导过来的数据卷大小和之前的数据卷大小是一样的, 有没有知道这个问题的原因的,请告知小弟一下

hadoop2.x操作mongodb,将其数据如何导入到hdfs

求助!有没有案例或者java代码,就比如用mapreduce将mongodb数据读取到hdfs中

从mongodb中获取数据并取平均值

现在Mongodb中的m集合中存了很多条数据 是按照每天定时会发过来数据存入进来的 所有会有数据存在同字段但是时间不同不同值 传来的数据里每条都有datatime字段 记录传来的时间的 比如有一条数据传来 m=1,n=2,过一会儿会是m=9,n=2这些 另外一条数据传来b=1,g=2过一会儿是b=0,g=2同理其他这些数据 如何将这些数据按照一天/一月/一年平均值存入集合B中 (比如m这个字段一天传了5次,就将这五次m值加起来除以五) 当然实际情况是不确定每一天具体会传多少次 求大佬解答

如何通过MongoDB同步在两个不同服务器上运行的两个应用程序

<div class="post-text" itemprop="text"> <p>I am developing a web application in golang and use single MongoDB instance as a datastorage. I have code that should be executed exclusively. Since my web application runs on two different servers I can't use golang synchronization tools for that. </p> <p><strong>Idea is to use MongoDB for that by locking document, but I don't know whether it is possible and if it is, how to do that?</strong> </p> </div>

MongoDB主从同步方案求助

我的项目主库在公司内网内网运行,公司公网IP不固定,从库托管在电信机房,这种情况如何实现主从同步,请指教

用topn算法如何获取mongodb中最新的数据

现在问题是 Mongdodb中存了很多数据了 字段一样 但是数据不同,现在要将需要的字段的最新数据从 mongodb中获取出来 往大佬帮忙 谢谢了

MongoDB 集群如何读取数据???

MongoDB数据库采用集群方式,那么在代码调用的时候是如何调用的呢? 请了解的说一下。 实在连接字符串中写入全部地址就行吗? 为什么我按照要求的写了,写入数据就可以,但是读取数据就报错了。。。 有什么注意的地方吗???

MongoDB查询不出来数据

![图片说明](https://img-ask.csdn.net/upload/201710/07/1507379016_438512.png) ![图片说明](https://img-ask.csdn.net/upload/201710/07/1507379006_709131.png) mongodb在不同生产机,相同操作系统,相同mongo版本,一台可以正常find,另一台find不出来,预置内容都是一样的 这是什么原因,有知道的朋友吗?

scala spark 读取mongodb数据,并将数据写入hdfs示例

scala spark 读取mongodb数据(查询时会使用spark sql进行查询),并将数据写入hdfs示例

MongoDB千亿级别数据存储可行性讨论

应用背景:存储传感器设备采集的数据,能够支持50万台传感器。一台传感器每天产生400条数据,数据要保存五年。 一共有50W*400*365*5=3650亿条记录。 不同的传感器之间数据互不干扰,相互独立的。 也就是,一台传感器五年的数据共有400*365*5=73万条,实际进行合理拆分,这个数据量不大。 “表:equData”传感器历史数据表 * {---------------一共50W(设备数量)条。 * id :"传感器ID", * HISTORY :[ * {采集时间:“”,传感器数据1:“如温度值”,传感器数据2:“如湿度值”,...}, {采集时间:“”,传感器数据1:“如温度值”,传感器数据2:“如湿度值”,...}, …… *****一供73万条(历史数据) * ] * } 请问大概实现以上的表结构,普通的服务器(能够支持关系型数据库单表共100万记录秒查)上能否做到秒查。 查询条件为设备ID,采集时间段,分页。 -------------- 也考虑过用文件存储这些数据,有什么好的方案,请指教!

c#mongodb如何从第一个数据开始一直往后读取数据?

C#,使用mongodb存储数据。现在的问题是,我有一个线程在一直往里面插入数据。同时主线程在读取数据,我想在主线程里面一直获取数据。获取的顺序是从第一个开始,然后依次往后读数据。如果使用find的话,返回的只是符合条件,且固定数量的数据。这样的话由于数据库一直在更新,那么每次find的结果里面的数据会有部分一样。我想要的效果是:就从第一个读取,然后依次往后一直读,一次读取100或者1000数据量这样子。

怎么以java代码的方式,直接将csv或者json导入到mongodb里面。

现在有个问题,就是我需要别人传给我数据,而这个数据量也是挺大的,现在实现的逻辑是提供个接口,不断轮询的去调,我这边是mongodbTemplate不断的去保存。 但我总感觉,大数据量的情况下,这种方式好low,查询了许多资料,得知mongodb是支持以csv或json格式直接上传到库的,但都是命令行的形式。 所以求助大家,怎么以java代码的方式,直接将csv或者json导入到mongodb里面。 另外一点就是,mongodb的import不是java读取一行然后解析类型在处理成对象,再去保存,那样和调接口没啥区别,还不如直接调接口,我想的是直接导入csv文件,利用的是mongodb的特性,只要按照格式准备数据就可以了,所以各位大神帮忙看看?万分感谢

循环删除MongoDB重复数据

导入数据时,不小心重复导入了,并且还勾选了"Insert with new _id" 现在数据库中有几千组这样重复的数据,怎么样才能删除呢 只有_id是不一样的,其他都一样 ``` { "_id" : ObjectId("58c0e5c13c4a1aae0828d7a9"), "date_time" : "2017-03-09 13:18:28", "object_code" : "D1_6wgglB", "status" : 0, "value" : 25.235034942626953 } { "_id" : ObjectId("58f9b18bfa94a03098123da7"), "date_time" : "2017-03-09 13:18:28", "object_code" : "D1_6wgglB", "status" : 0, "value" : 25.235034942626953 } ```

使用MongoDB的C驱动,将数据以分片(Gridfs)的方式存储到MongoDB数据库中?

使用MongoDB的C驱动,怎样将一个字符串以分片(Gridfs)的方式存储到MongoDB数据库中? 我可以实现将一个文档以分片的方式存储到数据中,但是对于一个字符串就不会。 mongoc_init(); mongoc_database_t *database; mongoc_collection_t *collection; const char *uristr = "mongodb://111.111.111.111:27017/"; mongoc_client_t *client =mongoc_client_new(uristr); database = mongoc_client_get_database (client, "dbTest");//获取数据库 collection = mongoc_client_get_collection (client, "dbTest",sTaskId.c_str());//获取指定数据库和集合 bson_error_t error; bson_t *doc= bson_new(); BSON_APPEND_UTF8(doc, "filename", sFileName.c_str()); BSON_APPEND_UTF8(doc, "fileinfo", m_sFileInfo.c_str()); //m_sFileInfo是一个全局变量,内含一些其他的数据 bool r = mongoc_collection_insert(collection, MONGOC_INSERT_NONE, doc, NULL, &error); if (!r) { bson_destroy(doc); return false; } bson_destroy(doc); 这是我现在使用的方式,但是因为我将m_sFileinfo存储到了一个collection中,一个collection最大为16M,而我的m_sFileinfo超过了16M,所以我想使用分片的方式存储数据。 请问怎么实现啊?

大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了

大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

Java基础知识面试题(2020最新版)

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性?原理是什么Java语言有哪些特点什么是字节码?采用字节码的最大好处是什么什么是Java程序的主类?应用程序和小程序的主类有何不同?Java应用程序与小程序之间有那些差别?Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

我以为我学懂了数据结构,直到看了这个导图才发现,我错了

数据结构与算法思维导图

String s = new String(" a ") 到底产生几个对象?

老生常谈的一个梗,到2020了还在争论,你们一天天的,哎哎哎,我不是针对你一个,我是说在座的各位都是人才! 上图红色的这3个箭头,对于通过new产生一个字符串(”宜春”)时,会先去常量池中查找是否已经有了”宜春”对象,如果没有则在常量池中创建一个此字符串对象,然后堆中再创建一个常量池中此”宜春”对象的拷贝对象。 也就是说准确答案是产生了一个或两个对象,如果常量池中原来没有 ”宜春” ,就是两个。...

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

Linux面试题(2020最新版)

文章目录Linux 概述什么是LinuxUnix和Linux有什么区别?什么是 Linux 内核?Linux的基本组件是什么?Linux 的体系结构BASH和DOS之间的基本区别是什么?Linux 开机启动过程?Linux系统缺省的运行级别?Linux 使用的进程间通信方式?Linux 有哪些系统日志文件?Linux系统安装多个桌面环境有帮助吗?什么是交换空间?什么是root帐户什么是LILO?什...

Linux命令学习神器!命令看不懂直接给你解释!

大家都知道,Linux 系统有非常多的命令,而且每个命令又有非常多的用法,想要全部记住所有命令的所有用法,恐怕是一件不可能完成的任务。 一般情况下,我们学习一个命令时,要么直接百度去搜索它的用法,要么就直接用 man 命令去查看守冗长的帮助手册。这两个都可以实现我们的目标,但有没有更简便的方式呢? 答案是必须有的!今天给大家推荐一款有趣而实用学习神器 — kmdr,让你解锁 Linux 学习新姿势...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

史上最全的 python 基础知识汇总篇,没有比这再全面的了,建议收藏

网友们有福了,小编终于把基础篇的内容全部涉略了一遍,这是一篇关于基础知识的汇总的文章,请朋友们收下,不用客气,不过文章篇幅肯能会有点长,耐心阅读吧爬虫(七十)多进程multiproces...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好,我是你们的校长。我之前讲过,这年头,只要肯动脑,肯行动,程序员凭借自己的技术,赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

85后蒋凡:28岁实现财务自由、34岁成为阿里万亿电商帝国双掌门,他的人生底层逻辑是什么?...

蒋凡是何许人也? 2017年12月27日,在入职4年时间里,蒋凡开挂般坐上了淘宝总裁位置。 为此,时任阿里CEO张勇在任命书中力赞: 蒋凡加入阿里,始终保持创业者的冲劲,有敏锐的...

总结了 150 余个神奇网站,你不来瞅瞅吗?

原博客再更新,可能就没了,之后将持续更新本篇博客。

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

新一代神器STM32CubeMonitor介绍、下载、安装和使用教程

关注、星标公众号,不错过精彩内容作者:黄工公众号:strongerHuang最近ST官网悄悄新上线了一款比较强大的工具:STM32CubeMonitor V1.0.0。经过我研究和使用之...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

大学一路走来,学习互联网全靠这几个网站,最终拿下了一把offer

大佬原来都是这样炼成的

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

为什么你不想学习?只想玩?人是如何一步一步废掉的

不知道是不是只有我这样子,还是你们也有过类似的经历。 上学的时候总有很多光辉历史,学年名列前茅,或者单科目大佬,但是虽然慢慢地长大了,你开始懈怠了,开始废掉了。。。 什么?你说不知道具体的情况是怎么样的? 我来告诉你: 你常常潜意识里或者心理觉得,自己真正的生活或者奋斗还没有开始。总是幻想着自己还拥有大把时间,还有无限的可能,自己还能逆风翻盘,只不是自己还没开始罢了,自己以后肯定会变得特别厉害...

什么时候跳槽,为什么离职,你想好了么?

都是出来打工的,多为自己着想

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

你期望月薪4万,出门右拐,不送,这几个点,你也就是个初级的水平

先来看几个问题通过注解的方式注入依赖对象,介绍一下你知道的几种方式@Autowired和@Resource有何区别说一下@Autowired查找候选者的...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

立即提问
相关内容推荐