使用HbaseTemplate对hbase数据库进行增删改查速度缓慢,效率不高

hbase我的是单机版的,不上集群,版本是1.2.6
使用Java代码对HBASE数据库进行查询期间没有报错,但就是不管为查询多少条数据都是花了20s
在 hbase-env.sh文件里面加了下面配置:
export JAVA_HOME=/usr/local/jdk1.8
export HBASE_MANAGES_ZK=true

在hbase-site.xml文件加了下面配置:

hbase.rootdir
file:///usr/local/app/hbase-1.2/data

下面是HBASE的一些log日志

2018-07-16 20:09:19,899 INFO [ProcessThread(sid:0 cport:-1):] server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x164a2feb4680001 type:create cxid:0x7 zxid:0xa7 txntype:-1 reqpath:n/a Error Path:/hbase/flush-table-proc/acquired Error:KeeperErrorCode = NodeExists for /hbase/flush-table-proc/acquired
2018-07-16 20:09:19,909 INFO [ProcessThread(sid:0 cport:-1):] server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x164a2feb4680001 type:create cxid:0xa zxid:0xa8 txntype:-1 reqpath:n/a Error Path:/hbase/online-snapshot/acquired Error:KeeperErrorCode = NodeExists for /hbase/online-snapshot/acquired
2018-07-16 20:09:19,910 INFO [ProcessThread(sid:0 cport:-1):] server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x164a2feb4680000 type:create cxid:0x2a zxid:0xa9 txntype:-1 reqpath:n/a Error Path:/hbase/flush-table-proc/acquired Error:KeeperErrorCode = NodeExists for /hbase/flush-table-proc/acquired
2018-07-16 20:09:19,911 INFO [master:37346.activeMasterManager] procedure.ZKProcedureUtil: Clearing all procedure znodes: /hbase/flush-table-proc/acquired /hbase/flush-table-proc/reached /hbase/flush-table-proc/abort
2018-07-16 20:09:19,915 INFO [RS:0;master:51571] regionserver.MemStoreFlusher: globalMemStoreLimit=97.5 M, globalMemStoreLimitLowMark=92.6 M, maxHeap=243.7 M
2018-07-16 20:09:19,919 INFO [ProcessThread(sid:0 cport:-1):] server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x164a2feb4680000 type:create cxid:0x30 zxid:0xaa txntype:-1 reqpath:n/a Error Path:/hbase/online-snapshot/acquired Error:KeeperErrorCode = NodeExists for /hbase/online-snapshot/acquired
2018-07-16 20:09:19,919 INFO [RS:0;master:51571] regionserver.HRegionServer: CompactionChecker runs every 10sec
2018-07-16 20:09:19,925 INFO [master:37346.activeMasterManager] procedure.ZKProcedureUtil: Clearing all procedure znodes: /hbase/online-snapshot/acquired /hbase/online-snapshot/reached /hbase/online-snapshot/abort
2018-07-16 20:09:19,938 INFO [RS:0;master:51571] regionserver.RegionServerCoprocessorHost: System coprocessor loading is enabled
2018-07-16 20:09:19,938 INFO [RS:0;master:51571] regionserver.RegionServerCoprocessorHost: Table coprocessor loading is enabled
2018-07-16 20:09:19,940 INFO [RS:0;master:51571] regionserver.HRegionServer: reportForDuty to master=master,37346,1531742959208 with port=51571, startcode=1531742959688
2018-07-16 20:09:19,951 INFO [master:37346.activeMasterManager] master.MasterCoprocessorHost: System coprocessor loading is enabled
2018-07-16 20:09:19,964 INFO [master:37346.activeMasterManager] procedure2.ProcedureExecutor: Starting procedure executor threads=5
2018-07-16 20:09:19,964 INFO [master:37346.activeMasterManager] wal.WALProcedureStore: Starting WAL Procedure Store lease recovery
2018-07-16 20:09:19,990 INFO [master:37346.activeMasterManager] wal.WALProcedureStore: Lease acquired for flushLogId: 105
2018-07-16 20:09:19,999 INFO [master:37346.activeMasterManager] zookeeper.RecoverableZooKeeper: Process identifier=replicationLogCleaner connecting to ZooKeeper ensemble=localhost:2181
2018-07-16 20:09:19,999 INFO [master:37346.activeMasterManager] zookeeper.ZooKeeper: Initiating client connection, connectString=localhost:2181 sessionTimeout=10000 watcher=replicationLogCleaner0x0, quorum=localhost:2181, baseZNode=/hbase
2018-07-16 20:09:20,000 INFO [master:37346.activeMasterManager-SendThread(localhost:2181)] zookeeper.ClientCnxn: Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error)
2018-07-16 20:09:20,001 INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181] server.NIOServerCnxnFactory: Accepted socket connection from /0:0:0:0:0:0:0:1:52389
2018-07-16 20:09:20,001 INFO [master:37346.activeMasterManager-SendThread(localhost:2181)] zookeeper.ClientCnxn: Socket connection established to localhost/0:0:0:0:0:0:0:1:2181, initiating session
2018-07-16 20:09:20,001 INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181] server.ZooKeeperServer: Client attempting to establish new session at /0:0:0:0:0:0:0:1:52389
2018-07-16 20:09:20,002 INFO [SyncThread:0] server.ZooKeeperServer: Established session 0x164a2feb4680005 with negotiated timeout 10000 for client /0:0:0:0:0:0:0:1:52389
2018-07-16 20:09:20,003 INFO [master:37346.activeMasterManager-SendThread(localhost:2181)] zookeeper.ClientCnxn: Session establishment complete on server localhost/0:0:0:0:0:0:0:1:2181, sessionid = 0x164a2feb4680005, negotiated timeout = 10000
2018-07-16 20:09:20,007 INFO [ProcessThread(sid:0 cport:-1):] server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x164a2feb4680005 type:create cxid:0x1 zxid:0xad txntype:-1 reqpath:n/a Error Path:/hbase/replication/rs Error:KeeperErrorCode = NodeExists for /hbase/replication/rs
2018-07-16 20:09:20,018 INFO [master:37346.activeMasterManager] master.ServerManager: Waiting for region servers count to settle; currently checked in 0, slept for 0 ms, expecting minimum of 1, maximum of 2147483647, timeout of 4500 ms, interval of 1500 ms.
2018-07-16 20:09:20,078 INFO [B.defaultRpcServer.handler=5,queue=2,port=37346] master.ServerManager: Registering server=master,51571,1531742959688
2018-07-16 20:09:20,088 INFO [RS:0;master:51571] hfile.CacheConfig: Allocating LruBlockCache size=97.47 MB, blockSize=64 KB
2018-07-16 20:09:20,097 INFO [RS:0;master:51571] hfile.CacheConfig: Created cacheConfig: blockCache=LruBlockCache{blockCount=0, currentSize=60888, freeSize=102149056, maxSize=102209944, heapSize=60888, minSize=97099448, minFactor=0.95, multiSize=48549724, multiFactor=0.5, singleSize=24274862, singleFactor=0.25}, cacheDataOnRead=true, cacheDataOnWrite=false, cacheIndexesOnWrite=false, cacheBloomsOnWrite=false, cacheEvictOnClose=false, cacheDataCompressed=false, prefetchOnOpen=false
2018-07-16 20:09:20,123 INFO [RS:0;master:51571] wal.WALFactory: Instantiating WALProvider of type class org.apache.hadoop.hbase.wal.DefaultWALProvider
2018-07-16 20:09:20,123 INFO [master:37346.activeMasterManager] master.ServerManager: Waiting for region servers count to settle; currently checked in 1, slept for 105 ms, expecting minimum of 1, maximum of 2147483647, timeout of 4500 ms, interval of 1500 ms.
2018-07-16 20:09:20,139 INFO [RS:0;master:51571] wal.FSHLog: WAL configuration: blocksize=32 MB, rollsize=30.40 MB, prefix=master%2C51571%2C1531742959688.default, suffix=, logDir=file:/usr/local/app/hbase-1.2/data/WALs/master,51571,1531742959688, archiveDir=file:/usr/local/app/hbase-1.2/data/oldWALs

2018-07-16 20:09:24,981 INFO [master:37346.activeMasterManager] master.RegionStates: Transition {d196d9d271d0ab1b388757dd95e061c9 state=OPEN, ts=1531742964981, server=master,40181,1531740756070} to {d196d9d271d0ab1b388757dd95e061c9 state=OFFLINE, ts=1531742964981, server=master,40181,1531740756070}
regionserver.HRegionServer: master,51571,1531742959688-MemstoreFlusherChore requesting flush of hbase:meta,,1.1588230740 because info has an old edit so flush to free WALs after random delay 30410ms

ree WALs after random delay 42302ms
2018-07-16 20:18:15,580 INFO [MemStoreFlusher.0] regionserver.HRegion: Flushing 1/1 column families, memstore=3.89 KB
2018-07-16 20:18:15,612 INFO [MemStoreFlusher.0] regionserver.DefaultStoreFlusher: Flushed, sequenceid=207, memsize=3.9 K, hasBloomFilter=false, into tmp file file:/usr/local/app/hbase-1.2/data/data/hbase/meta/1588230740/.tmp/e4ad28e038974eed91b4ce9b9b3ddb0a
2018-07-16 20:29:20,097 INFO [LruBlockCacheStatsExecutor] hfile.LruBlockCache: totalSize=1.30 MB, freeSize=96.18 MB, max=97.47 MB, blockCount=27, accesses=58, hits=31, hitRatio=53.45%, , cachingAccesses=58, cachingHits=31, cachingHitsRatio=53.45%, evictions=119, evicted=0, evictedPerRun=0.0

2018-07-16 20:29:57,015 INFO [SyncThread:0] server.ZooKeeperServer: Established session 0x164a2feb4680007 with negotiated timeout 40000 for client /192.168.204.1:53452
2018-07-16 20:30:06,968 INFO [ProcessThread(sid:0 cport:-1):] server.PrepRequestProcessor: Processed session termination for sessionid: 0x164a2feb4680007
e018-07-16 20:30:06,970 INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181] server.NIOServerCnxn: Closed socket connection for client /192.168.204.1:53452 which had sessionid 0x164a2feb4680007

4个回答

真正耗时的地方就是连接hbase的那一段代码

不知道是不是hbase没有配置好

我对habse数据库进行增删改查花费的时间都是在20秒左右,代码运行期间没有报错

应该是什么配置不对,正常情况下,增删改查速应该在1~2秒之间完成。

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
【萌芽求助】hbase数据库多对一关系设计
-
python 用thrift 连接hbase数据库出现Error Broken pipe
-
hbase的数据一致性,老哥,大佬些来帮帮忙
-
使用Java对hbase进行连接测试,连接不上,超时,
-
海量异构Excel表数据如何存入Hbase
-
hbase建表失败报错:ERROR: The procedure 22330 is still running
-
hbase 怎么查看建表语句
-
使用Java API访问hbase很慢的问题
-
HBase不同账户可以建立同名表吗?
-
以前认为数据库就是一层,但现在学习的Hbase,HDFS的数据库,怎么感觉是多层?应怎样理解?
-
关系型数据库mysql的一对多关系表在HBase如何存储
-
java多线程读取hbase, 是单例一个client供所有线程使用好呢 ,还是每个线程自己创建线程好呢
-
hadoop使用yarn运行jar 报java.lang.ClassNotFoundException 找不到类 (找不到的不是主类)
-
HBASE_REGIONSERVER_LEASE_PERIOD_KEY过时,用什么替换?
-
c++ 使用thrift2链接hbase写入数据,查了不少例子不可以执行,求例子,可以执行的,谢谢?
-
从集群中去掉一个节点,但是对hbase数据表的操作还是涉及到该节点?
-
java 如何访问远程 linux 服务器下利用docker容器建立的hbase集群
-
使用elasticsearch作为hbase的二级索引
-
用IDEA打jar包时报错:
-
记一道字节跳动的算法面试题
点击蓝色“五分钟学算法”关注我哟加个“星标”,天天中午 12:15,一起学算法作者 | 帅地来源公众号 | 苦逼的码农前几天有个朋友去面试字节跳动,面试官问了他一道链表相...
程序员真是太太太太太有趣了!!!
网络上虽然已经有了很多关于程序员的话题,但大部分人对这个群体还是很陌生。我们在谈论程序员的时候,究竟该聊些什么呢?各位程序员大佬们,请让我听到你们的声音!不管你是前端开发...
史上最详细的IDEA优雅整合Maven+SSM框架(详细思路+附带源码)
网上很多整合SSM博客文章并不能让初探ssm的同学思路完全的清晰,可以试着关掉整合教程,摇两下头骨,哈一大口气,就在万事具备的时候,开整,这个时候你可能思路全无 ~中招了咩~ ,还有一些同学依旧在使用eclipse或者Myeclipse开发,我想对这些朋友说IDEA 的编译速度很快,人生苦短,来不及解释了,直接上手idea吧。这篇文章每一步搭建过程都测试过了,应该不会有什么差错。本文章还有个比较优秀的特点,就是idea的使用,基本上关于idea的操作都算是比较详细的,所以不用太担心不会撸idea!最后,本文
吃人的那些 Java 名词:对象、引用、堆、栈
作为一个有着 8 年 Java 编程经验的 IT 老兵,说起来很惭愧,我被 Java 当中的四五个名词一直困扰着:**对象、引用、堆、栈、堆栈**(栈可同堆栈,因此是四个名词,也是五个名词)。每次我看到这几个名词,都隐隐约约觉得自己在被一只无形的大口慢慢地吞噬,只剩下满地的衣服碎屑(为什么不是骨头,因为骨头也好吃)。
LeetCode解题汇总目录
此篇为LeetCode刷题的汇总目录,方便大家查找,一起刷题,一起PK交流! 已解题目 考点 LeetCode 1. 两数之和(哈希) LeetCode 2. 两数相加(单链表反转) LeetCode 9. 回文数 LeetCode 11. 盛最多水的容器(双指针) LeetCode 15. 三数之和 LeetCode 17. 电话号码的字母组合(回溯...
我花了一夜用数据结构给女朋友写个H5走迷宫游戏
起因 又到深夜了,我按照以往在csdn和公众号写着数据结构!这占用了我大量的时间!我的超越妹妹严重缺乏陪伴而 怨气满满! 而女朋友时常埋怨,认为数据结构这么抽象难懂的东西没啥作用,常会问道:天天写这玩意,有啥作用。而我答道:能干事情多了,比如写个迷宫小游戏啥的! 当我码完字准备睡觉时:写不好别睡觉! 分析 如果用数据结构与算法造出东西来呢? ...
不识 Pandas,纵是老手也枉然?
作者 |周志鹏 责编 | 郭 芮 这段时间和一些做数据分析的同学闲聊,我发现数据分析技能入门阶段存在一个普遍性的问题,很多凭着兴趣入坑的同学,都能够很快熟悉Python基础语法,然后不约而同的一头扎进《利用Python进行数据分析》这本经典之中,硬着头皮啃完之后,好像自己什么都会了一点,然而实际操作起来既不知从何操起,又漏洞百出。 至于原因嘛,理解不够,实践不够是两条老牌的拦路...
接班马云的为何是张勇?
上海人、职业经理人、CFO 背景,集齐马云三大不喜欢的张勇怎么就成了阿里接班人? 作者|王琳 本文经授权转载自燃财经(ID:rancaijing) 9月10日,张勇转正了,他由阿里巴巴董事局候任主席正式成为阿里巴巴董事局主席,这也意味着阿里巴巴将正式开启“逍遥子时代”。 从2015年接任CEO开始,张勇已经将阿里巴巴股价拉升了超过200%。但和马云强大的个人光环比,张勇显得尤其...
14 个实用的数据库设计技巧
点击上方“后端技术精选”,选择“置顶公众号”技术文章第一时间送达!作者:echozhjuejin.im/post/5d5b4c6951882569eb570958原始单据...
我在快手认识了 4 位工程师,看到了快速发展的公司和员工如何彼此成就!
作者 | 胡巍巍 出品 | CSDN(ID:CSDNnews) 从西二旗地铁站B口出来,步行700多米可以看到一个工业建筑风格的院子。这个独立的院子和后厂村各大互联网公司的高楼林立有些不同。 院子里有7栋6层高的楼,几栋楼之间打通,可以从A栋自由穿行到F栋。这里就是快手总部。这个园区可以容纳6000多名员工,目前40%以上是研发人员。 这些研发人员维护着快手这款日活超过2亿的ap...
让程序员崩溃的瞬间(非程序员勿入)
今天给大家带来点快乐,程序员才能看懂。 来源:https://zhuanlan.zhihu.com/p/47066521 1. 公司实习生找 Bug 2.在调试时,将断点设置在错误的位置 3.当我有一个很棒的调试想法时 4.偶然间看到自己多年前写的代码 5.当我第一次启动我的单元测试时 ...
用Python分析2000款避孕套,得出这些有趣的结论
到现在为止,我们的淘宝教程已经写到了第四篇,前三篇分别是: 第一篇:Python模拟登录淘宝,详细讲解如何使用requests库登录淘宝pc端。 第二篇:淘宝自动登录2.0,新增Cookies序列化,教大家如何将cookies保存起来。 第三篇:Python爬取淘宝商品避孕套,教大家如何爬取淘宝pc端商品信息。 今天,我们来看看淘宝系列的第四篇 我们在上一篇的时候已经将淘宝数据爬取下来了,...
Spring高级技术梳理
Spring高级技术梳理 序言正文SpringDate部分Spring全家桶之SpringData——预科阶段Spring全家桶之SpringData——Spring 整合Hibernate与Hibernate JpaSpring全家桶之SpringData——Spring Data JPASpring全家桶之SpringData——SpringData RedisSpringBoot部分Sp...
如何在Windows中开启"上帝模式"
原文链接 : https://mp.weixin.qq.com/s?__biz=MzIwMjE1MjMyMw==&mid=2650202982&idx=1&sn=2c6c609ce06db1cee81abf2ba797be1b&chksm=8ee1438ab996ca9c2d0cd0f76426e92faa835beef20ae21b537c0867ec2773be...
Docker 零基础从入门到使用
诺!这只可爱的小鲸鱼就是docker了! Docker 是什么? Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的 Linux 或 Windows 机器上( 摘自百度 )。 Docker 能干什么? 在讲 Docker 能干什么之前,我们不妨先看看没有 Docker 和有Docker分别是个什么样子的? 场景一 某公司需要开发...
再见 Docker,是时候拥抱下一代容器工具了
什么是 Linux 容器?Linux 容器是由 Linux 内核所提供的具有特定隔离功能的进程,Linux 容器技术能够让你对应用及其整个运行时环境(包括全部所需文件)一...
不足20行 python 代码,高效实现 k-means 均值聚类算法
关于 k-means 均值聚类算法的原理介绍、实现代码,网上有很多,但运行效率似乎都有点问题。今天稍微有点空闲,写了一个不足20行的 k-means 均值聚类算法,1万个样本平均耗时20毫秒(10次均值)。同样的数据样本,网上流行的算法平均耗时3000毫秒(10次均值)。差距竟然达百倍以上,令我深感意外,不由得再次向 numpy 献上膝盖!
分享靠写代码赚钱的一些门路
作者 mezod,译者 josephchang10如今,通过自己的代码去赚钱变得越来越简单,不过对很多人来说依然还是很难,因为他们不知道有哪些门路。今天给大家分享一个精彩...
北漂程序员,扬帆起航的地方
随着耳畔传来“你看这碗又大又圆、你看这面又长又宽......碗大宽无影、像儿时的回忆......”听着挺带劲,于是看了一下手机,原来是吴亦凡的作品《大碗宽面》,随着入耳的旋律,脑子也不由自主的想起 10 年前,在平西府吃 5 块钱一大碗牛肉板面的情景。 平西府最有名的就是这个牌坊啦。记得每当有同事问起住哪里?都会自豪的说住在王府里;隔三差五也会邀请朋友去府上坐坐。其实打内心里讲,平西府是一个...
技术人员要拿百万年薪,必须要经历这9个段位
很多人都问,技术人员如何成长,每个阶段又是怎样的,如何才能走出当前的迷茫,实现自我的突破。所以我结合我自己10多年的从业经验,总结了技术人员成长的9个段位,希望对大家的职...
多线程编程是后台开发人员的基本功
这里先给大家分享一个小故事:在我刚开始参加工作的那年,公司安排我开发一款即时通讯软件(IM,类似于 QQ 聊天软件),在这之前我心里也知道如果多线程操作一个整型值是要加锁...
相关热词 c#二进制字符转字节 c# rc4 c#中md5加密 c# 新建mvc项目 c# 引用mysql c#动态加载非托管dll c# 两个表数据同步 c# 返回浮点json c# imap 链接状态 c# 漂亮字