LuckyJiang.2021 2017-03-20 09:13 采纳率: 0%
浏览 1339
已结题

关于频繁入库慢的优化问题

我希望数据能够实时入库,现在是用线程定时去抓文件入库到Hbase。
但是,现在有两个入库方式。
1---使用官方已经废弃的方法。每次入库到Hbase(是用的put(list)方法),每次都要关闭掉table,再重新连接hbase,Htable table开销非常大。使用后如果只调用table.flushCommits()接口,资源并没有释放,内存一直涨.....
请问有没有比较好的建议?

2---使用新的API。用ConnectionFactory.createConnection获取连接,然后通过连接获取table,这时候table释放资源只提供了close方法。我尝试table.close();connection.close(),资源仍然未释放,内存一直涨。

最后还是使用了旧api,每次put后table.close(),在线等解决办法图片说明图片说明

  • 写回答

1条回答

  • Tiger_Zhao 2017-03-20 09:33
    关注

    数据库有缓存,涨内存是正常表现啊。

    评论

报告相同问题?

悬赏问题

  • ¥15 R语言Rstudio突然无法启动
  • ¥15 关于#matlab#的问题:提取2个图像的变量作为另外一个图像像元的移动量,计算新的位置创建新的图像并提取第二个图像的变量到新的图像
  • ¥15 改算法,照着压缩包里边,参考其他代码封装的格式 写到main函数里
  • ¥15 用windows做服务的同志有吗
  • ¥60 求一个简单的网页(标签-安全|关键词-上传)
  • ¥35 lstm时间序列共享单车预测,loss值优化,参数优化算法
  • ¥15 Python中的request,如何使用ssr节点,通过代理requests网页。本人在泰国,需要用大陆ip才能玩网页游戏,合法合规。
  • ¥100 为什么这个恒流源电路不能恒流?
  • ¥15 有偿求跨组件数据流路径图
  • ¥15 写一个方法checkPerson,入参实体类Person,出参布尔值