LuckyJiang.2021 2017-03-20 09:13 采纳率: 0%
浏览 1339
已结题

关于频繁入库慢的优化问题

我希望数据能够实时入库,现在是用线程定时去抓文件入库到Hbase。
但是,现在有两个入库方式。
1---使用官方已经废弃的方法。每次入库到Hbase(是用的put(list)方法),每次都要关闭掉table,再重新连接hbase,Htable table开销非常大。使用后如果只调用table.flushCommits()接口,资源并没有释放,内存一直涨.....
请问有没有比较好的建议?

2---使用新的API。用ConnectionFactory.createConnection获取连接,然后通过连接获取table,这时候table释放资源只提供了close方法。我尝试table.close();connection.close(),资源仍然未释放,内存一直涨。

最后还是使用了旧api,每次put后table.close(),在线等解决办法图片说明图片说明

  • 写回答

1条回答 默认 最新

  • Tiger_Zhao 2017-03-20 09:33
    关注

    数据库有缓存,涨内存是正常表现啊。

    评论

报告相同问题?

悬赏问题

  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名
  • ¥65 汇编语言除法溢出问题