maliaa 2016-01-18 09:13 采纳率: 0%
浏览 3529

以http get方式发送大量数据

项目需求,需要将大量实时数据从kafka拉下,并发送到第三方给定的url地址,并且第三方规定,只能用短连接。
目前是采用一个线程池共享一个httpclient实例来批量发送,但是总觉得这种短连接发挥不了httpclient的功能,并且在使用中还有大量的连接超时、读超时等异常,甚至比使用原生的java URLconnection的异常还要多。
虽说httpclient自带重发功能,但是时间一长,还发现程序有卡死的现象,通过jstack发现,死锁的出现正是在httpclient重试过程中写log4j的时候出现的:
"pool-4-thread-86" prio=10 tid=0x00007f5fe00cd000 nid=0x356d waiting for monitor entry [0x00007f5eec7c6000]
java.lang.Thread.State: BLOCKED (on object monitor)
at org.apache.log4j.Category.callAppenders(Category.java:204)
- waiting to lock (a org.apache.log4j.spi.RootLogger)
at org.apache.log4j.Category.forcedLog(Category.java:391)
at org.apache.log4j.Category.log(Category.java:856)
at org.apache.commons.logging.impl.Log4JLogger.info(Log4JLogger.java:176)
at org.apache.http.impl.execchain.RetryExec.execute(RetryExec.java:96)
at org.apache.http.impl.execchain.RedirectExec.execute(RedirectExec.java:110)
at org.apache.http.impl.client.InternalHttpClient.doExecute(InternalHttpClient.java:184)
at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:82)
at com.voole.ad.utils.HttpConnectionMgrUtils.invokeGetUrl(HttpConnectionMgrUtils.java:131)
at com.voole.ad.service.impl.AdTimeSendServiceImpl$2.run(AdTimeSendServiceImpl.java:130)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
** 所以现在不知道需要作何处理,有没有更好的方式来发送大量的数据?还请大神指导!**

  • 写回答

6条回答

  • 91program 博客专家认证 2016-01-18 09:16
    关注

    大量、且实时的数据,不建议使用 HTTP。
    HTTP 连接,其实也是 TCP 连接的。所以,是否可以考虑使用 Socket(HTTP)来实现。

    评论

报告相同问题?

悬赏问题

  • ¥15 树莓派与pix飞控通信
  • ¥15 自动转发微信群信息到另外一个微信群
  • ¥15 outlook无法配置成功
  • ¥30 这是哪个作者做的宝宝起名网站
  • ¥60 版本过低apk如何修改可以兼容新的安卓系统
  • ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
  • ¥50 有数据,怎么建立模型求影响全要素生产率的因素
  • ¥50 有数据,怎么用matlab求全要素生产率
  • ¥15 TI的insta-spin例程
  • ¥15 完成下列问题完成下列问题