2 maliaa maliaa 于 2016.01.18 17:13 提问

以http get方式发送大量数据

项目需求,需要将大量实时数据从kafka拉下,并发送到第三方给定的url地址,并且第三方规定,只能用短连接。
目前是采用一个线程池共享一个httpclient实例来批量发送,但是总觉得这种短连接发挥不了httpclient的功能,并且在使用中还有大量的连接超时、读超时等异常,甚至比使用原生的java URLconnection的异常还要多。
虽说httpclient自带重发功能,但是时间一长,还发现程序有卡死的现象,通过jstack发现,死锁的出现正是在httpclient重试过程中写log4j的时候出现的:
"pool-4-thread-86" prio=10 tid=0x00007f5fe00cd000 nid=0x356d waiting for monitor entry [0x00007f5eec7c6000]
java.lang.Thread.State: BLOCKED (on object monitor)
at org.apache.log4j.Category.callAppenders(Category.java:204)
- waiting to lock (a org.apache.log4j.spi.RootLogger)
at org.apache.log4j.Category.forcedLog(Category.java:391)
at org.apache.log4j.Category.log(Category.java:856)
at org.apache.commons.logging.impl.Log4JLogger.info(Log4JLogger.java:176)
at org.apache.http.impl.execchain.RetryExec.execute(RetryExec.java:96)
at org.apache.http.impl.execchain.RedirectExec.execute(RedirectExec.java:110)
at org.apache.http.impl.client.InternalHttpClient.doExecute(InternalHttpClient.java:184)
at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:82)
at com.voole.ad.utils.HttpConnectionMgrUtils.invokeGetUrl(HttpConnectionMgrUtils.java:131)
at com.voole.ad.service.impl.AdTimeSendServiceImpl$2.run(AdTimeSendServiceImpl.java:130)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
** 所以现在不知道需要作何处理,有没有更好的方式来发送大量的数据?还请大神指导!**

6个回答

caozhy
caozhy   Ds   Rxr 2016.01.18 20:45

如果你能控制服务器,你可以get把地址发过去,让服务器自己去下载。

oyljerry
oyljerry   Ds   Rxr 2016.01.18 22:42

http本身发送大量数据能力有限 既然有kafka 为什么不在http服务器那端用consumer来直接从kafka拉取数据 然后再进行处理 这样跟http服务器在一个内网 数据发送就快多了

maliaa
maliaa 服务器是第三方的服务器。。。http get 方式也是第三方要求的
接近 2 年之前 回复
Evankaka
Evankaka   Ds   Rxr 2016.01.18 23:31

GET 方法向 URL 添加数据;URL 的长度是受限制的(URL 的最大长度是 2048 个字符)
所以,数据大了,还是用POST吧

maliaa
maliaa 不是你想用post就能用的,第三方这么要求,必须是get短连接。。。
接近 2 年之前 回复
wojiushiwo945you
wojiushiwo945you   Ds   Rxr 2016.01.18 20:40

get发送不了大数据的,post也有数据大小限制的,但是post能发送的数据又比get多。

91program
91program   Ds   Rxr 2016.01.18 17:16

大量、且实时的数据,不建议使用 HTTP。
HTTP 连接,其实也是 TCP 连接的。所以,是否可以考虑使用 Socket(HTTP)来实现。

maliaa
maliaa 回复91program: 好的 谢谢!我在看看
接近 2 年之前 回复
91program
91program 回复maliaa: 没有,使用系统标准的 API 实现的,没有使用任何第三方的 HTTP 类库。
接近 2 年之前 回复
maliaa
maliaa 回复91program: 你们有用第三方的http类库么?
接近 2 年之前 回复
91program
91program 回复maliaa: 和你们一样,也是后台服务器要求必须使用 HTTP。最后也是没有办法处理,只能将 HTTP 过程放到一个线程中、增加超时处理,以防止卡死的现象出现。
接近 2 年之前 回复
maliaa
maliaa 回复91program:那后来你们用的Socket的方式,也就是长连接?
接近 2 年之前 回复
maliaa
maliaa 回复maliaa: 补充下,数据累积过后的算是大量数据,其实本质上来说一条条的实时数据,每一条也就是一个字符串
接近 2 年之前 回复
91program
91program 回复maliaa: 这种方法我用过,很容易卡死。所以才不推荐你使用!
接近 2 年之前 回复
maliaa
maliaa 第三方要这样的。。。没办法改的。。。只能http get 短连接。。。感觉这种方式缺点很多,比如因为不知道对方服务器的并发量,线程池大小设置大了或者小了都不合适
接近 2 年之前 回复
qq_33781708
qq_33781708   2016.01.18 17:19

(一)get方法和post方法简介
查看了MSDN,并且实际写了一番程序,才明白get方法和post方法的不同。其实二者实现的功能相同,都是客户端提交数据库给服务器端,只是实现的机制不同而已。get方法实际上就是通过网页的URL地址实现数据的传送,而服务器端实现从URL地址中解析数据;而post方法则是通过表单的方式提交,数据采取加密方式传送,服务器接到请求后解析数据。从安全角度上看,post方法更安全,get方法可以直接从浏览器直接提交数据,而post方法则必须从网页提交表单。
(二)get方法和post方法实现
啰嗦了一通,还是讲讲两种方法如何实现的吧。
1、get方法VC实现
闲话少说,直接看代码,VC6.0标准类库函数CInternetSession,更详细的用法,请查看MSDN。

CInternetSession tInternet;
CStdioFile* tFile;
char tChars[2056];

memset(tChars,0,2056);
sprintf(tChars,"%s","http://127.0.0.1:8080/app?username=123&password=123&data=111111111111");

tFile = tInternet.OpenURL(tChars,1, INTERNET_FLAG_TRANSFER_ASCII,NULL,0);
memset(tChars,0,2056);
tFile->Read(tChars,2056);

发送的超链接中,app是数据应用程序部署,在数据库端要有该程序的响应,数据库才会接收数据。程序的数据已经保存在了该URL中。
其实发送URL的方法有很多,API函数,C++ Builder中的空间都可以实现该功能。
2、post方法实现
(1)、仍然使用CInternetSession类
char chHeader[128];
char chData[128];
char tChars[128];

memset(tChars,0,128);
CInternetSession session;
CHttpConnection* pConnection=NULL;
CHttpFile* pFile=NULL;
INTERNET_PORT nPort=8080;

strcpy(chHeader,"Content-Type: application/x-www-form-urlencoded");
strcpy(chData,"username=123&password=123&data=123456789012345");

pConnection = session.GetHttpConnection("127.0.0.1",nPort);
pFile = pConnection->OpenRequest(CHttpConnection::HTTP_VERB_POST,"/app");
pFile->SendRequest(chHeader,(DWORD)strlen(chHeader),(LPVOID )chData,strlen(chData));
pFile->Read(tChars,128);
session.Close();
(2)、使用TCP/IP协议传输数据
SOCKADDR_IN saServer;
LPHOSTENT lphostent;
WSADATA wsadata;
SOCKET hsocket;
int nRet;
const char
host_name="127.0.0.1";
char* req=
"POST http://127.0.0.1:8080/app?username=123&password=123&data=111111111111 HTTP/1.1\r\n"
"From: local\r\n"
"User-Agent: receiver/Receiver/1.1\r\n"
"Content-Type: application/x-www-form-urlencoded\r\n"
"Content-Length: 0\r\n\r\n";

char tChars[128];
if(WSAStartup(winsock_version,&wsadata))
{
MessageBox("can't initial socket");
}

lphostent=gethostbyname(host_name);
if(lphostent==NULL)
{
MessageBox("lphostent is null");
}

hsocket = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP);
saServer.sin_family = AF_INET;
saServer.sin_port = htons(8080);
saServer.sin_addr = *((LPIN_ADDR)*lphostent->h_addr_list);

nRet = connect(hsocket, (LPSOCKADDR)&saServer, sizeof(SOCKADDR_IN));
if(nRet == SOCKET_ERROR)
{
MessageBox("Can't connect");
closesocket(hsocket);
return;
}
else
{
MessageBox("connected with host");
}
nRet = send(hsocket, req, strlen(req), 0);
if(nRet == SOCKET_ERROR)
{
MessageBox("send() failed");
closesocket(hsocket);
}
else
{
MessageBox("send() OK");
}

char dest[1000];
nRet=0;
while(nRet>0)
{
nRet=recv(hsocket,(LPSTR)dest,sizeof(dest),0);
if(nRet>0)
{
dest[nRet]=0;
}
else
{
dest[0]=0;
}
sprintf(tChars,"Received bytes:%d",nRet);
MessageBox(tChars);
sprintf(tChars,"Result:%s",dest);
MessageBox(tChars);
}
(2)、使用API函数
HINTERNET hInternetOpen = InternetOpen("http://127.0.0.1:8080/app",
INTERNET_OPEN_TYPE_PRECONFIG,
NULL,
NULL,
0);
if(hInternetOpen < 0 )
{
MessageBox("Can't open the page");
}
HINTERNET hInternetConnect = InternetConnect(hInternetOpen,
"127.0.0.1",
8080,
NULL,
"HTTP/1.1",
INTERNET_SERVICE_HTTP,
0,
0);
if(hInternetConnect < 0 )
{
MessageBox("Can't connect to the server");
}
HINTERNET hHttpOpenRequest = HttpOpenRequest(hInternetConnect,
"POST",
"/IFCS/IMEICheck",
"HTTP/1.1",
NULL,
0,
INTERNET_FLAG_RELOAD,
0);
if(hHttpOpenRequest < 0 )
{
MessageBox("Open request fail");
}

char chData[128] = "username=123&password=123&data=123456789000001";
DWORD len = strlen(chData);
int bRet = HttpSendRequest(hHttpOpenRequest,
"Content-Type: application/x-www-form-urlencoded\r\n",
strlen("Content-Type: application/x-www-form-urlencoded\r\n"),
(LPVOID *)chData,
len);
char tChars[128];
memset(tChars,0,128);
DWORD dwReadLen;
InternetReadFile(hHttpOpenRequest,(LPVOID *)tChars,128,&dwReadLen);
if(dwReadLen > 0)
{
MessageBox(tChars);
}
else
{
MessageBox("Read the reply fail");
}
InternetCloseHandle(hHttpOpenRequest);
InternetCloseHandle(hInternetConnect);
InternetCloseHandle(hInternetOpen);

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!