java怎么实现将一个数据分段放入不同的服务器?

有一个很大的数组,一台机器上申请内存,内存不够,要在多个服务器上申请。比如说一个8个元素的数组,要放到三台服务器上申请内存,然后在这三台服务器上分别进行计算,其中这三台服务器根据一定的规则有可能要进行通信。不用那些大数据的框架如spark应该怎么弄呢?

0

3个回答

redis就是针对这种情况产生的。不用大数据,自己实现难度很高。

0
qq_33422396
qq_33422396 redis的那个结合spark已经搞到一半,领导说不用redis和任何大数据框架了。可以用zookeeper结合MQ实现吗?zookeeper可以将数据分布式存储在不同的服务器上然后按服务器的机器号自定义数据吗?
9 个月之前 回复

redis的那个结合spark已经搞到一半,领导说不用redis和任何大数据框架了。可以用zookeeper结合MQ实现吗?zookeeper可以将数据分布式存储在不同的服务器上然后按服务器的机器号自定义数据吗?

0

无论你自己写,还是用框架,都是map-reduce两个部分,也就是把任务分配到每个计算机,这个叫做map,把结果汇总,这个叫做reduce。
需要注意的是,如果你把数据从host分发过去,这个非常耗时。因为网络通讯可不是内存。比如你要传100gb数据,就要好几个小时了。那么你应该考虑尽量减少网络开销,否则还不如一台机器算

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
java基础之IO流--使用RandomAccessFile实现数据的分段写入
我分段写入的是一张大图片nnnpackage newFeatures8;nnimport java.io.BufferedReader;nimport java.io.File;nimport java.io.FileInputStream;nimport java.io.InputStream;nimport java.io.InputStreamReader;nimport java.i
java中不同类型的数据放到一个数组中
如何将不同类型的数据放到一个数组中,下面给出一个例子rnObject[] os  = new Object[3];rnos[0] = 1;rnos[1] = "lsd“rnos[2] = true;rnrnrnin this way ,we can take different types data into a array
NPOI导出excel
上面的代码实现的主要操作是,使用npoi插件实现将数据库内查询的数据放入到excel中。
利用指针完成将一个数字字符串转换为int整数的程序。
題目内容: n问题描述:本题利用指针完成将一个数字字符串转换为int整数的程序。 nInput n输入数据可以是多组,每组是一个字符串。 nOuput n输出将这个字符串转换为int整数的形式。说明,如果输入字符串的第一个字符为“-”,则此数为负数,如果第一个字符为“+”或没有符号表示为正数。如果第一个字符或符号位后的第一个字符为非数字字符(‘0’——‘9’之间的为数字字符),则输出结果为0.字符
js实现银行卡号分段
银行卡号分段欢迎使用Markdown编辑器html代码如下js代码如下(引用了jq)ps: 由于产品对于卡号校验规则不一样,所以在这里并没有对卡号的位数和纯数字做校验。只是个人想到的一种实现方法,不喜勿喷,谢谢!n欢迎使用Markdown编辑器n规则:n    1、卡号位数(6-24位);n    2、
如何用代码爬抓电商数据(附淘宝API调用实例)
如何用代码爬抓电商数据(附淘宝API调用实例)rnhttp://www.21ds.cn/2190.html
在一个集合中存储了无序并且重复的字符串,定义一个方法,让其有序(字典顺序),而且还不能去除重复
//在一个集合中存储了无序并且重复的字符串,定义一个方法,让其有序(字典顺序),而且还不能去除重复rn            ArrayList list = new ArrayListrn            list.add("ccc");rn            list.add("ccc");rn            list.add("aaa");rn            lis
java 将内容,图片写到word中
一个使用java后台代码,生成word文档的小例子
java语言解析json以后加入到listlist集合中,用代码应该怎么实现?可以举个例子吗
import java.util.ArrayList;rnimport java.util.List;rnrnrnimport net.sf.json.JSONObject;rnrnrnrnrnpublic class Test {rnprivate int userid;rnprivate String userName;rnrnpublic int getUserid() {rnreturn
关于队列的一些东西 把请求数据放入队列里面
http://www.cnblogs.com/XiaoyangBoke/p/6701780.html
Java小程序:将excel中树结构信息转换成InsertSQL脚本
最近做需求时需要将用户给定的excel树结构信息保存到数据库中,所以写了一个java小程序,从excel中读取数据最终生成insert语句;n    说明:代码依赖poi包
java 实现指定目录下的文件打包zip格式 并指定存放zip包
java 实现指定目录下的文件打包zip格式 并指定存放zip包
使用python3将mysql数据库中数据转移到另一个数据库中
需求nn将mysql中查找到的数据导入到另一个数据库表中nnnn代码nnnn#!/usr/bin/env python3n# -*- coding:utf-8 -*-n#nimport pymysqlnn# 原始数据的数据连接ndb1 = pymysql.connect('127.0.0.1', 'root', '1234', 'test')ncursor1 = db1.cursor()n# 定义...
编译原理--XLEX生成器--词法分析
实验二:XLEX生成器nn项目地址(包括代码和文档)nnGitHub:https://github.com/chenminghai/CS-Homework(如果可以,点个start,有问题可以issue)nn一、实验内容:n设计一个应用软件,以实现将正则表达式-->NFA--->DFA-->DFA最小化-->词法分析程序n二、实验要求:n(1). 要提供一个源程序编辑界面,...
【高精度】 利用分段存储的方法储存大数与运算
引:有时候我们遇到一种图论题,就是要你将算出来的路径中每条边的权值之积或和求出来,虽然每条边的权值都比较小,但算到最后结果却很大,不得不用高精度方法存储数据的时候,你怎么处理?rnrnrn传统的高精度是用char[]数组来存储,这个对于上述问题,运算起来并不是很方便,这里介绍一种基于分段进行数据存储的大数处理方法给大家,其运算方便程度、空间和时间复杂度对比传统的高精度算法都有了一定提高。rn===
java中的时间排序易错点
最近做流程项目时候发现,流程日志显示的问题:rn 流程执行完最后一个任务节点就会紧接着执行结束节点,如果最后节点的执行日志和结束节点的执行日志在同一个时间点被存放到日志表中时候,通过比较两者在日志表中创建的时间先后的话,通过下面的方法就会出现,最后任务节点和结束节点顺序颠倒的问题。rn 仔细想想,这种情况适合所有按照时间排序的情况,以后只要根据时间排序,就应该考虑到时间相等的情况...
java8 Stream 大数据量List分批处理切割
java8 Stream 大数据List分批处理n使用google guava对list进行分割nn //切分后的子List sizen private static final Integer MAX_NUMBER = 2;nn public static void main(String[] args) {n List<Integer&amp
使用java将数据写入Excel中,并根据数据数量分在不同的sheet中
使用java将数据写入Excel中,并根据数据数量分在不同的sheet中rn *今天任务是将数据写入Excel中(数据直接写在main函数里),使用的开发平台是IDEA。目前的需求是将有限数量的数据,比如13个数据依次写入Excel中,每满五个就自动建一个sheet存入。*rnrn引入jar包rn因为我们用的是IDEA的开发环境,无需导入外部jar包,只需要将jxl包的代码直接写入pom.xml中即可...
获得数据库的数据加入到JSONArray,再将数据填入到File中
将数据库获取的数据转为json ,再加入JSONArray中,用   jsonArray.put(json);rn//获取数据库的信息,转为json格式rnJSONArray jsonArray = new JSONArray();n String jsons = "";n JSONObject json = new JSONObject();n List CarImageUsers = n
指针练习题
14.输入一个字符串(内含数字和非数字字符),将其中连续数字作为一个整数依次放在数组a中,统计其中有多少个整数,并输出这些数。(例如:a2345b12#345$wr12z这个字符串,将a[0]存放2345,将12存放在a[1]中,最后统计存放个数,以及输出这些数值。)nnnn nn程序功能:函数strcat(str1,st2)实现将字符串str2拼接到字符串str1后面的功能。nnnn1. 编写一...
JAVA实现将数组存入二叉树中
在工作中,当我们面临在使用内存存储数据的时候,只使用hashmap存储,可能会面临内存不足,只能不断扩容的情况下。于是我们可以自己写一些数据结构来存储,譬如二叉树这样的数据结构来存储,这样如果重复的字段只存在一个节点,不同的字段只需要延时叶子节点即可。n下面一起来看看,如何用java实现二叉树的存储结构,下面只是一个简单的例子,如果读者需要使用复杂的结构的话,可以按自己的需要自行实现;
C++Primer习题第十一章
习题11.1:描述map和vector的不同。n答:(标准)n两种容器的根本差别是:n顺序容器中的元素是按“顺序”存储的。对于vector这样的顺序容器,每个元素有唯一对应的位置编号。所有的操作都是按位置(编号)进行的。n而map这种关联容器,是为了高效实现“按值访问元素”这类操作而设计的。容器中的元素是按关键字值来存储的,关键字值和元素数据建立起对应关系。底层数据结构是红黑树,哈希表等,
将一个列表的数据复制到另一个列表中。
题目:将一个列表的数据复制到另一个列表中。rnrn程序分析:使用列表[:]。rnrn方法1:rnrn程序源代码:rn#!/usr/bin/pythonn# -- coding: UTF-8 --nna = [1, 2, 3]nb = a[:]nprint bnrnrn方法2:rnrnrn程序源代码:rnrnn#!/usr/bin/pythonn# -- coding: UTF-8 --nna =
链表之实现对二进制数的加一操作
建链表:二进制数可用带头结点的单链表存储,第一个节点存储二进制数的最高位,依次存储,最后一个节点存储位二进制数的最低位。n二进制数的加法规则:实现二进制数加1运算,方向从最低位往高位找到第一个为0的位,从该位开始,对后面所有地位进行求反运算。n链表实现二进制加1操作时,从高位往低位与运算方向正好相反,从第一个节点开始找,找出最后一个值域为0的节点,把该节点值域赋值为1,其后所有节点的值域都为0。n若
将文本文件的内容存储在DataSet中的方法总结
项目中比较多的会对文件进行操作,例如文件的上传下载,文件的压缩和解压等IO操作。在.NET项目中较多的会使用DataSet,DataTable进行数据的缓存。rnrn    项目中对文本文件的操作比较简单,但是如果需要将文本文件的内容写入系统的缓存中,操作起来,会稍微的繁琐一些。现在总结一个较为通用的方法,将文本文件的内容缓存进入DataSet数据集中。rnrnrn private
java在web下实现提供下载功能的后台方法代码
java在web下实现提供下载功能的后台方法代码,需要前端传入http参数
flume 搜集A 服务器 的日志到B 服务器
 就是服务器A的Sink 类型是AVRO, 而 服务器 B的Source 是AVRO 1.服务器A的配置# Define a memory channel called ch1 on agent1nagent1.channels.ch1.type = memorynagent1.channels.ch1.capacity = 1000nagent1.channels.ch1.transaction...
替换arr数组中索引2的元素 替换为BB,输出 替换前的数组和替换后的数组
package Java.Arr5_0;nnimport java.util.Arrays;nn/** n * 功能:替换arr数组中索引2的元素 替换为BB,输出 替换前的数组和替换后的数组 n * */nnpublic class ArraysTest3 {nnpublic static void main(String[] args) {n // TODO Auto-generated...
算法设计:数组左移k个位子实现代码
设计一个时间复杂度为O(n)的算法,实现将A[n]中所有元素循环左移k个位置:nnn实现代码:n#include nusing namespace std;nint main()n{n    int A[7] = { 1 , 2 , 3 , 4 , 5 , 6 , 7 };n    int n = 7 ;nnn/*    int n;
数据结构--栈应用1:将十进制整数转换成二至九任意进制(C++实现)
思路:利用短除法求解,短除法的具体思路这里不做介绍。n原因:在整数的进制转化时,利用短除法,先得到的余数最后输出,这样就可以将先得到的余数入栈,等短除结束在反向输出,即为答案。这里只限于整数,对小数的短除输出顺序是正序,这里不做介绍。n代码:分成三个文件,见下面。n1.Node.h文件,这个文件主要是生成结点,为了方便函数的实现写在了.h文件中。ntemplate<class T> c...
java导出mysql数据库表到EXCEL
第一次上传自已的代码,包含了所需的资源包。 自已有个疑问,希望高手指点: ToExcel.class运行时处理中文会有问题; 编译成EXE文件后,运行时中文就自动解决了; 特别是mysql表的字段名,以前一直是乱码,解决不了。
mysql导入导出到excel
实现将数据库与excel之间数据的导入导出
Java实现数据库数据导出到Excel中并下载到浏览器本地
项目中很多都会用到将数据导出到Excel,然后对数据进行整理分析,在之前的项目中,多处用到此功能,项目框架1,后台:springboot+springmvc+mybatis2,前台: bootstrap+jQury+ajax说明.Excel处理函数需要引入hutool的jar包,在pom.xml引入一下代码。相信大家都会问到怎么不用poi、HSSFWorkbook、XSSFWorkbook、tab...
dataGridView实现将数据拉取到文本框
dataGridView实现将数据拉取到文本框
制作三维数据分段专题图
范例中主要实现在java组件中怎么实现在场景中对矢量数据制作分段专题,并将专题图图层设置一定高度。
普通LIST列表转换为Tree
DTO结构//父节点IDnn Long parentId;//nameString name;//子节点集合nn List childrenTaskList;n //重新将list转为treen for(XMGLTaskDTO node1 : taskDTOList){n boolean mark = false;
链表应用----二进制数加1进位表示链表存储
问题描述:建立一个带头结点的线性链表,用以存放输入的二进制数,n链表的每一个data域存放一个二进制位,并在此链表上实现对二进制数加1的运算。n问题分析如图:
将list存入到文件当中
1.利用java将list存储到文件当中,需要换行nnnpublic static void listToFile(String filePath, List<String> infolist) {n try {n File filename = new File(filePath);n FileUtils.writeLines...
利用apache的ftpclent实现FTP服务器之间互传
在项目中遇到需要把一个FTP服务器文件复制到另一个服务器上面,现有做法师利用apche ftpclient把文件复制下来,然后在上传到另一台服务器上面,缺点非常明显,内存消耗很大,效率很差。到apche官网上面看了一下,竟然有FTP互传,下载代码,改了一下,可以,非常好,JAVA内存没怎么消耗,ftpclient只是发送了指令而已。ServerToServerFTP.java为测试代码。我所用的F...
将顺序表里的数据存储位置倒置
#include rn#include rnrnrnrnrnstruct SeqListrn    {rn        int MAXNUM;rn        int n;rn        int *element;rn    };rn    typedef struct SeqList *PSeqList;rnPSeqList createNullList_seq(int m){rn   
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 怎么学习一个java框架 java课程实训安排