2 wuxue 123 wuxue_123 于 2016.02.22 18:18 提问

java实现大数据分布式处理 5C

我想实现一个功能,有一个调度服务器和n个应用服务器,调度服务器在每天指定的时间段都会到数据库中抽取数据。将抽取到的数据分发给已经在调度服务器中注册的并且空闲的应用服务器,并将该应用服务器状态置为非空闲状态。
应用服务器在接收调度服务器分发过来的数据以后,将对数据进行处理,并将处理结果更新到响应的数据库表中。在处理完所有数据之后,会向调度服务器返回处理结束的结果,调度服务器将该应用服务器状态置为空闲。
以此反复,直到数据库中的业务数据全部处理完毕。
有做过类似需求的大神吗,最好讲解一下具体实现步骤,谢谢啦

1个回答

devmiao
devmiao   Ds   Rxr 2016.02.22 22:14
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
《大数据互联网大规模数据挖掘与分布式处理》阅读笔记(二)
转载连接:http://blog.csdn.net/lovemianmian/article/details/9050617     首先来看看这一章讲解的整体架构,分别介绍了分布式文件系统、Map-Reduce、使用Map-Reduce的算法,Map-Reduce扩展和集群计算算法的效率问题。                                               一
大数据:互联网大规模数据挖掘与分布式处理pdf
下载地址:网盘下载  内容简介  · · · · · ·大数据:互联网大规模数据挖掘与分布式处理,ISBN:9787115291318,作者:(美) Anand Rajaraman (美) Jeffrey David Ullman 著,王 斌 译作者简介  · · · · · ·Anand Rajaraman 数据库和Web技术领域权威,创业投资基金Cambrian联合创始人,斯坦福大学计算机科学
【原创】《大数据互联网大规模数据挖掘与分布式处理》阅读笔记(三)
《大数据互联网大规模数据挖掘与分布式处理》阅读笔记(三)                                                                                          --------数据流挖掘
【原创】《大数据互联网大规模数据挖掘与分布式处理》阅读笔记(二)
【原创】《大数据互联网大规模数据挖掘与分布式处理》第二章大规模文件系统及MAP-Reduce                                                                首先来看看这一章讲解的整体架构,分别介绍了分布式文件系统、Map-Reduce、使用Map-Reduce的算法,Map-Reduce扩展和集群计算算法的效率问题。
《大数据:互联网大规模数据挖掘与分布式处理》(中文+英文原版)
《大数据:互联网大规模数据挖掘与分布式处理》源自作者在斯坦福大学教授多年的“Web挖掘”课程材料,主要关注大数据环境下数据挖掘的实际算法。书中分析了海量数据集数据挖掘常用的算法,介绍了目前Web应用的许多重要话题。主要内容包括: 分布式文件系统以及Map-Reduce工具; 相似性搜索; 数据流处理以及针对易丢失数据等特殊情况的专用处理算法; 搜索引擎技术,如谷歌的PageRank; 频繁项集挖掘; 大规模高维数据集的聚类算法; Web应用中的关键问题:广告管理和推荐系统。
大数据 互联网大规模数据挖掘与分布式处理 第2版 2015.7 .pdf
斯坦福 mining of massive datasets课程的中文版教材,第二版,2015年7月出版,王斌 译著,该教材是斯坦福CS246课程的教材,主要面向本科生及以上学历。原书由剑桥大学出版社出版,中文版由中国工信出版社和人民教育出版社共同出版。
【读书笔记】《大数据——互联网大规模数据挖掘与分布式处理》
计算所王斌老师翻译的,前两天在微博上炒得比较热。第一时间买来,通读了下。 先说一下总体感觉吧。 有些内容结合了map-reduce等大数据的流行处理方法,是比较“时尚的”。有些内容过于理论化,例如证明算法的上界和下界,而证明过程又不是严谨的过程,鸡肋有些内容,如:pagerank、推荐引擎等内容,比较浅显,不够深入全文读起来不够流畅,往往一段内容看了几遍,才看清楚说的内容;不知道是
大数据:互联网大规模数据挖掘与分布式处理,中文完整扫描版
《大数据•互联网大规模数据挖掘与分布式处理》由斯坦福大学的“web 挖掘”课程的内容总结而成,由拉贾拉曼、厄尔曼所著,主要关注极大规模数据的挖掘。 《大数据•互联网大规模数据挖掘与分布式处理》主要内容包括分布式文件系统、相似性搜索、搜索引擎技术、频繁项集挖掘、聚类算法、广告管理及推荐系统。其中相关章节有对应的习题,以巩固所讲解的内容。读者更可以从网上获取相关拓展材料。 《大数据•互联网大规模数据挖掘与分布式处理》适合本科生、研究生及对数据挖掘感兴趣的读者阅读。
【高清版】大数据:互联网大规模数据挖掘与分布式处理.pdf
大数据:互联网大规模数据挖掘与分布式处理 大数据:互联网大规模数据挖掘与分布式处理
使用 Python 分布式进程进行大数据处理
一、创建服务端,taskManager.py,代码如下:import randomimport timeimport queuefrom multiprocessing.managers import BaseManager# 第一步:建立task_queue 和 result_queue,用来存放任务结果task_queue = queue.Queue()result_queue = queue...