每周1T的GPS终端轨迹数据如果存储?采用什么技术存储和分析 5C

业务场景:基于车辆的终端GPS数据开发电子围栏、车辆轨迹监控等行业应用。
数据量:每周1T的数据,
其他:数据格式相对简单,但是应用比较繁杂,有大量的数据计算
问题:目前数据库已经承担不起了,采用水平切割分库分表勉强跑,很脆弱;数据库服务器成本较高。

采用hbase+hadoop 是否是最佳方案? 这边技术背景都是.net,烧脑呀。

0

4个回答

是不是只读不写?是不是数据有明显的稀疏性(比如集中在某个城市,某个省份,某几条线路)?是不是按照时间,访问的频率有明显的不同(比如大部分的查询都是最近几周)?
你是怎么查询的,数据的关联性是什么?
我觉得如果你能搞清楚以上问题,可以不用数据库,自己设计数据结构,性能可以好很多。

0

可以尝试使用elasticsearch这种类型的数据库,至少可以解决两个问题:
1、elasticsearch对外接口采用http,与开发语言框架无关
2、数据水平切分,并有复制备份,大数据场景下应该可以搞定,至少比数据库好一些
3、elasticsearch有一个geo地理库,就是用于处理大量地理信息而设计的,由于我没涉及过这方面,题主可以看一下

0

好像MongoDB也有关于地理位置的专用模型,可以了解一下

0

巨松时序数据库,可以了解一下,可以定期将历史数据导入到时序数据库,近期数据还是使用当前的架构处理,读历史数据时从时序数据库中读,对现在的架构修改少...

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
用pika替换redis存储司机GPS轨迹
一、背景 公司原本用redis存司机的GPS轨迹,但是redis内存消耗大,现改用pika来存储司机的GPS轨迹 二、pika介绍 https://www.w3cschool.cn/pika/pika-yel222nz.html 三、步骤 1.配置文件 base.properties文件中新增pika配置 2.工具类编写
读取本地坐标文件,在百度地图画运动轨迹(2018新华三“物联网终端行为分析”第三题)
目录 问题描述 解决思路 1.注册百度密钥 2.创建本地TXT文件。 3.编写HTML代码 4.搭建本地HTML服务器 5.在百度地图显示运动轨迹 参考文献 问题描述 该部分内容来自新华三NAVIGATE创客节-黑客松“物联网终端行为分析”第三题:已知一系列经纬度坐标点,在百度地图上画出该坐标点对应的运动轨迹。 注意:文中所有的文件和源代码都可以在CSDN上下载(点击进入下载...
轨迹数据管理(轨迹索引与查询)
轨迹查询主要两类,一种是top最近查询,另一种是范围查询。范围查询:一个时间段、一个区域3种方法可以用来范围查询:1)建立3D-Rtree。2)将时间切段3)将空间分格4) 希尔伯特曲线topK查询后缀树的思想...
GPS轨迹数据集
Please check my mail on: Sun, Mar 3, 2019 at: my university mail, sina mail on additional dataset information which is not allow to be pasted here for so-called-shit sensitive words! ...
【研究总结】基于出租车GPS轨迹数据的相关研究
出租车纯粹研究出现貌似已经过时了,在常规研究的时代结束之前,让我们来回顾和展望一下 一、常规研究 1.一般从出租车的运营特征(车、载客、行程、空载率)和出行空间特征(OD点线)两个方面来研究居民的出行规律 2.数据精度分析、预处理 (1)GPS设备故障 (2)城市森林 (3)司机违规行为 3.因此,地图匹配算法 GPS的出租车轨迹与常用地图的火星坐标系 4.日均出行次数、空载率、...
Mysql 1秒200笔GPS数据批量写入优化
针对1100台车上传GPS数据实测,平均每小时300M日志,每小时1000w笔GPS数据,发现IO负载过高 1.优化:mysql优化 2.优化:使用sharding-jdbc分表 3.top查询 load average 负载较低,wa 磁盘读写等待降到0.1 4.iotop查找耗损IO的进程
SQL创建轨迹表 存储过程
USE [TopDB_Track] GO /****** Object:  StoredProcedure [dbo].[spSys_CreateDeviceDataTable]    Script Date: 03/22/2017 16:31:05 ******/ SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO ALTER  PRO
Python地学分析 — 通过GPS数据分析鸟类行踪 07
欢迎关注博主的微信公众号:“智能遥感”。 该公众号将为您奉上Python地学分析、爬虫、数据分析、Web开发、机器学习、深度学习等热门源代码。 本人的GitHub代码资料主页(持续更新中,多给Star,多Fork): https://github.com/xbr2017 CSDN也在同步更新: https://blog.csdn.net/XBR_2014   “ 本节通过鸟类GP...
Android轨迹数据生成Kml文件
最近项目中用到了记录轨迹功能,我使用数据库将很多的轨迹点保存了起来,需要的时候直接从数据库中查找出来按照时间进行排序。因为涉及到了轨迹,所以我的这些轨迹点连接起来具体是个什么样的路线实在是看不出来。 这时候我是用了市面上的其他轨迹软件,例如:户外助手、奥维地图等。发现他们的软件可以加载Kml、Gpx文件。我选择使用KML文件。 下面是KML文件的介绍: KML,是标记语言(Keyho
车辆运动轨迹数据集
一、SanFrancisco Bay Area 1.数据集包括500辆出租车近30天的(2008年5月17日-6月10日)行驶数据 2.车辆行驶数据的采样时间间隔1min 3.车辆轨迹数据包含:车辆ID-经纬度(位置)-是否载客-时间 4.无瞬时速度 下载链接:点击打开链接 二、Shanghai 1.数据集包括4千辆出租车24个小时(07年2月20日)的行驶数据 2.车辆行驶数据的
人员定位轨迹之递归算法
之前我的博文也讲了轨迹 但是只适用于相邻或者隔了一个的情况; 如下图: 我们能绘制的只是一个基站到相邻基站的情况,如果基站没有完全把手卡信息采集到, 如基站30—基站20 要想查看运动情况,则必须绘制30-22-20的轨迹,这是最基础的轨迹,如果直接绘制30-20的轨迹也可以。但是这样一来从基站30出发,到其他基站的路线就会有成千上万种,不利于维护; 现在我做的是不仅仅适用于相邻基站,即使数据库里...
python操作mongodb数据库,存入GPS坐标点数据
1.安装Mongodb 64位版本,安装mongobooster数据库管理器,有关MongoDB的行管问题,通过百度就可以学习 2.通过python操作mongodb数据库,最主要的就是使用pymongo库了,我们仍然需要去学习官方文档(http://api.mongodb.com/python/current/api/pymongo/) 3.我们主要讲的不是pymongo的操作,而是如何读写...
轨迹数据展示工具
有一些轨迹数据,想即时快速结合地图展示,可以试试这些工具 1 谷歌地球,下载工具安装后在工具中导入 2 https://lbs.amap.com/api/amap-ui/demos/amap-ui-pathsimplifier/simple-data 修改脚本并运行 3 https://www.dituwuyou.com 免费注册后 新建地图 4 https://www.openstree...
Spark-处理GPS数据------记录
原始文件转CSV 1、DMP文件导入Oracle数据库 搭建好Oracle、Oracle客户端、PL/SQL,通过PL/SQL导入原始的DMP文件。 可能出现的问题:PL/SQL》Pool中没有出现对应的选项。 解决方法:先安装Office(注意Office 64位还是32位),再在PL/SQL中添加对应的驱动,然后导入数据,数据很大,需要耐心等待。 2、Oracle数据库中导出CS
1T数据到底有多大?
一英里不是个很长的距离,一立方英里相对于地球也不会让人觉得是个很大的空间。然后我说,这个空间内能装下全世界所有人,你会不会觉到很惊讶?不过这话不是我说的,是美国作家房龙在一本书里写的。业内有个著名的数据仓库产品,叫Teradata,20多年前起这个名字,显然是想给人能处理海量数据的感觉。可现在,论用户还是厂商,谈论数据量时都常常以T为单位了,动不动就有几十上百T甚至PB级的数据。似乎T不是个多大的...
基于GPS轨迹数据的拥堵路段预测
基于真实的 GPS 轨迹数据,对城市拥堵路段进行预测. 在此过程中,摒弃传统的基于交通流预 测和拥堵识别的方法,提出一种新的基于拥堵向量和拥堵转移矩阵的拥堵路段预测方法. 该方法同时考虑路 段拥堵的时间周期性和时空相关性,通过对出租车 GPS 轨迹数据进行挖掘和训练,建立拥堵向量和拥堵转移 矩阵,实现对拥堵路段的预测. 真实数据集上的实验验证了所提的拥堵路段预测方法的有效性.
百度地图运动轨迹GPS定位
一、项目介绍 二、界面效果图 三、核心代码 MainActivity.java package com.example.jkbaidumap; import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException;
大数据存储综述
本文内容源自网络整理,更多详细内容请阅读参考文献的原文。1 存储方式1.1 块存储块存储就好比硬盘一样,直接挂载到主机,一般用于主机的直接存储空间和数据库应用的存储。它分两种形式:DAS:一台服务器一个存储,多机无法直接共享,需要借助操作系统的功能,如共享文件夹。SAN:金融电信级别,高成本的存储方式,涉及到光纤和各类高端设备,可靠性和性能都很高,除了贵和运维成本高,基本都是好处。云存储的块存储:...
手机原生GPS定位 循环定位 获取的经纬度写入sqlite数据库
使用Android原生gps定位的例子 每个几秒订一次 并将定位的经纬度和当前时间等信息写入数据库
Android 后台记录GPS轨迹并转为80参数
我们知道Android里都是用LocationManager来管理定位相关的操作, LocationListener来进行位置变化时候的监听,获取结果有三种条件下的经纬度坐标。 于是在写后台service时候主要是将每次监听到的经纬度记录下来,最后在转变为80的坐标。
利用百度鹰眼功能实现记录GPS位置,轨迹,路径信息等
利用百度鹰眼功能实现记录GPS位置,轨迹,路径信息等。运行环境为android studio.
gps实时位置的展示
概述 很多时候,我们有这样的使用场景:外业人员在外作业,我们需要知道人员的当前的实时位置和人员信息,如何实现呢?本文将为大家简单的说明该场景下我们应该实现。 效果 思路 解决实时位置的展示,最核心的有两点:1、数据的传输与存储;2、设备端如何和监控端进行数据交互。 首先,我们来说第一个的问题:数据的传输与存储。大多时候,设备传输过来的位置信息数需要做存储的,除了个别情况外。因...
influxdb实战- 强生出租车位置数据存储与查询
一、数据准备 下载开放的强生出租车的数据,网址如下,http://shanghai.sodachallenges.com/data.html,本测试的案例已经下载了30天的轨迹,大概每天6000万条,原始文件以txt存储,大概的文件目录结构如下: 数据//HT160801//01//00//1608010000.txt 其中txt代码某一分钟的所有出租车位置数据 数据格式如下: 1408...
异常轨迹检测(识别偏航轨迹+轨迹异常原因识别)
偏航轨迹有两种,一种是整个轨迹全部偏航,另一种是部分轨迹偏航。基本的思想是将轨迹进行聚类,或者找出两地间频繁的出行模式。如果一条轨迹不属于任何一个聚类,则认为轨迹偏航轨迹异常原因有多种,包含事故、交通控制、抗议、庆典、灾难、大型体育运动等轨迹异常原因识别:1)根据主要路网形状,将城市分为一个个不相连的区域,并根据两个区域之间行驶的车辆的轨迹,识别两个区域之间的异常联系。2)考虑每个道路的三个特征:...
扩频通信原理在GPS中的应用
GPS(全球卫星定位系统)是多星共用两个载波频率发送导航定位信号的系统,需要采用扩频码分多址方式来区分各个卫星的地址。每颗卫星分配有一个伪随机序列码型,伪随机序列的码片宽度越窄,测距精度就越高。同时,采用直接序列扩频使得测距抗干扰能力大为增强。又由于它采用无源定位方式,即在定位过程中不需要用户终端发出应答信号,所以该系统可容纳的用户数目没有限制,这正像一个广播电台对收听节目的用户收音机数目没有限制一样。中国军事和民用部门已广泛使用GPS接收设备,利用GPS定位系统进行定位工作。
android程序的自动更新 和 基于GPS定位的轨迹存储
android程序的自动更新 和 基于GPS定位的轨迹存储
白话空间统计番外四:轨迹特征分析实例 2016年9月9日 12:44
前面的话:        本文是近期对空间聚类和特征分析研究的总结性文档之一,有对这些算法有兴趣的同学,可以与我联系,另外如果有同学做毕业论文想做相关思路的,也可以与我联系,我可以以企业导师的身份进行指导,具体的要求,联系时候会详述。 —————————————————我是分割线——————————————————— 车辆的的轨迹数据是车辆行驶的客观记录,轨迹中虽然仅仅包
PIV技术的粒子图像处理方法
很好的关于PIV的文献,一定要仔细阅读,对你处理PIV图像很有帮助的
GIS汽车导航软件设计
能实现电子地图浏览、读取模拟GPS数据、GPS数据显示(即当前位置显示)、GPS数据上传至服务器数据库。 读取终端上传过来的GPS数据,并存储。 在web 浏览器上显示车辆当前位置、移动轨迹、历史轨迹等。
基于轨迹数据的伴随关系分析挖掘
轨迹数据分析是时空数据挖掘的重点内容之一,也是相当有挑战任务之一。伴随分析是轨迹数据的一种常见分析任务,但是伴随分析面临着三大挑战:摘自ICDM2013年论文Mining Following Relationships in Movement Data的表述:Challenge 1. The following time lag is usually unknown and varying. Fo...
大数据的数据体系、采集、存储技术总结
大数据的数据体系,自底向上包括四个层次: 1 数据采集与清洗层 2 数据加工与汇聚层 3 数据能力与开放层(体现平台即服务PAAS的概念) 4 数据价值与应用层   大数据采集技术:实时与离线采集 实时流处理模式:通过K-V查询接口,以流处理模式,逐条传输、ETL,融合并入库至业务平台。 离线批处理模式:通过SFTP传输接口,将数据离线批量采集至业务平台缓存中,再进行批量ETL...
GPS轨迹预处理
此PPT介绍了位置服务,轨迹的压缩,还有通过滤波对轨迹进行预处理。
出租车数据处理过程
出租车数据处理过程 1.先根据经纬度将数据放在不同的网格中(python处理"  InitDataArea1h.py") 2.有区域的数据在pig中处理,得到分组后的数据(在"dealdata.pig"中处理) 3.处理后的数据放在进行网格求和,得到每一网格中的进出车辆(python处理, " InoutArea.py")
轨迹预处理(停留点检测)
停留点分为两类:静止不动停留点、徘徊型停留点静止不动停留点:通过距离阈值、速度等即可识别徘徊型停留点: 1. 对于一个轨迹点g来说,找到距离它100米的一个点g100;                         2.统计g 和g100之间的时间跨度                         3.如果时间跨度超过阈值,则将中间的点识别为停留点...
轨迹大数据关键技术
1、轨迹大数据的种类 2、轨迹大数据的特点 时空序列性。轨迹数据是具有位置、时间信息的采样序列,轨迹点蕴含了对象的时空动态性,时空序列性是轨迹数据最基本的特征; 异频采样性。由于活动轨迹的随机性、时间差异较大的特征,轨迹的采样间隔差异显著,例如导航服务的秒级或者分钟级的采样、社交媒体行为轨迹是以小时或者以天作为间隔的采样.差异性的轨迹增加了轨迹数据分析的难度; 数据质量差。由于连续性的运动轨迹...
如何从大规模的经纬度轨迹数据中选出能够代表该轨迹的点
背景: 需要对两个轨迹进行比对,判断是否重合或者重合度有多少。 两条轨迹的经纬度数据量很大,导致比对的时候计算量很大,所以需要从两条轨迹中选出具有代表性的点进行比较。 例如在下图中: ABCDE五个点之间还有很多经纬度数据。但是实际上真正能代表这个轨迹的就是这五个点 此处采用geohash编码来解决这个问题: 我们将整个经纬度数据进行geohash编码: 轨迹即变成上图所示,...
Hbase存储架构(整理)
  一、 Hbase存储框架     图1  Hbase存储架构图    1、  结构 HBase中的每张表都通过行键按照一定的范围被分割成多个子表(HRegion),默认一个HRegion超过256M就要被分割成两个,由HRegionServer管理,管理哪些HRegion由HMaster分配。 HRegionServer存取一个子表时,会创建一个HRegio...
轨迹预处理(轨迹清洗)-均值中值滤波、启发式滤波
均值、中值滤波对于一个轨迹点g来说,要想判断该点是否合理。选取g点之前的n个点,通过G点之前n个点平均距离,判断轨迹点g是否合理。启发式滤波对于一个轨迹点g来说,要想判断该点是否合理。选取g点d米范围之内的所有轨迹点,统计这些轨迹的个数number。对于一条轨迹来说,统计每个点的d米范围之内的所有轨迹点的个数,该个数用t_number表示。如果number < t_number ,则考虑该轨...
GPS轨迹数据集免费下载资源整理
本文主要是整理了GPS轨迹数据集免费资源库,从这些库中能够免费下载到GPS数据,同时还整理出了这些数据的格式,数据集的简单描述等等。如果你发现更好的相关数据资源,欢迎共享 :)1. GeoLife GPS Trajectories该GPS轨迹数据集出自微软研究GeoLift项目。从2007年四月到2012年八月收集了182个用户的轨迹数据。这些数据包含了一系列以时间为序的点,每一个点包含经纬度、海拔
HOLUX M1200-E 蓝牙GPS轨迹记录器的历史轨迹数据读取
HOLUX M1200-E 蓝牙GPS轨迹记录器的历史轨迹数据读取 图片太烂上传了   原Word文件下载地址   这篇博客不要讲述如何读取GPS 设备的历史轨迹数据与兴趣点数据。如何解析GPS设备接收的实时数据,就多说了,网上有很多,一搜一大堆 硬件环境:HOLUX M1200-E 开发语言:C# 抓取数据的思路来源,首先通过官方客户端HOLUX ezTour for Logger连