如何将spark读入的txtRDD文本转为Vector格式

在spark上使用textFile读入HDFS中的txt文件,该文件部分如下:

    49420 1383788 0.000020 358064278.750527 0 0.000000
    48896 1369116 0.000020 357927226.401787 0 0.000000
    49412 1383564 0.000020 357979014.993087 0 0.000000
    49284 1379980 0.000020 357811734.328588 0 0.000000
    48666 1362676 0.000021 357741524.933751 0 0.000000
    49726 1392356 0.000020 357853612.975128 0 0.000000
    49546 1387316 0.000020 358326789.510850 0 0.000000
    48781 1365896 0.000020 357718866.216985 0 0.000000
    36848 1031772 0.000027 357027433.127875 0 0.000000
    49537 1387064 0.000020 358307459.890310 0 0.000000
    49146 1376116 0.000020 358291449.233641 0 0.000000
    49952 1398684 0.000020 357755490.896889 0 0.000000

为六列整型或浮点型数值,将每一行作为一个样本进行分类机器学习的特征向量。
该文件准备打同一标签,但还未打标签。
textFile读入之后只是返回一个字符串RDD,请问如何将其转换为Mllib支持处理的Vector或分类算法直接支持的LabeledPoint格式呢?最好用python吧。

1个回答

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
如何将文件整体读入vector
刚学stl,遇到一个问题,不知道如何将文件整体读入vector中,请教一下rnrn要实现以下操作rnrntypedef structrnrn int i;rn int j;rnMyStruct;rnrn#define RECORD_COUNT 1024;rnMyStruct StruArray[RECORD_COUNT];rnfile *pFile;rn...rn// 一步将文件内容装入数组rnfread(StruArray, sizeof(MyStruct), RECORD_COUNT, pFile);rnrn如何实现?好像用vector只能一次读取一条记录,不能一步装入文件到数组rnrn
如何将文件内容读入string类型的vector容器?
如何将文件内容读入string类型的vector容器,首先打开文件,然后读入文件。这个应该怎么做?
请问如何将输入的内容依次读入vector
想实现如此功能:例如输入12345,将之读入vector a,使a[0]=1,a[1]=2这样。rn谢谢各位了!
如何将ReadFile读入的字符串写入vector中去?
ReadFile(hFile, pBuffer, iFileLength,&dwBytesRead, NULL);rn当中的pBuffer如何写入vector中去?谢谢!!!
如何将txt文件读入vector变量中?
如题,txt文件中每一行对应vector的一个元素
如何将TIFF格式转为JPG
找了好久都没找到。哪位大侠帮一下。
如何将HTML代码转为UBB格式
如何将HTML代码转为UBB格式rn看了N多帖子都是UBB转HTML的rn感谢高手回答...
如何将*.DFM格式的文件转为TXT格式
不要告诉我用view as text,因为我有300个FORM,分不够可以再加
如何将rtf格式转为二进制格式?
如题
如何将文本数据逐个读入到数据表??
文本文件为:rn中国,123.21,345.78,数据rn日本,文字,332.12,678.12rn……rnrn我要逐个分别判别是文字和数字,然后导入到数据表相应字段。
请问如何将JPEG格式图片读入DC
类CDC有个成员函数selectobject,其中形参有CPen, CBrush,CBitmap.rn但我想载入JPEG格式的图片该怎么做?rn请教各位高手,先谢谢了!
如何将一段文本中的链接转为a标签
rnrn试了一下这种方法。当var v = "DOCTYPE html PUBLIC"时,不正确。有没有其他办法。
如何将DBGRID的内容转为文本,HTML,EXCEL
如何实现将DBGRID的内容转为文本,HTML,EXCEL
读入格式
比赛的时候遇到了一道题,他的输入是16进制的  我们自然可以利用字符串读入 手动转化 不过c语言本身其实就有这样的读入格式 %o 可以读入8进制 数字 并自动转化为十进制整数 %x 则可以读入16进制 数字并转化为十进制
把vic ASCII格式文本转为csv
代码记录:Change vic format file to standar file.  语言:python IDE;pycharm   """"" ============================================================== get annual time series form vic format file notice: format...
如何将UTF-8格式的文本转换为ANSI格式的文本
我想将一个UTF-8格式的文本文件转换为ANSI格式的文本文件,在VC++中如何实现?
aix下如何将unix格式文本转化为dos格式文本?
aix下如何将unix格式文本转化为dos格式文本?
如何将html格式的文本转换成doc格式的文本?
如何将html格式的文本转换成doc格式的文本?
如何将一个ansi的文本文件转为unicode格式
将一个ansi的文本文件转为unicode格式
如何将pdf文件转为djvu格式的文件
提供两种将PDF转换为DJVU格式的方法,简单易用。
如何将bmp格式压缩转为jpg
如题``
如何将默认的中国标准时间转为别的格式
现在使用的是element的时间选择器,选择时间后,在这个选择框中会自动按照我们的阅读习惯进行格式安排 但是如果选取这个value放到别处进行显示,将会显示undefined。 所以可以将这个时间进行转换。 changeTime: function (date) { var Atime = new Date(date) var Btime = Atime.getFu...
如何将ts文件转为mp4格式
问题描述:想要将新浪微博上的视频下载下来,打开源码发现找不到视频,通过查找,在js文件里找到视频保存的文件目录。根据该文件目录一一下载下来后缀为ts的视频文件。想要发给朋友分享,所以需要转为mp4格式。将所有ts文件下载下来存到b文件夹里面在b文件夹下新建1.bat文件,输入copy /b *.ts new.ts双击1.bat执行该文件,在b文件夹下生成new.ts(这个是将b文件夹下的所有ts文...
如何将excel,txt转为pdf格式
如何将excel,txt转为pdf格式,求源码
vc如何将txt转为csv格式
有已文本文件,如何用c++实现txt转为csv,比如txt有两行数据:rn1 2 3 5 7rn2 4 6 8 10rnrn当读入txt第二行数据时也自动换成csv下一行,不覆盖原来的。rn尽量详细点,多谢各位啦哦,(大半夜的发帖也不容易不是。。。。)
正则表达式:把ASP+HTML格式的文本转为VBS格式
把<%%>之外的内容转为rnresponse.write("<%%>之外的内容转")rn并把<%%>符号去掉.同时要注意,<%%>之外的内容如果包含回车,要换成 chr(13),如果是双引号,则换成两个双引号.rnrn用JScript正则实现.用VBS的正则也可以.rnrnrn如下面的代码rnasdfrn<% Response.write("Test") %>rnadfasfrnsadf asrnasdfrn<%for i=0 to 10%>rnafsdsaf;rn<%next%>rnasdfsadrnasdfsarnrn转为:rnResponse.write("asdf" & chr(13) )rnResponse.write("Test")rnResponse.write("adfasf" & chr(13) & "sadf as" & chr(13) & "asdf")rnfor i=0 to 10rnResponse.write("afsdsaf;")rnnextrnResponse.write("asdfsad" & chr(13) & "asdfsa" & chr(13) & "")rnrn
JSP文本读取读入
我是一个新手,刚做JSP,想问一下,怎么从txt里读入和读出文本,还有,怎么进行文本查找,谢了啊
如何将Vector转换成vector类型
如题,如何将Vector转换成vector类型?用atoi好象不行
读入txtx文本数据
读入数据并可视化include "stdafx.h" #include "AF.h" #include "AFDlg.h" #ifdef _DEBUG #define new DEBUG_NEW #undef THIS_FILE static char THIS_FILE[] = __FILE__; #endif ///////////////////////////////////////////////////////////////////////////// // CAFApp BEGIN_MESSAGE_MAP(CAFApp, CWinApp) //{{AFX_MSG_MAP(CAFApp) // NOTE - the ClassWizard will add and remove mapping macros here. // DO NOT EDIT what you see in these blocks of generated code! //}}AFX_MSG ON_COMMAND(ID_HELP, CWinApp::OnHelp) END_MESSAGE_MAP() ///////////////////////////////////////////////////////////////////////////// // CAFApp construction CAFApp::CAFApp() { // TODO: add construction code here, // Place all significant initialization in InitInstance } ///////////////////////////////////////////////////////////////////////////// // The one and only CAFApp object CAFApp theApp; ///////////////////////////////////////////////////////////////////////////// // CAFApp initialization BOOL CAFApp::InitInstance() { AfxEnableControlContainer(); // Standard initialization // If you are not using these features and wish to reduce the size // of your final executable, you should remove from the following // the specific initialization routines you do not need.
文本的分行,分词读入
怎么做那?请牛人指导一下
急!!!!!!!文本的读入问题?
现在正在做课程设计!读到了个问题!想请大家帮帮忙!!!rn 我现在遇到个这样的问题:首先有100个数字作为密码!然后从文本文件中读入英文字母,到底应该把读入的字符存到什么地方呢?才能对每一个读入的字符进行操作!使第一个字符加上第一个数字第二个加上第二个数字........,第一百个字符加完后,进行循环加数字!rn 问的有点罗嗦吧!嘿嘿.......希望大家帮帮忙!到底如何读如文本!再对每个字符进行操作!!!!
文本读入到edit的问题
我想将一个文本里面数据读入到edit,五个数据分别读入到五个不同edit,文本里面每个数据都是一行,求教应该怎么做啊,谢谢了
读入到vector输不出啊
#includern#includernusing namespace std;rnint main()rnrn vectorarry;rn int cout;rn while(cin>>cout,!cin.eof())rn rn arry.push_back(cout);rn rn for(vector::size_type ix=0;ix!=arry.size();ix++)rn cout<
菜鸟请教:如何将字符串格式转为整形格式?
菜鸟请教:如何将字符串格式转为整形格式?
如何将word,ps等格式的文件转为pdf格式,
用java实现rn
如何将wav文件从一种格式转为另外一种格式?
例如从44100转8000?rn双声道转但声道。
怎样读入中文文本?
怎样从一个.txt文件中读入中文的文本?rn渴望代码!
python如何将txt格式的文件转为Excel格式
1、代码如下: # -*- coding:utf-8 -*- import os import xlwt import xlrd import xlutils from xlutils.copy import copy import re def saveBrankExcel(): with open(&quot;output1/shangcheCarBrank.txt&quot;,&quot;r&quot;,enco...
如何将WinXp的系统盘由FAT32格式转为NTFS格式?
如何将WinXp的系统盘由FAT32格式转为NTFS格式?要保留数据.
爱奇艺视频怎么下载,如何将qsv格式转为mp4格式
  现在已经是数字化时代了,不论是逛街坐车还是休息消遣,都可以看得到有很多人拿手机看电视剧,每天都有很多的影视剧产生,也有很多的人看剧,但是看剧是需要视频播放器的,用户体验比较好的似乎是爱奇艺视频。无论手机端还是PC端都是可以观看和下载缓存视频。如果是在家里或者流量富余才可以在线观看视频,否则也只能下载到手机上,然后本地播放了,那么如何使用爱奇艺客户端或者手机版爱奇艺下载视频文件呢?以下是下载爱奇...
相关热词 c# login 居中 c# 考试软件 c# 自然语言分析 c# 分段读取文件 c# 泛型反射 c#打断点 c# 时间转多少秒 c# 线程函数加参数 c# modbus 读取 c#查询集合表