寂寞不孤单 2016-01-28 09:04 采纳率: 16.7%
浏览 2165

MapReduce清洗数据,输出多个文件

测试数据:
067017    DA2821EA174C4CD6F4E0914C14E740BC    尊敬的周斌颉,您编号为14060800112的项目收款逾期,担保公司将对借款人进行催收,借款人将支付您一定的逾期罚息,详情请至陆金所网站查询。    2014-11-26    
008080    B96D6244E733E1F97259927CF79B9B04    您的一笔借款已逾期!将每日产生罚息并影响您的信用记录,请您尽快还款。如您不再需要收到此类短信,请登录网站设置或致电400-090-6600    2014-11-26
420894    66AEE4A81D0DC3F7597CF14304DF8A37    马鹏云先生:您的借款第二次借款绝不逾期希望支持    第1期将于2014-12-03到期,为保证您的信誉良好,介时请及时还款,谢谢!    2014-11-26
067017    98717067FE78A6E71213A3F02969863C    尊敬的陈慧丽,您编号为14082000739的项目收款逾期,担保公司将对借款人进行催收,借款人将支付您一定的逾期罚息,详情请至陆金所网站查询。    2014-11-26
000000    4DCB184986008ADD3AD33E4860745FAA    [2111-9607-5482-7768]F 有效期2014-08-11到2014-10-31;项王故里成人票(停车场负一楼团队售票处报江苏南方旅行社验证取票,有问题联系唐13515299345)-成人票2张 
000000    822D3A7BD4B44547D5E71C60D521D694    [2111-9211-4633-7607]U 有效期2014-10-17到2014-12-31;月亮河温泉度假酒店房-双人温泉/桑拿家庭套票1张 
000000    4929EDF20844D65ECD4333FBA9D8FD7F    [2111-7081-7365-7431]G 有效期2014-12-15到2015-03-31;南京麦乐迪KTV-团圆桌餐698元/套(8-10人)VIP房(12-3)1张 
000000    F64D4901A21600ED51BE0D49DF390F81    [2111-7381-8605-8288]Z 有效期2014-11-18到2015-09-30;顺景温泉酒店-行政豪华房 (含2人温泉)1张 
000000    822D3A7BD4B44547D5E71C60D521D694    [2111-7011-4144-0946]F 有效期2014-10-17到2014-12-31月亮河温泉度假酒店房-双人特惠房2张
000000    C4183B38CF4D0141BF23CA1D794B4093    [2111-9677-3783-8938]S 有效期2013-11-01到2015-06-30汽车博物馆-双成人套票2张 
000000    BF67C952CDE878AA79D2F6683A464947    [2111-4021-6549-0044]M 有效期2014-10-08到2015-08-31北京青泉赢睿卡丁车-假日票(新)4张
000000    22FD17C8CA607FB179D7FE505748AA61    [2111-4079-9733-2324]F 有效期2015-05-01到2015-08-31大兴野生动物园-自驾区车票1张
使用MapReduce清洗数据,并根据不同的内容分别输出到多个文件
清洗规则:提取第一列,第二列,第三列中括号里面的内容
结果数据:
如果第三列包含逾期则输出到overdue.txt
067017    DA2821EA174C4CD6F4E0914C14E740BC   
008080    B96D6244E733E1F97259927CF79B9B04   
420894    66AEE4A81D0DC3F7597CF14304DF8A37   
067017    98717067FE78A6E71213A3F02969863C   
如果第三列包含房则输出到house.txt
000000    4DCB184986008ADD3AD33E4860745FAA   
000000    822D3A7BD4B44547D5E71C60D521D694     
000000    4929EDF20844D65ECD4333FBA9D8FD7F     
000000    F64D4901A21600ED51BE0D49DF390F81     
000000    822D3A7BD4B44547D5E71C60D521D694   
如果第三列包含车则输出到car.txt
000000    4DCB184986008ADD3AD33E4860745FAA   
000000    C4183B38CF4D0141BF23CA1D794B4093     
000000    BF67C952CDE878AA79D2F6683A464947   
000000    22FD17C8CA607FB179D7FE505748AA61   

  • 写回答

1条回答

  • devmiao 2016-01-28 22:45
    关注
    评论

报告相同问题?

悬赏问题

  • ¥20 Python安装cvxpy库出问题
  • ¥15 用前端向数据库插入数据,通过debug发现数据能走到后端,但是放行之后就会提示错误
  • ¥15 python天天向上类似问题,但没有清零
  • ¥30 3天&7天&&15天&销量如何统计同一行
  • ¥30 帮我写一段可以读取LD2450数据并计算距离的Arduino代码
  • ¥15 C#调用python代码(python带有库)
  • ¥15 矩阵加法的规则是两个矩阵中对应位置的数的绝对值进行加和
  • ¥15 活动选择题。最多可以参加几个项目?
  • ¥15 飞机曲面部件如机翼,壁板等具体的孔位模型
  • ¥15 vs2019中数据导出问题