hbase 协处理器装载的问题,region会failed显示is not online 2C

刚接触hbase要用到协处理器编程,用的是动态装载到某一个表上,但是coprocessor加上后该表就failed了,不能scan。

  • 以下是我装载coprocessor的命令: alter 'tsTile',METHOD=>'table__att','coprocessor'=>'hdfs://cu17:8020/usr/hbase/coprocessor/Observer2.jar|com.hbase.coprocessor.RegionObserverDemo||' Updating all regions with the new schema... 1/1 regions updated. Done.
  • 装载后表的情况: Table tsTile is ENABLED
    tsTile, {TABLEATTRIBUTES => {coprocessor$1 => 'hdfs://cu17:8020/usr/hbase/coprocessor/Observer2.jar|com.hbase.coprocessor.RegionObserverDemo||'}
    COLUMN FAMILIES DESCRIPTION
  • 但是一scan ‘表名’就出现这样的错误(其他的表正常): 图片说明
  • 重启hbase也没用,但是我将coprocessor卸载后,重启hbase该表又可用了。我估计是jar包的代码不对,要么是加coprocessor的参数没设对。
  • 这是我的coprocessor代码,只实现preScannerOpen函数 图片说明图片说明
  • 弱弱的问各位大神,这可能是什么问题?
0

1个回答

我遇到了一样的问题,查了日志

2019-03-20 14:58:06,289 WARN [B.defaultRpcServer.handler=6,queue=0,port=16000]
master.HMaster: File does not exist: /home/had_user/local/hbase-1.2.7/lib/tests/TestCoprocessor.jar

发现是说文件找不到,放在本地不行,传到hdfs上也可能路径写错了。你看一下日志,是不是这个问题

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
hbase问题总结【转】
n转载地址: http://www.cnblogs.com/shenguanpu/archive/2012/06/12/2546309.htmlrnrn1 java.io.IOException: java.io.IOException: java.lang.IllegalArgumentException: offset (0) + length (8) exceed the capacity ...
hbase 启动报错
问题1:rn2017-11-04 12:01:03,063 INFO  [master:16000.activeMasterManager] zookeeper.MetaTableLocator: Failed verification of hbase:meta,,1 at address=slave-1,16020,1509763647585, exception=org.apache.had
编写hbase协处理器observer遇到的问题
一、第一个异常信息,配置文件错误java.io.IOException: Aborting flush because server is aborted...        at org.apache.hadoop.hbase.regionserver.HRegion.internalPrepareFlushCache(HRegion.java:2269)        at org.apach...
Hbase用协处理器建二级索引
1.起因(Why HBase Coprocessor)nHBase作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执行求和、计数、排序等操作。比如,在旧版本的(nnn2.灵感来源( Source of Inspration)nHBase协处理器的灵感来自于Jeff Dean 09年的演讲( P66-67)。它根据该演讲实现了类似于bigtable的协处理器,包括以下
HBase 协处理器 (二)
继  HBase 协处理器 (一) n nn3.7 The RegionObserver Classnn用于 region level, 注意,这个类的所有调用方法的第一个参数为 ObserverContext<RegionCoprocessorEnvironment> ctx8, 提供访问 context 实例。nnn操作可以被划分为两组: region 生命周期变化和客户端 API...
HBase协处理器加载过程(1.2)
之前写过HBase协处理器的一些原理和使用,基本上都是官方文档和官方的博客翻过来的,知道了怎么写,怎么用。rnrnrn现在需要思考的一个问题是,自己写的协处理器是怎么加载成功并调用的。rnrnrn一、首先来看ObserverCoprocessor:rn1.观察者协处理器的静态加载的配置是在hbase-site.xml中配置如下属性:rn通过hbase.coprocessor.region.clas
HBase常见报错
HBase启动出现问题rnrnorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hbase/MasterProcWALs/state-00000000000000000011.log could only be replicated to 0 nodes instead of minReplication (=1). T...
hbase踩过的坑
Hbase踩过的坑nn1.hbase 执行list命令报错: nhbase(main):001:0> list nTABLE nnER...
【HBase】17-协处理器
1、协处理器简介nn使用客户端API,配合筛选机制,例如,使用过滤器或限制列族的范围,都可以控制被返回到客户端的数据量。如果可以更进一步优化会更好,例如,数据的处理流程直接放到服务器端执行,然后仅返回一个小的处理结果集。这类似于一个小型的MapReduce框架,该框架将工作分发到整个集群。n协处理器允许用户在 region服务器上运行自己的代码,更准确地说是允许用户执行region级的操作,并且可...
hbase协处理器引发的问题解决方案
因协处理器涉及不当导致regionserver停工,没法启动,可以先在配置文件hbase-site.xml文件中将hbase.coprocessor.abortonerror设为false。让hbase继续启动,但此事你无法见协处理器卸载,若要将其卸载,需创建backup-master,创建方法为,新建配置文件:backupmasters,在此文件中键入backup -master的hostname
[HBase事故] HBase regionserver被强制关闭问题分析
[HBase命案系列] HBase regionserver被强制关闭问题分析nn一.案发现场nn2018-09-06 15:51:59,685 ERROR [regionserver/node-210:16020.logRoller] regionserver.LogRoller: Log rolling failednjava.lang.StringIndexOutOfBoundsExcept...
Hbase之协处理器
官方介绍https://blogs.apache.org/hbase/entry/coprocessor_introductionnn使用它一定要慎重,一旦协处理器出问题,则hbase将起不来,不过也有配置进行修复,修复配置见最后nn协处理器简介 nn     可理解为服务端的拦截器,可根据需求确定拦截点,再重写这些拦截点对应的方法 n客户端的读取API配合筛选机制可控制返回的数据量 n进一步优化...
kylin加载hbas的协处理器(坑)
版本:nCDH: 5.13nKylin: 2.5.2n在project、model、cube构建完成后,开始查询,结果因为之前做了Hadoop的HA,所以需要更新HBase的协处理器。n这个是执行查询的时候报的错:norg.apache.hadoop.hbase.exceptions.UnknownProtocolException: org.apache.hadoop.hbase.exce...
导致Hbase挂掉的场景
rn 异常导致的退出会通过接口Abortable定义的abort()方法实现,Abortable实现类如下: 由以上类图可以看出HBaseAdmin的abort由于是client的访问,因此终止服务只需抛出异常即可,HConnection也是用于client,因此只需关闭连接,如果是zk的异常会在后续的使用中重新连接zk而不用关闭连接,其中重点的是HMaster、HRegionServer和Zoo...
hbase 出现的问题
rnlog4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#no...
HBase 协处理器 (一)
之前讨论了如何利用过滤器来降低从服务器端到客户端发送的数据量。利用 HBase 的协处理器特性,用户甚至可以将一部分计算移到数据所在的机器上。n3.1 协处理器简介 (Introduction to Coprocessors)nn利用客户端 API, 配合特定的选择器机制,如果过滤器,或列族作用域,可以限制传输到客户端的数据。如果可以更进一步优化会更好,例如,数据的处理nn直接放到服务器端执行,然...
HBase添加协处理器并且使其生效
1.在hbase-site.xml中添加如下配置信息使协处理器生效nn nnn <property>n  <name>hbase.coprocessor.region.classes</name>n  <value>hbase.CalleeWriteObserver</value>n </property>nn以上的类名换成自...
Hbase的协处理器
1.起因(Why HBase  Coprocessor)rnrnHBase作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执行求和、计数、排序等操作。比如,在旧版本的(统计数据表的总行数,需要使用Counter方法,执行一次MapReducern Job才能得到。虽然HBase在数据存储层中集成了MapReduce,能够有效用于数据表的分布式计算。然而在很多情况下,做一些简单
HBase协处理器实战
HBase协处理器实战nnnn1.概念nnHBase的coprocessor分为两类,Observer和EndPoint。Observer相当于触发器,代码部署在服务端,相当于对API调用的代理。HBase中的协处理器可以被理解为Mysql中的触发器或者是存储过程。nn2.实战nnnnstep 1.编写Java程序nn这里使用RegionObserver作为示例,简单介绍RegionServer的...
HBase性能优化2—使用Coprocessor进行RowCount统计
nhttp://www.binospace.com/index.php/make-your-hbase-better-2/rn关键词:AggregationClientrn rn对于Table内RowKey个数的统计,一直是HBase系统面临的一项重要工作,目前有两种执行该操作的方式。rn1)使用MapReduce进行。可以借助HTableInputFormat实现对于Rowkey的划分,但是需要...
HBase协处理器知识点
HBase协处理器知识点n1、为什么引入协处理器?n     在旧版(0.92HBase版本之前)的HBase中是没有引入协处理器的概念的。这样存在的问题是:创建二级索引较难,很难进行简单的排序、求和、计数等操作。这里是指在该版本限制下难以进行上述操作,不是不行。为了降低难度,提出了协处理器的概念。n 这里补充索引相关的知识点:n索引的概念:nni)明确是针对数据库而言的,体现是一张表
机房断电导致HBase集群region offline故障解决
环境描述:ambari集群+hdfs+zookeeper+hbasenn错误描述:hdfs 存在部分 corrupt replica blocks/missing blocks/under replicated blockesnnBlock Errorsn 31  corrupt replica / 30  missing / 31 under replicatedn hbase存在大量的o...
迁移hbase的快照到新集群后RegionServer无法启动,报错failed open of region
错误日志摘要:2018-03-12 17:05:29,608 ERROR [RS_OPEN_REGION-our_ambari_clustergn-a05044c6-core-1-003:16020-15] handler.OpenRegionHandler: Failed open of region=market:KYLIN_YEDCQ82BF3,16F87C792E626990D57DDAB...
一次对HBase协处理器的内存耗尽问题的GC分析和解决
基于HBase协处理器,将数据建立索引到Elasticsearch,出现的process jvm内存耗尽问题
HBase添加协处理器导致集群异常解决方式
在做HBase二级索引实验时,使用了HBase的协处理器,在插入数据的时候,由于协处理器抛出了异常,导致HRegionServer挂了,重启之后,使用jps查看,马上又消失了,查询HMaster和HRegionServer的日志如下:java.lang.RuntimeException: HRegionServer Abortedn at org.apache.hadoop.hbas...
分析、解决java访问HBase 1.2.4时put数据卡住很久并报错:Failed to get region location
终于配置好了完全分布式的HBase1.2.4的环境,zookeeper集群是独立的,即HBase没有托管ZooKeeper的集群,研究清楚了新版本的api的变化,遂写好了简单的demo代码往某张表里put数据,api很简单从略,运行时卡住,程序一直卡着不动,也没有结束,执行到put那一行就彻底卡住了,一个小时后,控制台会报错
关于从节点的HRegionServer启动不起来的解决办法
版本信息:主机环境:Centos7.3 3台(1master,2slave)HBase:1.2.0-cdh5.7.0近日在重新搭建大数据集群的时候,发现一个之前没有遇到的问题,特此记录下来:当配置HBase依赖Zookeeper运行,并启动之后,发现Master和Slave1的HRegionServer启动正常,但是Slave2的并没有启动。打开HBaseUI界面,可以看到Region Serve...
HBase优化策略及协处理器
服务端优化nnn什么导致HBase性能下降nnJvm内存分配与GC回收策略nHBase运行机制相关的配置分配不合理n表结构设计及用户使用方式不合理 nHBase数据存储过程nnHBase写入时当memstore达到一定大小会flush到磁盘保存成HFile,当HFile小文件太多回执行compact操作进行合并(compact就是将很多小文件合并成一个大文件的过程。compact分为minor c...
使用hbase hbck修复region中数据不一致问题
[hbase版本1.1.2]nn[hbase@kmr-5b9c18fc-gn-7198aa8e-client-1-001 ~]$ ll -tntotal 788n-rw-r--r--. 1 hbase hadoop  60614 Dec 27 18:22 20171227_8th_After_fixAssgnmentOf_should_end_with_an_empty_key_FORte
hbase region下线故障修复
 故障:nnn1.8.7-p357 :023 > get 'GPSDATA','42dc_1698207629_8482964999'nCOLUMN CELL ...
HBase源码分析之如何找到region location
通过client的源码分析,我们发现每次建立连接前需要先找到rowkey所属region的regionserver。本篇来分析一下这个找到regionserver的整个流程。nn背景说明nn先我们
Hbase 协处理器
n在分析协处理器 Coprocessor 之前, 我们先来总结下客户端发起 RPC 请求, 最终到 HRegion 的过程 在客户端操作表中的数据时,会先找到改行的HRegionLocation,然后练习HRegionServer,通过RPC rn调用HRegion上的方法,因为HRegion 才是真正存储数据的地方。rn如果客户端代码想要在 HRegion 执行 CRUD 操作前后植入自定义的逻...
hbase集群中的从节点的Hregionserver进程出现闪退现象解决办法
2018-01-16 13:23:38,879 INFO  [main] ipc.SimpleRpcScheduler: Using default user call queue, count=20rn2018-01-16 13:23:38,890 ERROR [main] regionserver.HRegionServerCommandLine: Region server exitingr
Hbase异常 正在找解决办法 ~~
14/01/06 21:31:31 WARN client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch META table: org.apache.hadoop.hbase.TableNotFoundException: Cannot find row in .META. for...
HBase-服务端处理请求的过程
rn rnRegion的架构rn rn rnHRegionServer:rn配置:rnhbase.client.retries.number (默认10)  客户端的重试次数rnhbase.regionserver.msginterval (默认3*1000) ???rnhbase.regionserver.checksum.verify(默认false) 是否启用checksumrnhbase....
Region恢复逻辑
Table of ContentsrnRegion恢复逻辑rn配置参数rnrnrnrnrnrnrnRegion恢复逻辑rnrnrnrnRegionServer出现宕机以后,其上部署的Region将会被Master重新分配处理,由于在宕机前,某些Region的memStore数据可能还没有做flush操作,因此,需要对这部分数据做还原处理,还原过程通过读取HLog文件来实现。rn截至到目前为止(1.
源码解读--(1)hbase客户端源代码
rnnn源码解读--(1)hbase客户端源代码rnhttp://aperise.iteye.com/blog/2372350rnnn源码解读--(2)hbase-examples BufferedMutator Examplernhttp://aperise.iteye.com/blog/2372505rnnn源码解读--(3)hbase-examples MultiThreadedClient...
硬件故障导致Hbase RegionServer CPU飚高
rn rn场景介绍       rn      国庆期间Hbase集群有一台RegionServer a02机器的内存故障原因导致下线,集群在少一台的情况下运行正常,节后a02机器内存故障修复后重新加入集群提供服务,几乎同时发现集群另外一台a04的CPU使用率高居不下, 按照常理分析集群恢复至最初状态,应该会运行良好,实际上却是a04的CPU使用率一路飚高。rn rn问题初步排查rnnnRegio...
HBase中Region的分裂和合并问题分析
Region分裂n当MemStore的数据超过阈值时,将数据溢写磁盘,生成一个StoreFile文件。当Region中最大Store的大小超过阈值时,Region分裂,等分成两个Region,实现数据访问的负载均衡。新的Region的位置由HMaster来确定在哪个RegionServer中。n下面是具体的细节:n1.当一个region里的StoreFil...
大数据_HBase(Region分裂、接上一篇HBase)
六、数据保存的过程(一定注意:Region分裂)nnnn 数据保存的过程nnnnnnn七、HBase的过滤器(Java程序)n 1、准备实验的数据n 2、列值过滤器n 列名前缀过滤器n 多个列名前缀过滤器n 行键过滤器nn 3、组合过滤器nnnnpackage demo.filter;nnimport java.util.ArrayList;
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 区块链问题 人工智能会自己学习