关于#hbase#的问题：编写hbase的双节点并将数据集编写到代码打包jar将sub数据导出

Question

编写hbase的双节点并将数据集编写到代码打包jar将sub数据导出

Answer 1

引自免费微信小程序：皆我百晓生

为了解决你的问题，我们将按照以下步骤操作：

第一步：HBase 双节点集群部署

配置环境

确保两台机器上都安装了 JDK 1.8 和 Zookeeper 3.0+。

HBase 配置

• 在每台机器上编辑hbase-site.xml:

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>node1,node2</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
</configuration>

• 配置ZooKeeper:
  • 在zoo.cfg文件中设置server.id=node_ip:port。

启动集群

• 在node1启动ZooKeeper。
• 在node2启动ZooKeeper。
• 在node1启动HMaster。
• 在node2启动HRegionServer。

第二步：编写 MapReduce 程序导入数据

假设CSV文件格式如下：

student_id,subject,score
202100001,语文,73
...

Java程序

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;

import java.io.IOException;

public class SubjectScoreLoader {

    public static class SubjectScoreMapper extends Mapper<Object, Text, ImmutableBytesWritable, Put> {
        private final static ImmutableBytesWritable rowKey = new ImmutableBytesWritable();
        private Put put = new Put();

        @Override
        protected void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            String[] parts = value.toString().split(",");
            String studentId = parts[0];
            String subject = parts[1];
            int score = Integer.parseInt(parts[2]);

            rowKey.set(studentId);
            put.add("cf".getBytes(), subject.getBytes(), new IntWritable(score).get());
            context.write(rowKey, put);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = HBaseConfiguration.create();
        Job job = Job.getInstance(conf, "Subject Score Loader");
        job.setJarByClass(SubjectScoreLoader.class);
        job.setMapperClass(SubjectScoreMapper.class);
        job.setOutputKeyClass(ImmutableBytesWritable.class);
        job.setOutputValueClass(Put.class);
        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TableOutputFormat.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        TableOutputFormat.configureJobForDirectWrite(job, "subject", "cf");
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

第三步：打包程序

使用Maven或Gradle打包上述Java程序为JAR文件。

第四步：运行MapReduce作业

使用Hadoop命令行提交JAR文件运行MapReduce作业：

hadoop jar subject-score-loader.jar SubjectScoreLoader /input/subject_score.csv output

第五步：文档编写

创建文档，详细记录上述步骤，包括环境配置、代码实现、运行结果截图等。

第六步：验证数据

通过HBase shell或HBase UI检查数据是否正确导入。

以上步骤应能帮助你完成从HBase集群部署到数据导入的整个流程。