搭建springbatch + jdbc + hanadb

Question

目前我们项目想用springbatch的框架，做批处理和大数据处理，需要通过JDBC连接到SAP公司的hanadb数据库上，请提供一套详细demo的搭建的教程，最好有截图和文字说明，最好有数据库的增删改查的例子，还有文件操作的例子，谢谢！

Answer 1

让阿豪来帮你解答，本回答参考chatgpt3.5编写提供，如果还有疑问可以评论或留言

教程详细步骤：

1. 下载并安装Java JDK和Eclipse IDE
   • 在Java官网下载JDK并安装：https://www.oracle.com/java/technologies/javase-downloads.html
   • 在Eclipse官网下载Eclipse IDE for Java Developers并安装：https://www.eclipse.org/downloads/packages/release/2021-09/r/eclipse-ide-java-developers
2. 创建一个新的Maven project
   • 在Eclipse中，选择File -> New -> Other -> Maven -> Maven Project
   • 选择Create a simple project，勾选Create a simple project (skip archetype selection)并选择Next
   • 输入Group Id和Artifact Id，点击Finish创建项目
3. 添加springbatch和hanadb的依赖
   • 在pom.xml中添加以下依赖：

   <dependency>
     <groupId>org.springframework.batch</groupId>
     <artifactId>spring-batch-core</artifactId>
     <version>4.3.4</version>
   </dependency>
   <dependency>
     <groupId>org.springframework.batch</groupId>
     <artifactId>spring-batch-infrastructure</artifactId>
     <version>4.3.4</version>
   </dependency>
   <dependency>
     <groupId>org.springframework.boot</groupId>
     <artifactId>spring-boot-starter-jdbc</artifactId>
     <version>2.6.0</version>
   </dependency>
   <dependency>
     <groupId>com.sap.cloud.db.jdbc</groupId>
     <artifactId>ngdbc</artifactId>
     <version>2.13.34</version>
   </dependency>
   

4. 配置Spring Batch和SAP HANA DB的连接信息
   • 在src/main/resources目录下创建application.properties文件
   • 添加以下HANA DB连接信息：

   spring.datasource.url=jdbc:sap://${hostname}:${port}/${dbname}?autocommit=false
   spring.datasource.username=${username}
   spring.datasource.password=${password}
   spring.batch.initialize-schema=always
   

   • 将${hostname}、${port}、${dbname}、${username}、${password}替换为实际连接信息
5. 创建Job和Step
   • 创建一个继承自SimpleJob类的Job，如下所示：

   @Configuration
   @EnableBatchProcessing
   public class DemoJob extends SimpleJob {
     @Autowired
     private Step demoStep;
     @Bean
     public Job demoJob() {
        return new JobBuilder("demoJob")
           .start(demoStep)
           .build();
     }
   }
   

   • 创建一个继承自TaskletStep类的Step，如下所示：

   @Configuration
   @EnableBatchProcessing
   public class DemoStep extends TaskletStep {
     @Autowired
     private JdbcTemplate jdbcTemplate;
     @Override
     public RepeatStatus execute(StepContribution contribution, ChunkContext chunkContext) throws Exception {
        // 这里写入具体的批量处理逻辑
        return RepeatStatus.FINISHED;
     }
   }
   

6. 实现文件操作和数据库增删改查
   • 实现文件操作，示例代码如下：

   public static void writeFile(String fileName, String content) throws IOException {
       Files.write(Paths.get(fileName), content.getBytes());
   }
   public static String readFile(String fileName) throws IOException {
       return Files.readString(Paths.get(fileName));
   }
   

   • 实现数据库操作，示例代码如下：

   // 增
   public void saveUser(User user) {
       String sql = "INSERT INTO user (id,name,age) VALUES (?,?,?)";
       jdbcTemplate.update(sql, user.getId(), user.getName(), user.getAge());
   }
   // 删
   public void deleteUserById(Long id) {
       String sql = "DELETE FROM user WHERE id=?";
       jdbcTemplate.update(sql, id);
   }
   // 改
   public void updateUser(User user) {
       String sql = "UPDATE user SET name=?,age=? WHERE id=?";
       jdbcTemplate.update(sql, user.getName(), user.getAge(), user.getId());
   }
   // 查
   public User findUserById(Long id) {
       String sql = "SELECT * FROM user WHERE id=?";
       return jdbcTemplate.queryForObject(sql, new Object[]{id}, new BeanPropertyRowMapper<>(User.class));
   }
   

7. 运行程序测试
   • 在DemoStep的execute()方法中编写具体的批处理逻辑
   • 运行DemoJob，测试批处理的效果 注：具体HANA DB连接信息，可参考SAP HANA官网提供的相关文档。