windows环境下kafka创建topic后重启就报错 5C

[2017-12-20 17:20:15,475] WARN Found a corrupted index file due to requirement failed: Corrupt index found, index file (D:\program\kafka_2.12-1.0.0\kafka-logs\linlin-0\00000000000000000000.index) has non-zero size but the last offset is 0 which is no larger than the base offset 0.}. deleting D:\program\kafka_2.12-1.0.0\kafka-logs\linlin-0\00000000000000000000.timeindex, D:\program\kafka_2.12-1.0.0\kafka-logs\linlin-0\00000000000000000000.index, and D:\program\kafka_2.12-1.0.0\kafka-logs\linlin-0\00000000000000000000.txnindex and rebuilding index... (kafka.log.Log)
[2017-12-20 17:20:15,475] ERROR Error while loading log dir D:\program\kafka_2.12-1.0.0\kafka-logs (kafka.log.LogManager)
java.nio.file.FileSystemException: D:\program\kafka_2.12-1.0.0\kafka-logs\linlin-0\00000000000000000000.timeindex: 另一 个程序正在使用此文件,进程无法访问。

    at sun.nio.fs.WindowsException.translateToIOException(WindowsException.java:86)
    at sun.nio.fs.WindowsException.rethrowAsIOException(WindowsException.java:97)
    at sun.nio.fs.WindowsException.rethrowAsIOException(WindowsException.java:102)
    at sun.nio.fs.WindowsFileSystemProvider.implDelete(WindowsFileSystemProvider.java:269)
    at sun.nio.fs.AbstractFileSystemProvider.deleteIfExists(AbstractFileSystemProvider.java:108)
    at java.nio.file.Files.deleteIfExists(Files.java:1165)
    at kafka.log.Log.$anonfun$loadSegmentFiles$3(Log.scala:335)
    at scala.collection.TraversableLike$WithFilter.$anonfun$foreach$1(TraversableLike.scala:789)
    at scala.collection.IndexedSeqOptimized.foreach(IndexedSeqOptimized.scala:32)
    at scala.collection.IndexedSeqOptimized.foreach$(IndexedSeqOptimized.scala:29)
    at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:191)
    at scala.collection.TraversableLike$WithFilter.foreach(TraversableLike.scala:788)
    at kafka.log.Log.loadSegmentFiles(Log.scala:297)
    at kafka.log.Log.loadSegments(Log.scala:406)
    at kafka.log.Log.<init>(Log.scala:203)
    at kafka.log.Log$.apply(Log.scala:1735)
    at kafka.log.LogManager.loadLog(LogManager.scala:231)
    at kafka.log.LogManager.$anonfun$loadLogs$12(LogManager.scala:292)
    at kafka.utils.CoreUtils$$anon$1.run(CoreUtils.scala:61)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

2个回答

这个你可以看下另外大神写的博客:http://blog.csdn.net/zfszhangyuan/article/details/53389916

同样的问题,移步这里:https://segmentfault.com/q/1010000005787918

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
kafka无法创建topic
Error while executing topic command : Replication factor: 1 larger than available brokers: 0. [2017-12-17 22:46:20,950] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replica
kafka删除和创建topic
kafka操作topic的方法: 1、查看topic列表:       bin/kafka-topics.sh --zookeeper node1:port,node2:port,node3:port/kafkachroot --list 2、删除topic :       1) bin/kafka-topics.sh --zookeeper node1:port
Kafka 学习 -- Topic的创建
1. 使用命令行方式: [lch@linux129 bin]$ ./kafka-topics.sh --create --zookeeper hadoop221:2181,hadoop222:2181 --replication-factor 2 --partitions 2 --topic TEST_TTT 参数说明: --replication-factor : 表明 副
kafka创建topic失败
本人初次接触kakfa,创建topic后生产消息失败,生产消息的命令为: sh kafka-console-producer.sh --broker-list localhost:9092 --topic test 报错日志为:[2018-03-06 21:58:24,978] ERROR Error when sending message to topic test with key: nul...
kafka正常启动后无法创建topic
提示 可用brokers 为 0  确定配置及brokers 都已经启动且正确  因为我在 配置文件中改了路径 所有出现了这个问题 蛋疼
Kafka解析之topic创建(1)
原 Kafka解析之topic创建(1)https://blog.csdn.net/u013256816/article/details/79303825版权声明:本文为博主原创文章,未经博主朱小厮允许不得转载。 https://blog.csdn.net/u013256816/article/details/79303825 在使用kafka发送消息和消费消息之前,必须先要创建topic,在ka...
Kafka解析之topic创建(2)
前言 上一篇Kafka解析之topic创建(1)中的介绍了怎样创建一个topic以及对应的replica-assignment参数的一些使用细节,本文继续来讲述一下自动分配方案的具体算法实现,包括未指定机架的分配策略和指定机架的分配策略。 承接 如果在创建topic的时候并没有指定replica-assignment参数,那么就需要采用kafka默认的分区副本分配策略来创建topic。主要的...
kafka单机重启topic丢失问题排查
这个问题,在线上集群环境一般不容易出现,因为相关的日志文件参数都已经配置好了,而且经受住时间的的验证了。 作为新手,我在本地配置了一个单机kafka,用得是kafka自带的zookeeper服务。 kafka安装很简单如下: 1).下载kafka: wget http://apache.fayea.com/kafka/0.10.1.0/kafka_2.10-0.10.1.0.tgz
Kafka环境的搭建(Windows)
1、安装JDK 2、安装Zookeeper  Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper   2.1、下载安装文件(zookeeper-3.4.9): http://mirror.bit.edu.cn/apache/zookeeper/  2.2、解压zookeeper-3.4.9(解压到 E:\develop\Kafka\zookee...
windows搭建kafka环境
zookeeper和kafka、scala的安装包https://pan.baidu.com/s/10wdkDQnAHzs9eXYDRZ0P-g 1.安装jdk 1.1需要注意JAVA_HOME的环境变量设置需要放在oracle安装路径的上面。 1.2尽量安装这个没有空格的路径下面。 1.3配置classpath和path环境变量 2.安装scala,因为kafka是scala写的 3...
Kafka学习4_Kafka创建、查看和删除Topic
进行Kafka相关操作和测试,创建的Topic越来越多,影响到了后续工作的正常进行,所以对已经创建的Topic进行管理。 创建Topic [hadoop@Slave1 bin]$ cd [hadoop@Slave1 ~]$ cd /usr/local/kafka/bin [hadoop@Slave1 bin]$ sh kafka-topics.sh --create --topic k
Kafka服务创建业务数据topic
平台完整、全面、具流程化的大数据课程。rnrn 本课程在实战中穿插理论,让学员在实战的过程中充分理解各个技术的架构原理,涉及所有实战都是老师边讲解边操作,不会忽略任何一个操作细节。rnrn 全套课程以企业真实案例项目为导向,从案例项目的业务分析、技术选型、架构设计、集群规划、安装部署、整合集成与开发及Web可视化系统交互设计等方面进行了全面的讲解与实战。
Kafka解析之topic创建(3)——合法性验证
前文摘要 在《Kafka解析之Topic创建(1)》这篇文章中,我们讲述了创建Topic的方式有两种: 如果kafka broker中的config/server.properties配置文件中配置了auto.create.topics.enable参数为true(默认值就是true),那么当生产者向一个尚未创建的topic发送消息时,会自动创建一个num.partitions(默认值为1)...
一个kafka创建topic失败的问题
关于kafka创建topic时出现 ERROR kafka.common.KafkaException: Failed to parse the broker info from zookeeper 错误的处理
创建topic——kafka源码探究之一
kafka是一款优秀的分布式消息队列,以吞吐量大,性能优秀著名。 一.相关的名词解释 broker:存储消息的物理实体,无状态,可多个扩展部署Topic:一类消息的集合Partition:一类消息的某个消息分区,一个topic有多个partition,可部署在多个broker上Replicas:备份,partition级别,单个parti...
mysql重启后报错
重启mysql服务后rn查看innodb参数 发现都不见了rn查看引擎 发现没有innodb引擎没有了rn查看Error log 如下:rnInnoDB: bounds; space id 0 page number 89977, page 121 in doublewrite buf.rnInnoDB: Warning: a page in the doublewrite buffer is not within spacernInnoDB: bounds; space id 0 page number 89978, page 122 in doublewrite buf.rnInnoDB: Warning: a page in the doublewrite buffer is not within spacernInnoDB: bounds; space id 0 page number 89979, page 123 in doublewrite buf.rnInnoDB: Warning: a page in the doublewrite buffer is not within spacernInnoDB: bounds; space id 0 page number 89980, page 124 in doublewrite buf.rnInnoDB: Warning: a page in the doublewrite buffer is not within spacernInnoDB: bounds; space id 0 page number 89981, page 125 in doublewrite buf.rnInnoDB: Warning: a page in the doublewrite buffer is not within spacernInnoDB: bounds; space id 0 page number 89982, page 126 in doublewrite buf.rnInnoDB: Warning: a page in the doublewrite buffer is not within spacernInnoDB: bounds; space id 0 page number 89983, page 127 in doublewrite buf.rnInnoDB: Error: trying to access page number 13199 in space 0,rnInnoDB: space name ./ibdata1,rnInnoDB: which is outside the tablespace bounds.rnInnoDB: Byte offset 0, len 16384, i/o type 10.rnInnoDB: If you get this error at mysqld startup, please check thatrnInnoDB: your my.cnf matches the ibdata files that you have in thernInnoDB: MySQL server.rn120920 16:41:25 InnoDB: Assertion failure in thread 3086124752 in file fil/fil0fil.c line 4123rnInnoDB: We intentionally generate a memory trap.rnInnoDB: Submit a detailed bug report to http://bugs.mysql.com.rnInnoDB: If you get repeated assertion failures or crashes, evenrnInnoDB: immediately after the mysqld startup, there may bernInnoDB: corruption in the InnoDB tablespace. Please refer tornInnoDB: http://dev.mysql.com/doc/refman/5.1/en/forcing-recovery.htmlrnInnoDB: about forcing recovery.rn120920 16:41:25 - mysqld got signal 6 ;rnThis could be because you hit a bug. It is also possible that this binaryrnor one of the libraries it was linked against is corrupt, improperly built,rnor misconfigured. This error can also be caused by malfunctioning hardware.rnWe will try our best to scrape up some info that will hopefully help diagnosernthe problem, but since we have already crashed, something is definitely wrongrnand this may fail.rnrnkey_buffer_size=8384512rnread_buffer_size=131072rnmax_used_connections=0rnmax_threads=151rnthreads_connected=0rnIt is possible that mysqld could use up tornkey_buffer_size + (read_buffer_size + sort_buffer_size)*max_threads = 337730 Krnbytes of memoryrnHope that's ok; if not, decrease some variables in the equation.rnrnthd: 0x0rnAttempting backtrace. You can use the following information to find outrnwhere mysqld died. If you see no messages after this, something wentrnterribly wrong...rnstack_bottom = (nil) thread_stack 0x30000rn/usr/local/mysql/libexec/mysqld(my_print_stacktrace+0x22) [0x839cf62]rn/usr/local/mysql/libexec/mysqld(handle_segfault+0x37f) [0x81bb54f]rn[0xb7f35400]rn/lib/libc.so.6(abort+0x101) [0x4c5e2451]rn/usr/local/mysql/lib/mysql/plugin/ha_innodb.so(fil_io+0x39c) [0xb6e6881c]rn/usr/local/mysql/lib/mysql/plugin/ha_innodb.so [0xb6e4cca4]rn/usr/local/mysql/lib/mysql/plugin/ha_innodb.so(buf_read_page+0x273) [0xb6e4d223]rn/usr/local/mysql/lib/mysql/plugin/ha_innodb.so(buf_page_get_gen+0x114) [0xb6e45994]rn/usr/local/mysql/lib/mysql/plugin/ha_innodb.so(trx_undo_lists_init+0x1b9) [0xb6eebd59]rn/usr/local/mysql/lib/mysql/plugin/ha_innodb.so [0xb6ee2db4]rn/usr/local/mysql/lib/mysql/plugin/ha_innodb.so(trx_rseg_list_and_array_init+0xa1) [0xb6ee2fe1]rn/usr/local/mysql/lib/mysql/plugin/ha_innodb.so(trx_sys_init_at_db_start+0x171) [0xb6ee3e51]rn/usr/local/mysql/lib/mysql/plugin/ha_innodb.so(innobase_start_or_create_for_mysql+0x119d) [0xb6ed53fd]rn/usr/local/mysql/lib/mysql/plugin/ha_innodb.so [0xb6eef1df]rn/usr/local/mysql/libexec/mysqld(ha_initialize_handlerton(st_plugin_int*)+0x34) [0x82b3ad4]rn/usr/local/mysql/libexec/mysqld [0x83347cf]rn/usr/local/mysql/libexec/mysqld(plugin_init(int*, char**, int)+0x836) [0x8337a36]rn/usr/local/mysql/libexec/mysqld [0x81bce73]rn/usr/local/mysql/libexec/mysqld(main+0x495) [0x81c0615]rn/lib/libc.so.6(__libc_start_main+0xdc) [0x4c5cddec]rn/usr/local/mysql/libexec/mysqld [0x80fb691]rnThe manual page at http://dev.mysql.com/doc/mysql/en/crashing.html containsrninformation that should help you find out what is causing the crash.rn120920 16:41:25 mysqld_safe mysqld from pid file /usr/local/mysql/var/mysql-test-woody.pid endedrnrn请教高人指点下rn
删除kafka topic后再重新建同名topic
首先确保 delete.topic.enable=true 第一步:bin/kafka-topics --zookeeper zookeeper集群 --delete --topic topicName 第二步:进入zookeeper命令行,删除三个目录①rmr /brokers/topics/market ②rmr /admin/delete_topics/market ③
kafka 查看topic消费
  sudo su su kafka 加证书前: cd home/kafka/software/kafka/bin ./kafka-console-consumer.sh --zookeeper localhost:2181 --topic  monitor --from-beginning 加证书后: cd home/kafka/software/kafka/ ./bin/kaf...
kafka topic迁移脚本
kafka脚本实现自动化无损热迁移topic。不用停kafka进程,不影响写入
kafka中文文档topic配置参数
      该文档对应的是 kafka安装目录/config/server.properties 文件中的topic部份的内容。由于原英文版的文档从句太多太难理解,我花了四天时间翻译了一份中文文档,希望给大家带来帮助,有问题请留言。 可能网页显示不全,请下载附件PDF。 名称 描述 类型 默认值 可用值  服务器默认属性  ...
kafka动态配置topic
 之前使用@org.springframework.kafka.annotation.KafkaListener这个注解的时候,是在yml文件中配置,然后使用@KafkaListener(topics = {&quot;${kafka.topic.a2b.name}&quot;}),这样去单独监听某一个topic,生产者也固定在代码里定义变量读取配置文件。昨天改了个需求,希望以后通过配置文件去动态配置生产者和消费者的...
Kafka的topic命名小技巧
这是一个基于互联网直播平台的企业级真实的Storm金融项目课程(涵盖技术全面 + 内容丰富),目的是通过真实项目实战让你提升项目经验,真正达到就业或者跳槽的水平。
kafka的topic小工具
kafka工具,连接之后可以查看所有主题以及分区并且也可以删除、创建,实时查看数据很方便。
kafka监控topic消费
一、KafkaOffsetMonitor监控 安装 1.wget https://github.com/quantifind/KafkaOffsetMonitor/releases/download/v0.2.1/KafkaOffsetMonitor-assembly-0.2.1.jar 2.启动 java -cp KafkaOffsetMonitor-assembly-0.2
kafka接口操作topic
翻译主要的创建参数备忘,忒TM烦人的多 import com.google.common.collect.ImmutableList; import org.apache.kafka.clients.admin.*; import org.apache.kafka.common.KafkaFuture; import org.apache.kafka.common.config.TopicConf...
kafka删除topic方法
删除kafka存储目录(server.properties文件log.dirs配置,默认为&quot;/tmp/kafka-logs&quot;)相关topic目录 删除zookeeper &quot;/brokers/topics/&quot;目录下相关topic节点   --end
Kafka删除主题topic
1.关闭所有和topic相关的生产者和消费者 2.在server.properties添加设置 kafka topic可删除 delete.topic.enable=true 3.使用命令删除 bin/kafka-topics.sh --delete --zookeeper 10.49.157.173:2181 --topic topicname ...
kafka删除topic数据
kafka删除topic数据 一、概述 生产环境中,有一个topic的数据量非常大。这些数据不是非常重要,需要定期清理。 要求:默认保持24小时,某些topic 需要保留2小时或者6小时 二、清除方式 主要有3个: 1. 基于时间 2. 基于日志大小 3. 基于日志起始偏移量 详情,请参考链接: https://b...
kafka彻底删除topic
如果只是用kafka-topics.sh的delete命令删除topic,会有两种情况: 如果当前topic没有使用过即没有传输过信息:可以彻底删除 如果当前topic有使用过即有过传输过信息:并没有真正删除topic只是把这个topic标记为删除(marked for deletion)。 要彻底把情况2中的topic删除必须把kafka中与当前topic相关的数据目录和zookeeper与...
彻底删除kafka的topic
Delete topic folder from Kafka broker machine.  利用kafka/bin/topics –delete删除  一般重启或者过段时间,kafka会自动剔出。  这里要说的是,kafka意外死亡,或者不停的更换topics,以至于不知道一些topics位于哪个broker下面,导致一些残余topics。只被标记成marked for delete。却始终删...
Kafka建立topic节点
进入kafka根目录,建立kafka topic节点id与vfdtBuildData、vfdtClassifyData、vfdtEvalData(若已建好则不必再建),具体的建立topic语句为: bin/kafka-topics.sh--create --zookeeper localhost:2181 --replication-factor 1 --partitions 1--topic
Kafka中Topic的删除
Kafka中Topic的删除   topic的删除 例子:删除testtopic          bin/kafka-topics.sh  --list  --zookeeper  localhost:2181   1.删除kafka存储目录下对应的topic(server.properties)          ls          rm  -rf test-0   ...
kafka topic 命令操作
bin/kafka-topics.sh --list --zookeeper localhost:2181(查看topic)bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topictest --from-beginning(查看topic内数据)bin/kafka-topics.sh --delete --zoo...
kafka安装及删除Topic
安装Kafka: 我们使用3台机器搭建Kafka集群: 192.168.4.142   h40 192.168.4.143   h41 192.168.4.144   h42 kafka_2.10-0.8.2.0下载地址:http://mirror.bit.edu.cn/apache/kafka/0.8.2.0/kafka_2.10-0.8.2.0.tgz 我安装的这个版本
kafka topic的相关操作
转:https://www.cnblogs.com/huxi2b/p/6592862.html Kafka官方提供了两个脚本来管理topic,包括topic的增删改查。其中kafka-topics.sh负责topic的创建与删除;kafka-configs.sh脚本负责topic的修改和查询,但很多用户都更加倾向于使用程序API的方式对topic进行操作。 上一篇文章中提到了如何使...
Kafka某topic无法消费解决方案&Kafka某Topic数据清理
由于项目原因,最近经常碰到Kafka消息队列某topic在集群宕机重启后无法消费的情况。碰到这种情况,有三步去判断原因所在: step A:如果用kafka串口(即console-consumer)是可以正常消费该topic,则排除kafka集群出现故障 step B:若平台业务能正常消费其他topic的消息,则排除平台业务代码逻辑问题 step C:不到万不得已,则只能手动删除
Servlet 创建就报错~
RT ,各位前辈,求助啊~ rn用eclipse 创建一个动态WEB工程,在SRC 下,新建一个servlet ,结果很多类都报错。是不是没有导入J2EE的库呢? 该怎么办,新手,求解啊~rn上图:rn[img=http://hiphotos.baidu.com/pinotao/pic/item/7085e74ba78d9558aec3abb7.jpg][/img]rn
kafka单机重启,topic丢失问题特别弱智的错误
因为放在了独立的zookeeper中,我却启动的是kafka自带的zookeeper1.启动kafka自带zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 2.启动独立的zookeeper 切换到zookeeper-3.4.6目录下bin/zkServer.sh start conf/zoo_sample.cfg...
Kafka 删除kafka中的topic 多种方式
最近由于项目需要需要删除 kafka 中的topic : 下面记录下删除的方式: 方式一 (我的机器不成功不知道是什么原因) 原理:通过kafka 的配置: delete.topic.enable Enables delete topic. Delete topic through the admin tool will have
【kafka系列教程30】kafka修改删除topic
You can change the configuration or partitioning of a topic using the same topic tool. 你可以使用同样的topic工具更改topic的配置和分区。 To add partitions you can do 你可以添加分区 &gt; bin/kafka-topics.sh --zookeeper z...
相关热词 c++和c#哪个就业率高 c# 批量动态创建控件 c# 模块和程序集的区别 c# gmap 截图 c# 验证码图片生成类 c# 再次尝试 连接失败 c#开发编写规范 c# 压缩图片好麻烦 c#计算数组中的平均值 c#获取路由参数