小鱼-简简单单 2016-05-05 03:49
浏览 4084

strom+kafka,strom会一直重复解析同条数据,有时解析不到数据

protected StormTopology buildTopology() {

// ConsumerConfig.

    ZkHosts zkHosts = new ZkHosts(brokerZkStr, brokerZkPath);

// storm.kafka.KafkaSpout

    TridentTopology tridentTopology = new TridentTopology();
    TridentKafkaConfig spoutConf = new TridentKafkaConfig(zkHosts, topic);
    spoutConf.forceFromStart = true;// 和startOffsetTime,一起用,默认情况下,为false,一旦startOffsetTime被设置,就要置为true
    spoutConf.startOffsetTime = -1L;// -2 从kafka头开始 -1 是从最新的开始 0 =无 从ZK开始
    spoutConf.scheme = new SchemeAsMultiScheme(new StringScheme());

// OpaqueTridentKafkaSpout opaqueTridentKafkaSpout = new OpaqueTridentKafkaSpout(spoutConf);

    TransactionalTridentKafkaSpout opaqueTridentKafkaSpout = new TransactionalTridentKafkaSpout(spoutConf);

    Stream opTrdtSptStream = tridentTopology.newStream("opTrdtSptStream", opaqueTridentKafkaSpout);
    opTrdtSptStream.shuffle().each(new Fields("str"), new Utils.FilterLogInfo()).each(new Fields("str"), new
            LogFilterUtil(), new Fields("analyzeResult")).each(new Fields("analyzeResult"),new PropertyAnalyzeUtils
            (),new Fields("autoItem")).each(new Fields("autoItem"), new AnsjIllegalWordsUtil
                    (), new Fields("ansjIllegalWordsResult")).each(new Fields("ansjIllegalWordsResult"), new
            AnsjKeyWordsUtil(), new Fields("ansjKeyWordsResult")).each(new Fields("ansjKeyWordsResult"), new
            AnsjPicturesUtil(), new Fields("ansjPicturesResult"));
    return tridentTopology.build();
}
  • 写回答

0条回答

    报告相同问题?

    悬赏问题

    • ¥15 求差集那个函数有问题,有无佬可以解决
    • ¥15 【提问】基于Invest的水源涵养
    • ¥20 微信网友居然可以通过vx号找到我绑的手机号
    • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
    • ¥15 解riccati方程组
    • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
    • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
    • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
    • ¥50 树莓派安卓APK系统签名
    • ¥65 汇编语言除法溢出问题