博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Storm ack和fail机制再论
阅读量:6718 次
发布时间:2019-06-25

本文共 1082 字,大约阅读时间需要 3 分钟。

之前对这个的理解有些问题,今天用到有仔细梳理了一遍,记录一下

 

首先开启storm tracker机制的前提是,

1. 在spout emit tuple的时候,要加上第3个参数messageid 

2. 在配置中acker数目至少为1 
3. 在bolt emit的时候,要加上第二个参数anchor tuple,以保持tracker链路

 

流程,

1. 当tuple具有messageid时,spout会把该tuple加到pending list里面 

   并发消息给acker,通知acker开始tracker这条tuple

2. 然后再后续的bolt的处理逻辑中,你必须显式的ack或fail所有处理的tuple 

   如果这条tuple在整个DAG图上都成功执行了,那么acker会发现该tuple的track异或值为0 
   于是acker会发ack_message给spout 
   当然如果在DAG图上任意一个节点bolt上fail,那么acker会认为该tuple fail 
   于是acker会发fail_message给spout

3. 当spout收到ack或fail message如何处理, 

    首先是从pending list里面删掉这条tuple,因为无论ack或fail,只要得到结果,这条tuple就没有继续被cache的必要了 
    然后做的事是调用spout.ack或spout.fail 
    所以系统默认是不会做任何事的,甚至是fail后的重发,你也需要在fail里面自己实现 
    如何实现后面看

4. 如果一条tuple没有被ack或fail,最终是会超时的 

    Spout会根据system tick去rotate pending list,对于每个过时的tuple,都调用spout.fail

 

下面的问题就是如何做fail重发,

这个必须用户通过自己处理fail来做,系统是不会自己做的,

public void fail(Object msgId)

看看系统提供的接口,只有msgId这个参数,这里的设计不合理,其实在系统里是有cache整个msg的,只给用户一个messageid,用户如何取得原来的msg

貌似需要自己cache,然后用这个msgId去查询,太坑爹了

阿里自己的Jstorm会提供

public interface IFailValueSpout { void fail(Object msgId, Listvalues); }

这样更合理一些, 可以直接取得系统cache的msg values

本文章摘自博客园,原文发布日期:
 
2014-06-24 

转载地址:http://bnymo.baihongyu.com/

你可能感兴趣的文章
[20170315]简单探究dg的mrp进程.txt
查看>>
JQuery+CSS3实现封装弹出登录框效果
查看>>
在Visual Studio 2017中找不到.NET Framework 4.6.2
查看>>
谈长耗时任务的优化
查看>>
rpc框架之 avro 学习 2 - 高效的序列化
查看>>
回归基础性安全防护:Equifax(艾可飞)事件前车之鉴
查看>>
【妄言之言】我的2016--困境与选择
查看>>
数据库设计---关于建表的时候选择横表和竖表(纵表)的一点思考
查看>>
微信小程序开发(3) 热门电影
查看>>
二极管与、或门,三极管非门电路原理
查看>>
美图T8s真机来了!电影人像和云端AI处理是亮点
查看>>
卑不谋尊,疏不谋戚
查看>>
Docker上的MySQL:MySQL容器的单主机网络
查看>>
阿里巴巴股价大涨市值超腾讯居亚洲第一
查看>>
360发布企业BYOD安全管理系统"360天机"
查看>>
容器网络概述
查看>>
使用C++和DirectX开发游戏GUI(三)
查看>>
我的WCF之旅(5):面向服务架构(SOA)和面向对象编程(OOP)的结合——如何实现Service Contract的重载(Overloading)...
查看>>
Mellanox:一切以数据为中心 重构网络世界
查看>>
2013年首次亮相的RoboBee,如今却能”上天入海“
查看>>