大数据架构师必懂的5大实时计算技术要点

　　去年三月份，甲方在国贸三期那间玻璃幕墙会议室里，把“做个淘宝那样的”写在白板上，笔尖顿了顿，补了句：“预算三千。”我盯着他转笔的手——转得特别匀速，像秒针卡了油，一下、两下、三下……笔帽磕在玻璃白板边沿，咔、咔、咔。投影机在头顶嗡嗡响，声音不歇，但画面始终没出来，只有灰影子在墙上浮动。

　　销售小张坐我左边，手指头在iPad上划拉合同附件第十七页，反复放大又缩小，嘴上还说“技术没问题的王工您放心”，而右边那个穿灰卫衣的乙方PM，正偷偷用手机拍白板上的“淘宝那样的”五个字，摄像头对焦三次才按快门。我原以为他们至少会问一句“搜索延时要压到多少毫秒”，结果那人掏出一串葡萄干，剥开一颗塞进嘴里，说：“先做出来看看。”

　　呵。“先做出来看看”——这话我听出茧子了。真当Flink作业跑起来就等于流式计算落地？Kafka分区配错、Watermark设成固定值、状态后端混用RocksDB和内存、CheckPoint超时硬切、窗口乱序数据直接丢弃……这些不是黑箱里自己蹦出来的，是每行代码、每次重启、每张堆栈日志里长出来的。可人家觉得，只要大屏上数字跳得欢，就算实时。我昨天改完一个颜色，甲方微信回我：“蓝色偏紫，重出三版，今天下班前。”我回一条微信：先确认RGB值；点发送；发现错别字删掉重打；再粘贴发出去——这三步之间，他电话已经打进来了。

　　水果盘搁在会议桌角，一整个火龙果，切得齐整，没人动过，红肉上蒙了层薄雾似的水汽。电梯里撞见前一个客户的法务，他看见我就叹气，说他们家“包排名”那条，后来硬是把搜索排序算法抠走，拿去给自家导购APP用了三个月，连个招呼都不打。我那时还没懂，“包排名”根本不是工程问题，是赌局签单时埋的坑。这回更绝，上线那天客户登录后台，翻两页就说：“我要源码。”我说：“合同里没约定交付源码。”他说：“你不说清楚，我以为默认包含。”——可合同附件里写了“部署包+基础配置文档”，白纸黑字。我盯着他说话时喉结上下动了三下，没接话。

　　五大要点？我倒数给你听：第一，状态一致性不能靠“看起来没丢”；第二，乱序处理不是调大allowedLateness就行；第三，Exactly-once不是勾个框就能自动生效；第四，资源水位必须跟着业务峰谷走，不是永远扛着八核十六G；第五，监控指标得能反推故障链路，不是只亮个红灯等人工查日志。这五条哪条离得开压测？离得开灰度切流？离得开半夜看Checkpoint失败报警？结果呢？甲方提需求的时候，连Watermark是啥都不知道，上来就要“支持双11流量”。我苦笑一声，手没抬，鼠标移向关机键——他还在讲：“加个功能，用户停留时间实时统计，明天晨会我们对下口径。”

　　我原以为这次能守住边界。结果连测试环境都没配完，客户就催着上预发。运维那边报了个错：Flink任务重启27次，最后挂死在RocksDB的JNI加载失败。我蹲在机房门口打电话，对面说“要不换个引擎试试”，我说“换啥？Spark Streaming？”他愣住，然后说：“对啊，听说它稳定……”我挂了。回到工位，看到桌上那盘火龙果，果肉已经微微发褐。桌上还有张纸条，是销售小张写的：“王工，甲方说加功能不算变更，按原价。”

　　哦对，尾款没结。拖了两个月。上周法务部邮件抄送我，开头是“关于贵司未按约交付完整交付物……”我没看完。反正上次更离谱的是通州那个做社区团购的，合同里写着“支持万级并发”，结果上线首周峰值一千二，他们还嫌慢，非说我架构没水平，后来查出来是nginx配错了keepalive_timeout，但他们拒绝付排查费。我坐在那儿想，这行当早就不是比谁技术好，是比谁敢在验收报告上签字、谁肯陪甲方演满三年售后幻觉。优胜劣汰？淘汰的从来不是技术差的，是不好意思撕破脸的。

文章配图，仅供参考

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!