大数据架构师避而不谈的3大代码陷阱

　　去年2月份，我蹲在他们公司三楼小会议室，投影仪嗡嗡响得像台快散架的拖拉机——不是画面抖，是整个天花板在共振。客户姓陈，穿灰夹克，指甲剪得特别短，说话前总用右手拇指蹭一下下唇。他第三次说“先做出来看看”的时候，销售老张正把半块苹果卡在牙缝里没顾上拔，左手还捏着那支永远按不下去笔帽的中性笔，在本子上划拉叉叉。

　　我原以为只是个常规离线数仓搭个看板的事，结果进场第二天发现他们Hive表命名规则是“订单_2023_改了两次_重来_v3_final”。主键？没有。唯一约束？注释里写着“等业务稳定了加”。下游任务跑崩了去查血缘，dag图上飘着二十几个“临时修复脚本_勿删_删了要命”。这不是架构，是战地绷带堆成的塔。

　　第一个陷阱：把“做个淘宝那样的”当需求文档用。真有人指着淘宝首页截图说“就这个风格，但我们要卖化肥”。UI框架选React还是Vue都不问，直接让开发照着截图切div。他们那个UED同事坐我斜后方，全程没抬头，键盘敲得极轻，但我看见她收藏夹里开着五个不同年份的Ant Design官网404页面。最绝的是他们要求实时推荐——用Spark Streaming接MySQL Binlog，再把结果写回同一个库的同一张表。我提了一嘴“会不会写读冲突”，陈工摆手：“先做出来看看。” 两周后他们运维凌晨三点打电话问我“为什么所有订单号突然变成负数”，我说你查查事务隔离级别，他沉默三秒，挂了。第二天晨会没人提这事，桌上那盘砂糖橘从头到尾没人动过。

　　第二个陷阱：拒绝承认数据有质量。他们给的原始日志字段叫“user_id_new_v2_fix2024”，里面混着UUID、手机号、微信openid、空字符串、还有三次出现的“测试用户_请忽略”。ETL脚本里用正则硬砍，“去掉字母只留数字”——结果把18位身份证当手机号截断了，用户画像性别全是“未知”。我提数据探查报告，陈工翻着手机回微信，头都没抬：“现在先跑通流程，质量后面优化。” 后来他们要上线用户分群模型，用我写的清洗链路产出的特征训练，AUC掉到0.47。他们没骂模型，转头让我调参。我回了一句“您确认这数据能分群吗”，他回得飞快：“你管它能不能，先出结果。”

　　第三个陷阱：把技术债当空气，却对UI改色斤斤计较。“把按钮蓝色改成#2B579A，明天上线前要看到。” 我说改前端变量就行，五分钟后上线。他点头。两小时后邮件来了，抄送总监和财务：“本次视觉优化涉及全平台交互链路一致性校验，需同步更新中台鉴权层颜色标识模块，报价另计。” 我盯着屏幕看了十七秒。电梯里碰见他们外包测试的姑娘，她捧着纸杯咖啡问我：“你们那个化肥推荐，最后推到种草莓的用户手里没？” 我说推了。她说：“哦，我们昨天点进去，首页banner写着‘有机肥限时秒杀’，点开详情页是三年前的测土配方PDF。”

　　上个月更离谱的，是某市监局项目。客户要“对标天眼查”，预算三千块，交付周期拖了两个月，源码没拿到手，尾款没结。中间天天打电话催“搜索响应怎么还没进毫秒级”，我们说Elasticsearch集群还在冷热分离调优，对方说“淘宝都秒开，你们不行？”——后来才发现他们测试用的查询词是“北京公司”，而我们实际部署索引里连“北京市”都分词拆成了“北京/市”。可谁在乎分词呢？他们只关心“能不能搜出来”。

　　陈工原话我还记得：“技术不是拦路虎，是台阶。你要踩着它往上走，别蹲那儿数台阶几根钉子。” 我当时差点笑出声。数钉子？我们连木头是泡过水的都不知道，就被赶着上梁。结果当然是梁歪了，他们说“设计师没画准”，运维说“网络波动”，最后PM发周报写“阶段性验证成功”，底下附张首页截图，像素糊得根本看不出按钮颜色——而那天投影仪还在嗡嗡响。

　　我没亏钱，但这单活干完我删了朋友圈所有技术分享。客户满意，交付了，还夸我们响应快。可他们生产环境至今挂着我写的临时UDF，名字叫“tmp_udf_clean_phone_for_brief_demo_only”。名字是我起的，也是我签的发布单。签字时老张在旁边叹气，我说“下次合同里这条必须写死：禁止任何未建模字段参与主流程，否则清洗脚本归属甲方自维”。

文章配图，仅供参考

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!