很可惜 T 。T 您现在还不是作者身份，不能自主发稿哦～
如有投稿需求，请把文章发送到邮箱tougao@appcpx.com，一经录用会有专人和您联系
咨询如何成为春羽作者请联系：鸟哥笔记小羽毛（ngbjxym）
昨天群里突然有人问了一个这个问题：
我最早听说 ELT 的时候也楞了一下，只不过简单琢磨了一下就放下了。今天重新听到，其实也没啥感觉。
反正有人也给出了最言简意赅的解释：
然后就有人蒙圈了啊！这都行？
还有人猜：
额。。。其实吧， ETL 和 ELT 还真的只是顺序不一样。
ETL 是Extract（抽取）、Transform（转换）、Load（加载）；
ELT 是Extract（抽取）、Load（加载）、Transform（转换）。
你是不是会感觉这帮搞数仓的整天就知道装神弄鬼，整点新词儿忽悠人！
额...你要是这么想，那可就小看了我们数仓人了，小看了架构这件事情了。来，我今天就给你细细的讲一讲 ETL 和 ELT 到底是咋回事。
你可以瞧不起我，但是你不能瞧不起我的专业！
老数仓人做项目，都是一板一眼，很有章法的。
我们一般会先从业务系统开始调研，摸清楚所有数据来源的数据结构。
同时会去了解业务流程，看看业务到底是怎么运转的，系统又是怎么留痕的，这样两下验证，逻辑上就通了。
其实到这一步，我们就能知道很多信息了，经验丰富的人基本上已经在脑子里猜到用户的需求，开始设计报表了。
那下一步自然是去获取用户需求，规划上面的即席查询、多维分析、固定报表、仪表盘啥的数据应用了。
然后就是各种的分主题域、分层、逻辑模型咔咔一顿操作猛如虎。
如果您还有印象，应该记得我之前写过数仓建设步骤：
注意看上图最后一个步骤“物理建模”，从这时候起，我们才真正开始大规模的在数据仓库中建表，也就是落地执行了。
再往后呢？就是 ETL 了，从业务系统搬数据到ODS（Extract抽取），然后像流水线一样，处理一个环节（Transform转换），再放到一个框里（Load加载），再处理一个环节，再放到一个框里（数仓某一层）。
这就是DWD、DWB、DWS、DM等数仓各层的建设，就这样一层层的先处理数据，再加载到本层数仓，然后下一层再处理数据，再加载到过去。
所以，整个数据处理和流转的过程就是 ETL ，也就是先Extract（抽取），再Transform（转换），最后Load（加载）了。
流水线最大的好处是在固定的处理环节前提下，建设效率最快，成本最优，建好之后基本上只需要维护就行了。
我有几个朋友是普通公司数据负责人，数据建设工作结束后，整个团队很轻松。每天基本上就是看看任务有没有问题，处理一些简单的报表维护工作。
想必你也看出来了， ETL 非常适应需求比较清晰、业务比较固定的场景。
但是，为啥又出来一个 ELT ？？？
很简单，因为大清亡了啊！
ETL 很好用，自动处理所有数据，把数据规规整整的码放在数据仓库里供各方调取。
ETL 也很简单，基本上都是可视化、低代码的形式，设计好流程就行了。
ETL 的成本很低，一次性建设，之后就不用重复投入，只需要每天看看跑批任务有没有问题就行了。所以很多人的重点工作都是运维。
但是 ETL 也有非常致命的缺点：流程太长、太笨重、时间太长，改起来成本太高了！！！
反正我是不想改别人做的 ETL 的，太痛苦了。我甚至连自己写的都不想动。因为 ETL 程序通常是把 E 和 L 放在一起做，这就导致单个程序中的逻辑经常非常非常复杂的。
先给你来一个简单的：
Dolphin Schedul 的代立冬代总还给了我一个文艺一些的：
是不是挺复杂的？这还不算啥，我再给你看一个复杂的：
好像没啥是吧？还没上面一张图里的节点多是吧？其实这是因为一张图根本放不下！
提供这张图的兄弟“跨越新生”告诉我，这一共 1100 多个节点！他亲手设计的！
不过我就想问问他，现在敢动不敢动！敢不敢？嘿嘿~~~
他不敢啊！所以他最怕什么？最怕改需求，最怕改业务库！
如果业务或者底层数据要动一下， ETL 流程就要随之进行调整。简单的逻辑还好处理，一旦遇到“跨越新生”兄弟的这个局面，别的不说，光找节点就得找死人啊！
所以， ETL 开发很简单，但是维护成本奇高无比！复杂度奇高无比！工作难度奇高无比！
业务的频繁变化，再加上 ETL 的时间成本和吞吐量限制（堵塞），所以导致 ETL 这种数据加工的方式不能满足于现在的企业发展需要啊。
那咋办？
当然是改变了！
但是，咋变？
诶，有聪明的兄弟就说了，把 ETL 变成 ELT 啊！
对，但是没说到点子上。
并不是单纯的把流程倒置这么简单的，咱还得回到 ETL 问题的根本。
ETL 之所以这么复杂，是因为 Transform （转换）和 Load （加载）两个环节耦合过紧导致的。
我们用最朴素的架构思维想一下就明白了，让复杂的事情变简单，最简单的方式是啥？
“拆”字诀！
把 Transform （转换）和 Load （加载）哥俩拆开了就行了，这样处理数据的部分就专心计算就行了，搬运数据的部分就专心搬运就好了，别混在一起四脚八叉的。
所以， ETL 工具就变成了搬运组件、计算引擎和调度引擎。
搬运组件专门负责搬运数据，不做任何数据处理的操作；
计算引擎专门负责进行数据处理，其他事情跟我没关系；
调度引擎专门负责做流程编排，其他事情也跟我没关系。
有哥们会问， ETL 工具跑哪里去了？是这样的，我们需要把 ETL 和 ETL 工具分开哈。这里的 ETL 特指数据处理流程。
在上面的步骤中，也是可以用 ETL 工具代替的。毕竟 ETL 工具全能嘛，这三件事情都是能做的哈。
既然是整个工作流都拆开了，那流程也自然就有变化了。第一步没啥变化，但是之后的事情就不太一样了，整体就变成这个德行：
需要注意的是：上面这个架构只是示意哈，里面的所有具体的组件都是可以换的。
比如说抽取这个动作，你可以用 ETL 工具，可以用 Kafka，这种神奇的东西最大的好处就是吞吐量极大，任你来多少数据都能吃的下。
ODS 可以是数仓的 ODS，也可以是数据湖，奇葩一些用 Kafka 也没问题，别重复了就行。
加载这个动作也可以用 Kafka 或者啥 ETL 工具都行；
计算引擎你用 Spark 还是 Flink 还是 MR 都随意，反正只要能跑任务就行，最后直接输出到 HBase 也行，扔到 Kafka 或者 Redis 都可以。
你现在再看看对比一下两张图就会发现为啥是 ETL 和 ELT 了。
那 ELT 有啥好处呢？
最底层的改变是E、T、L彻底的解耦了。解耦之后好处多多，比如突破性能瓶颈、程序简化、组件替换、维护成本降低等等。
不过最重要的还是解耦导致的极致的灵活，可以适应当前复杂多变的市场环境。
因为在复杂多变的环境下， ETL 这种传统的数据处理套路是极度不适应的。
等你慢慢分主题域、抽取实体、建好模型、写各种代码、各种调试，好不容易出一张报表的时候，业务过来跟你说：哥，咱的打法变了，APP 都迭代了 3 轮了，这是新需求。你上哪哭去？
所以现在很多大厂的新业务中，都在弱化建模，强化效率，用的其实就是 ELT 的逻辑。
数据直接入湖，然后写个脚本扔 Spark 里跑，直接拖张宽表扔库里，然后怼到一个报表展示工具完事了。
这又不得不提到那个百度的小伙伴在脉脉上提的问题：
其实，哥们就是在 ELT ，而不是在 ETL 啊。因为ETL得建模，ELT就能灵活到直接拖个宽表完事的地步。
时代一直在变，技术也是在不停的变。我们需要做的事情是持续学习，不断精进，深度思考。关注我，我们携手同行！
感谢阅读，本次分享的内容就结束了。也欢迎大家加我微信，咱俩私聊啊
推荐阅读：
更多精彩：
本文为作者独立观点，不代表鸟哥笔记立场，未经允许不得转载。
《鸟哥笔记版权及免责申明》 如对文章、图片、字体等版权有疑问，请点击 反馈举报
Powered by QINGMOB PTE. LTD. © 2010-2022 上海青墨信息科技有限公司 沪ICP备2021034055号-6
我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求，为完善跟帖评论自律管理，为了保护用户创造的内容、维护开放、真实、专业的平台氛围，我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容，同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。
一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规，对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息，主要表现为：
1)反对宪法所确定的基本原则；
2)危害国家安全，泄露国家秘密，颠覆国家政权，破坏国家统一，损害国家荣誉和利益；
3)侮辱、滥用英烈形象，歪曲、丑化、亵渎、否定英雄烈士事迹和精神，以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉；
4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动；
5)煽动民族仇恨、民族歧视，破坏民族团结；
6)破坏国家宗教政策，宣扬邪教和封建迷信；
7)散布谣言，扰乱社会秩序，破坏社会稳定；
8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪；
9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序；
10)侮辱或者诽谤他人，侵害他人名誉、隐私和其他合法权益；
11)通过网络以文字、图片、音视频等形式，对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法规禁止的其他内容；
2. 不友善：不尊重用户及其所贡献内容的信息或行为。主要表现为：
1)轻蔑：贬低、轻视他人及其劳动成果；
2)诽谤：捏造、散布虚假事实，损害他人名誉；
3)嘲讽：以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述，以此来激怒他人；
4)挑衅：以不友好的方式激怒他人，意图使对方对自己的言论作出回应，蓄意制造事端；
5)羞辱：贬低他人的能力、行为、生理或身份特征，让对方难堪；
6)谩骂：以不文明的语言对他人进行负面评价；
7)歧视：煽动人群歧视、地域歧视等，针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击；
8)威胁：许诺以不良的后果来迫使他人服从自己的意志；
3. 发布垃圾广告信息：以推广曝光为目的，发布影响用户体验、扰乱本网站秩序的内容，或进行相关行为。主要表现为：
1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式：
2)单个帐号多次发布包含垃圾广告的内容；
3)多个广告帐号互相配合发布、传播包含垃圾广告的内容；
4)多次发布包含欺骗性外链的内容，如未注明的淘宝客链接、跳转网站等，诱骗用户点击链接
5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光；
6)购买或出售帐号之间虚假地互动，发布干扰网站秩序的推广内容及相关交易。
7)发布包含欺骗性的恶意营销内容，如通过伪造经历、冒充他人等方式进行恶意营销；
8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。
4. 色情低俗信息，主要表现为：
1)包含自己或他人性经验的细节描述或露骨的感受描述；
2)涉及色情段子、两性笑话的低俗内容；
3)配图、头图中包含庸俗或挑逗性图片的内容；
4)带有性暗示、性挑逗等易使人产生性联想；
5)展现血腥、惊悚、残忍等致人身心不适；
6)炒作绯闻、丑闻、劣迹等；
7)宣扬低俗、庸俗、媚俗内容。
5. 不实信息，主要表现为：
1)可能存在事实性错误或者造谣等内容；
2)存在事实夸大、伪造虚假经历等误导他人的内容；
3)伪造身份、冒充他人，通过头像、用户名等个人信息暗示自己具有特定身份，或与特定机构或个人存在关联。
6. 传播封建迷信，主要表现为：
1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病；
2)求推荐算命看相大师；
3)针对具体风水等问题进行求助或咨询；
4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失，包括通过占卜方法问婚姻、前程、运势，东西宠物丢了能不能找回、取名改名等；
7. 文章标题党，主要表现为：
1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户；
2)内容与标题之间存在严重不实或者原意扭曲；
3)使用夸张标题，内容与标题严重不符的。
8.「饭圈」乱象行为，主要表现为：
1)诱导未成年人应援集资、高额消费、投票打榜
2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
5)通过「蹭热点」、制造话题等形式干扰舆论，影响传播秩序
9. 其他危害行为或内容，主要表现为：
1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的；
2)不当评述自然灾害、重大事故等灾难的；
3)美化、粉饰侵略战争行为的；
4)法律、行政法规禁止，或可能对网络生态造成不良影响的其他内容。
二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时，本网站将依据相关用户违规情节严重程度，对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号，或者滥用多个帐号发布违规内容时，本网站将加重处罚。
三、申诉
随着平台管理经验的不断丰富，本网站出于维护本网站氛围和秩序的目的，将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议，可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)