很可惜 T 。T 您现在还不是作者身份，不能自主发稿哦～
如有投稿需求，请把文章发送到邮箱tougao@appcpx.com，一经录用会有专人和您联系
咨询如何成为春羽作者请联系：鸟哥笔记小羽毛（ngbjxym）
这是我的第75篇原创
这算是今年参加的第二场线下活动。最近活动略密集啊，之前报名的三个活动全赶一块了，只好选择最感兴趣的贝壳来看看。贝壳总算没有让我失望，全部都是我喜欢的内容。贝壳CTO线也是把家底都抖搂出来了，5位负责人分别分享了大数据平台、OLAP平台、DMP平台、推荐平台和算法中台的架构演进之路。
全程干货满满，收获颇丰。其中很多经验，对于从0开始的公司来说，非常有借鉴意义。
今天给大家搬运一下《贝壳一站式大数据开发平台实践》，文末有ppt下载。由于本人拍照技术渣，没法解决大屏荧光的问题，所以图片不太好看，还请见谅。
先把大数据开发平台实践的分享人贴出来镇楼。
贝壳的大数据平台主要的数据源可以分为三类：
人：卖家（业主）、买家（买房的、租房的）、经纪人；
物：楼盘字典，之前我分享的文章里介绍过（文末有链接），贝壳08年就弄了一个团队专门整楼盘主数据，建了一个2亿套房子的楼盘字典，给每套房子都编了唯一的ID，这不就是数据中台的ONE ID么
；
行为：线上浏览行为、线下沟通、看房、谈判等各种行为。
对于大数据平台来说，最重要的能力就是低成本、快速、准确的为各个部门提供各种形式的数据。但是如同每个公司一样，贝壳也是不断演进的。
其实这也符合架构的原理：够用就行，适度超前。毕竟满足业务需求是第一要务，跟产品的MVP（最小可行产品，Minimum Viable Product）原则一致。现在很多公司搞大数据的套路是先找一个总监，总监再找一个架构师，然后瞅准最先进的数据中台搞。这种公司各位最好有多远躲多远。
西门吹税同学，祝好！
贝壳最早的大数据开发平台，非常的简单粗暴。经典的Kafka+Sqoop+HDFS+Hive，任务调度用Ooize，处理完之后的数据放在MySQL中，报表平台直接读取MySQL的数据做展示。
大家不要觉得这个很Low，其实这套架构足够一个中小型公司用好久好久了。基本上招一个中级大数据工程师，带俩初级工程师，加一个报表工程师，能抗很久。
贝壳的同学很实在，把每个架构的优缺点都罗列出来了，我就不赘述了。
架构的演进要么是有高手前瞻性的规划，要么就是痛苦到被迫改进。我认为贝壳两方面的因素都有，判断有高手的原因是贝壳这次的5个负责人分享的时候都共同提到了架构的核心思想，所以他们内部应该有比较好的技术分享氛围和合作基础；判断被迫改进的原因是贝壳发展太快了，即便是有链家的基础，对于**而来的复杂业务和海量需求，应该也是非常痛苦的。
从这一版的大数据架构可以看到，整体是按照lambda的框架进行搭建的。增加了实时处理部分，用Storm、SparkStreaming处理后直接丢给Hbase，用API对外提供实时数据服务。
对比上一版，这边对数据处理这边做了很多改进，建了数仓和即时查询引擎，加了数据产品对外提供自助式查询和分析的服务。不过这ROLAP没太看明白，直接用MySQL+Rest API？这效率没法看了吧？
MOLAP主要用的是Kylin，后面的OLAP平台会仔细讲，贝壳是Kylin的深度用户。
这个架构看起来是不是就有数据中台的意思了？值得注意的是，贝壳也开始尝试TiDB了，这应该也是大趋势。数据接入方面，开始用阿里的dataX、DataBus等产品，可视化那边自建了一个奥丁，数据开放也增加了数据交换和数据订阅，管理层面增加了元数据管理、数据质量和数据权限。基本上数据中台的基础层面就已经比较完善了。所以在这一版中，大量的增加了可视化编程工具，简化开发流程；增加了大量的管理工具和自动化运维工具，进行了数据标准化和质量管控，对外开放了大量的数据，实现了数据资产盘活。
数据管理没啥好说的，谁家的都一样。不过我对贝壳的房源主数据-楼盘字典是真的很感兴趣，这个绝对是大杀器。现场提了一个关于楼盘字典融合的问题，可惜宗强不是这个组的，没详细解答。
早期的数据集成都是特别粗暴的Sqoop和kafka任务，那玩意谁用谁知道，维护简直是要了亲命了。现在改用DataX、DataBus等工具，效率杠杠的。不过介绍这张片子的时候，宗强说他们能自动接入新库和新表，数据结构变化也能自动同步。这点就有意思了，技术上好处理，先读一下业务库的数据结构就行了。但是在跟业务开发那边怎么协同的呢？自动同步数据结构，不会导致数仓后续任务出问题么？所以我认为应该是监控数据结构发生变化，如果不会对后续任务产生影响，比如增加字段，则继续进行，如果是字段发生变化，应该会停任务，报警。另外，业务开发那边应该还有其他的数据库结构变更上线的审批和通知，提前告知结构较大变动的情况。
贝壳的哥们是真猛，把内部系统都截图出来了（ppt里有更多截图，在这里我就不放那么多了）数据产品经理可以抄一下作业哈（抄其他数据中台产品的作业更完整
）。作业调度这边，为了保证任务的健壮性，这边设置了几道防线：sql执行测试、数据准确性测试和最终的上线。
这边的数据质量基本上也是通过完善开发流程、完善任务监控体系和事后的数据质量监控来完成的。这部分略显薄弱，缺少数据质量分析、评估、验证和数据质量问题管理。我估摸着这边还是以先满足业务需求为准吧，反正数据错了有人会找上门来的
。
最后是数据开放。贝壳的几位同事都共同提到一句话：数据的价值再大，不对外开放，那就是垃圾，我表示非常认同。数据放在那里就是成本，开放、共享出去才有价值。后面的OLAP平台、DMP平台、推荐平台、算法中台都是从大数据平台这边获取的数据，贝壳的app也大量从大数据平台这边获取各种数据。
不过我发现大数据平台数据中间层用的是mysql、Hbase和clickhouse，貌似没用ES，不知道是处于什么考虑。
嗯，贝壳大数据平台的架构发展路径非常值得借鉴，活生生的案例啊！真的是非常感谢贝壳CTO线的大佬们
，希望以后能多来几次。另外，茶歇的蛋糕也很好吃O(∩_∩)O哈哈~
另外，我把内容整理成PPT，后台回复“贝壳大数据”即可获得下载链接。
配合以下文章享受更佳
本文为作者独立观点，不代表鸟哥笔记立场，未经允许不得转载。
《鸟哥笔记版权及免责申明》 如对文章、图片、字体等版权有疑问，请点击 反馈举报
Powered by QINGMOB PTE. LTD. © 2010-2022 上海青墨信息科技有限公司 沪ICP备2021034055号-6
我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求，为完善跟帖评论自律管理，为了保护用户创造的内容、维护开放、真实、专业的平台氛围，我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容，同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。
一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规，对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息，主要表现为：
1)反对宪法所确定的基本原则；
2)危害国家安全，泄露国家秘密，颠覆国家政权，破坏国家统一，损害国家荣誉和利益；
3)侮辱、滥用英烈形象，歪曲、丑化、亵渎、否定英雄烈士事迹和精神，以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉；
4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动；
5)煽动民族仇恨、民族歧视，破坏民族团结；
6)破坏国家宗教政策，宣扬邪教和封建迷信；
7)散布谣言，扰乱社会秩序，破坏社会稳定；
8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪；
9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序；
10)侮辱或者诽谤他人，侵害他人名誉、隐私和其他合法权益；
11)通过网络以文字、图片、音视频等形式，对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法规禁止的其他内容；
2. 不友善：不尊重用户及其所贡献内容的信息或行为。主要表现为：
1)轻蔑：贬低、轻视他人及其劳动成果；
2)诽谤：捏造、散布虚假事实，损害他人名誉；
3)嘲讽：以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述，以此来激怒他人；
4)挑衅：以不友好的方式激怒他人，意图使对方对自己的言论作出回应，蓄意制造事端；
5)羞辱：贬低他人的能力、行为、生理或身份特征，让对方难堪；
6)谩骂：以不文明的语言对他人进行负面评价；
7)歧视：煽动人群歧视、地域歧视等，针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击；
8)威胁：许诺以不良的后果来迫使他人服从自己的意志；
3. 发布垃圾广告信息：以推广曝光为目的，发布影响用户体验、扰乱本网站秩序的内容，或进行相关行为。主要表现为：
1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式：
2)单个帐号多次发布包含垃圾广告的内容；
3)多个广告帐号互相配合发布、传播包含垃圾广告的内容；
4)多次发布包含欺骗性外链的内容，如未注明的淘宝客链接、跳转网站等，诱骗用户点击链接
5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光；
6)购买或出售帐号之间虚假地互动，发布干扰网站秩序的推广内容及相关交易。
7)发布包含欺骗性的恶意营销内容，如通过伪造经历、冒充他人等方式进行恶意营销；
8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。
4. 色情低俗信息，主要表现为：
1)包含自己或他人性经验的细节描述或露骨的感受描述；
2)涉及色情段子、两性笑话的低俗内容；
3)配图、头图中包含庸俗或挑逗性图片的内容；
4)带有性暗示、性挑逗等易使人产生性联想；
5)展现血腥、惊悚、残忍等致人身心不适；
6)炒作绯闻、丑闻、劣迹等；
7)宣扬低俗、庸俗、媚俗内容。
5. 不实信息，主要表现为：
1)可能存在事实性错误或者造谣等内容；
2)存在事实夸大、伪造虚假经历等误导他人的内容；
3)伪造身份、冒充他人，通过头像、用户名等个人信息暗示自己具有特定身份，或与特定机构或个人存在关联。
6. 传播封建迷信，主要表现为：
1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病；
2)求推荐算命看相大师；
3)针对具体风水等问题进行求助或咨询；
4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失，包括通过占卜方法问婚姻、前程、运势，东西宠物丢了能不能找回、取名改名等；
7. 文章标题党，主要表现为：
1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户；
2)内容与标题之间存在严重不实或者原意扭曲；
3)使用夸张标题，内容与标题严重不符的。
8.「饭圈」乱象行为，主要表现为：
1)诱导未成年人应援集资、高额消费、投票打榜
2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
5)通过「蹭热点」、制造话题等形式干扰舆论，影响传播秩序
9. 其他危害行为或内容，主要表现为：
1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的；
2)不当评述自然灾害、重大事故等灾难的；
3)美化、粉饰侵略战争行为的；
4)法律、行政法规禁止，或可能对网络生态造成不良影响的其他内容。
二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时，本网站将依据相关用户违规情节严重程度，对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号，或者滥用多个帐号发布违规内容时，本网站将加重处罚。
三、申诉
随着平台管理经验的不断丰富，本网站出于维护本网站氛围和秩序的目的，将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议，可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)