APP推广合作
联系“鸟哥笔记小乔”
资产管理与数据分析(数据地数据资产管理,到底管什么?)
2022-11-21 21:37:39

数据地数据资产管理,到底管什么?

资产管理与数据分析(数据地数据资产管理,到底管什么?)

编辑导语:作为数据中台的重要根基,数据资产绝对值得重视。那么,如何针对数据资产进行管理?我们首先需要了解当下数据资产管理过程中面临哪些问题,并了解数据消费者的需求。本篇文章里,作者针对数据资产管理这一问题进行了总结,一起来看一下。

数据资产是数据中台的重要根基,没有资产的数据中台是无源之水,就只能叫做数据工具。在数据中台架构中,数据资产建设、管理、治理是重头戏。

那么数据资产到底该如何管理,怎样治理呢?本文主要分享资产管理模块,后期输出资产建设流程规范、资产治理相关内容。

数据资产所处数据中台中的位置

数据资产的用户场景可以概况为两类,找数据和管数据。找数据主要是数据分析、产品运营等数据消费者,基于数仓加工好的数据进行分析、应用。找数据时,主要的痛点如下:

1)数据找不到

数据生产者和消费者会存在业务上的天然屏障。对于很多一线的业务同学并不能第一时间数据的输出。例如,一个新入职的产品要做产品首页的改版,想先分析下目前页面各个流量入口的点击与转化情况,只能去问其他的PM或者去找数据同学,流量数据是哪个数据表,事件埋点规则又在哪里?

2)数据不敢用

数据处理逻辑不清楚,业务找到了订单数据在XX表中,但是对订单状态的枚举值含义不清楚,或者不知道营收的数据计算口径,不敢用,只能咨询表的负责人。

数据质量问题,搞数据的人都知道数据质量是数据团队的生命线,但是却又是无法避免的老大难问题,故障出得多了,用户拿到数据的第一反应是先和数据人员确认下,今天数据没问题吧。

管数据,主要是数据开发者,他们的目标是让自己生产的数据可以更安全地被更多人复用,在实践过程中,面临的问题主要是以下几种。

1)用户咨询多

用户用数据找不到或者找到了数据不敢用,就只能向数据负责人进行咨询,不同人的相同问题,或者不同问题。每天处理用户问题可能就要花个几个小时。

2)数据复用低

数据中台建设要解决的也是数据复用问题,对于数据工作者经常遇到做好了数据模型使用者寥寥无几的问题,有酒香但巷子深无人知晓的因素,也有部门墙、数据安全限制因素。

3)价值感知弱

数据开发者做了很多的数据模型,但不知道有多少人在使用,用到了哪里,产生了多少业务价值。数仓开发不生产数据,只是数据的搬运工,“工具人”的感受强烈。

4)问题排查路径长

用户反馈数据异常时,需要翻代码,对数据加工链路进行追根溯源,排查路径长,消耗时间久。

5)工作评估难

作为数据管理者,对于资产最关心的莫过于建设的怎么样,如何评估数据工作的成果。做了很多的数据模型,绩效就应该好吗?

数据消费端,通过数据地图寻找目标数据,进行分析或者数据应用。

1)业务场景

  • 不知道所需要的数据在哪里,“逛数据”,发现目标;
  • 知道表名或字段信息,确认数据逻辑或元数据信息。

2)用户

  • 核心用户:数据分析、数据挖掘、数据开发;
  • 重要用户:产品、运营;
  • 覆盖用户:业务开发、商务等。

3)产品诉求

  • 资产分级分类,提供简单易用的资产“地图”导航,快速找到目标表;
  • 强大的搜索功能,可以基于关键词、字段、指标搜索目标表;
  • 元数据信息完善,辅助决策,确定表是不是所需要用的,能不能用,以及逻辑说明。

数据生产者,负责数据加工处理,对数据质量、资产元数据、资产管理负责。

1)业务场景

  • 维护表元数据信息;
  • 数据资产审计,管理用户权限、使用日志;
  • 数据治理,针对数据表的使用情况,定期下线不用表或者冷数据归档;
  • 追根溯源:数据质量异常通知下游,数据问题快速排查定位问题。

2)用户

资产管理与数据分析(数据地数据资产管理,到底管什么?)

3)产品诉求

  • 元数据维护操作简单、快捷,支持批量操作;
  • 可以清楚的知道自己负责的资产元数据覆盖、用户使用情况;
  • 平台提供方便的数据追踪、溯源的功能,可以快速定位数据血缘。

评价数据资产业务价值、数据对业务支撑或赋能效率,对数据开发人员进行量化考核。并对数据资产的健康度、数据成本进行管控。

1)业务场景

  • 评价数据资产建设的到底怎么样;
  • 数据人员工作量化考核;
  • 平台健康度管控,降本增效。

2)用户

3)产品诉求

  • 能够提供资产健康度评价的全面的指标,如模型覆盖度、复用度、元数据完善度、数据质量等;
  • 资产责任人到人,可以量化考核每个数据开发者的工作数量和质量。

资产大盘按照不同角色的用户,提供从总体到部门(租户)以及个人的资产视图,主要作用是客观描述资产现状,并且以健康度评价体系,提供资产建设优化指引。主要服务于数据工作者及管理团队。例如:

  • 资产数量:资产总数、新增数量、治理数量;
  • 资源消耗:存储资源、生产消耗计算资源;
  • 健康度:元数据覆盖度100%表占比、数据质量异常数、高耗时任务及列表、跨层引用数、近90天无访问数;
  • 治理维度:治理资产数量、治理效果、待治理数量。

图:阿里数据地图

数据检索方式包括基于业务域、主题、标签等层级筛选,表中英文、字段信息搜索,以及热门推荐、个人收藏、数据专题等快捷方式。

在实际应用时,搜索功能是第一优先级的,至少要先让用户能够精准触达目标。因为业务域划分、主题标签维护很难做到没有二义性,让用户可以顺利筛选出目标数据。表的元数据信息是指可以给找数据的用户提高更加全面、准确的业务元数据、技术元数据等一系列的信息。包括:

  • 基本信息:如表中英文名称、负责人、业务描述、字段中英文、分区字段、字段处理逻辑、业务域、主题、标签层级;
  • 数据预览:提供示例数据预览功能,可以快速查看字段内容或结构;
  • 产出信息:产出时间、任务耗时及趋势、最后更新时间;
  • 数据血缘:数据表上下游,一键通知能力;
  • 数据质量:数据质量监控规则覆盖、最新监控结果是否正常;
  • 数据审计:表使用信息、变更记录。

图:阿里数据地图

资产管理主要是面向资产创建者,对所负责的资产进行业务元数据、技术元数据的维护及配置,对资产健康度负责。数据地图需要的功能包括:

  • 元数据信息维护:业务描述、字段描述、业务逻辑、审批流程配置;
  • 元数据更新:表结构变更,如字段删减、新增;
  • 批量配置:批量授权、批量修改主题、层级;权限移交、复制;
  • 数据治理流程:主要建立和数据质量监控、数据质量等平台的联动,做到跟进用户使用情况,快速跳转至治理平台,一键治理(归档、下线、删除)。

提供业务域、数据层级、主题、标签配置,以及部门(租户)公共参数配置能力,主要服务于数据仓库或数据资产管理员,负责资产层级、架构以及创建流程规范的规划。

个人资产盘点,例如有权限的资产,是否有权限即将到期,需要进行批量续期。自己负责的资产,用户权限列表、资产使用分析。

代办事项:数据资产管理要建立从上到下的管理和考核机制,否则资产创建时,为了图快不进行元数据信息维护,就必然会导致资产复用度低。资产大盘服务于资产管理者,提供不同维度的资产健康度评价指标。而个人代办则提供每个资产创建者,需要关注的优化任务,例如元数据覆盖不足100%,近XX天无访问,任务耗时长,跨层引用等等。

数据资产管理是提升企业数据复用度的重要数据产品之一,在产品规划和设计时,需要从用户需求场景以及产品目标出发,提供更快速找到数据,以及更方便维护资产信息的能力,同时,为数据工作的量化考核以及开发人员的工作改进提供指引方向。阿里Dataworks、网易猛犸、火山引擎都提供了商业化的数据地图产品解决方案可供参考。

数据干饭人,微信号公众号:数据干饭人,人人都是产品经理专栏作家。专注数据中台产品领域,覆盖开发套件,数据资产与数据治理,BI与数据可视化,精准营销平台等数据产品。擅长大数据解决方案规划与产品方案设计。

本文原创发布于人人都是产品经理,未经作者许可,禁止转载。

题图来自Unsplash,基于CC0协议

资产管理与数据分析(数据地数据资产管理,到底管什么?)
关键词
小张
分享到朋友圈
收藏
收藏
评分
评论

综合评分:

我的评分

参与评论(0)

社区交流公约

暂无评论,快来抢沙发吧~
登录后参与评论
发布评论
鸟哥笔记用户社区交流公约

Xinstall 15天会员特权
Xinstall是专业的数据分析服务商,帮企业追踪渠道安装来源、裂变拉新统计、广告流量指导等,广泛应用于广告效果统计、APP地推与CPS/CPA归属统计等方面。
20羽毛
立即兑换
超级nice便签砖
超级超级超级奈斯!
1000羽毛
立即兑换
【新品】办公/外出两用静音充电小电扇
办公桌必备小电扇!
2000羽毛
立即兑换
小张
小张
发表文章1003
确认要消耗 羽毛购买
资产管理与数据分析(数据地数据资产管理,到底管什么?)吗?
考虑一下
很遗憾,羽毛不足
我知道了

我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容,同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。


一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规,对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息,主要表现为:
    1)反对宪法所确定的基本原则;
    2)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一,损害国家荣誉和利益;
    3)侮辱、滥用英烈形象,歪曲、丑化、亵渎、否定英雄烈士事迹和精神,以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉;
    4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动;
    5)煽动民族仇恨、民族歧视,破坏民族团结;
    6)破坏国家宗教政策,宣扬邪教和封建迷信;
    7)散布谣言,扰乱社会秩序,破坏社会稳定;
    8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪;
    9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;
    10)侮辱或者诽谤他人,侵害他人名誉、隐私和其他合法权益;
    11)通过网络以文字、图片、音视频等形式,对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法规禁止的其他内容;


2. 不友善:不尊重用户及其所贡献内容的信息或行为。主要表现为:
    1)轻蔑:贬低、轻视他人及其劳动成果;
    2)诽谤:捏造、散布虚假事实,损害他人名誉;
    3)嘲讽:以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述,以此来激怒他人;
    4)挑衅:以不友好的方式激怒他人,意图使对方对自己的言论作出回应,蓄意制造事端;
    5)羞辱:贬低他人的能力、行为、生理或身份特征,让对方难堪;
    6)谩骂:以不文明的语言对他人进行负面评价;
    7)歧视:煽动人群歧视、地域歧视等,针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击;
    8)威胁:许诺以不良的后果来迫使他人服从自己的意志;


3. 发布垃圾广告信息:以推广曝光为目的,发布影响用户体验、扰乱本网站秩序的内容,或进行相关行为。主要表现为:
    1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式:
    2)单个帐号多次发布包含垃圾广告的内容;
    3)多个广告帐号互相配合发布、传播包含垃圾广告的内容;
    4)多次发布包含欺骗性外链的内容,如未注明的淘宝客链接、跳转网站等,诱骗用户点击链接
    5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光;
    6)购买或出售帐号之间虚假地互动,发布干扰网站秩序的推广内容及相关交易。
    7)发布包含欺骗性的恶意营销内容,如通过伪造经历、冒充他人等方式进行恶意营销;
    8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。


4. 色情低俗信息,主要表现为:
    1)包含自己或他人性经验的细节描述或露骨的感受描述;
    2)涉及色情段子、两性笑话的低俗内容;
    3)配图、头图中包含庸俗或挑逗性图片的内容;
    4)带有性暗示、性挑逗等易使人产生性联想;
    5)展现血腥、惊悚、残忍等致人身心不适;
    6)炒作绯闻、丑闻、劣迹等;
    7)宣扬低俗、庸俗、媚俗内容。


5. 不实信息,主要表现为:
    1)可能存在事实性错误或者造谣等内容;
    2)存在事实夸大、伪造虚假经历等误导他人的内容;
    3)伪造身份、冒充他人,通过头像、用户名等个人信息暗示自己具有特定身份,或与特定机构或个人存在关联。


6. 传播封建迷信,主要表现为:
    1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病;
    2)求推荐算命看相大师;
    3)针对具体风水等问题进行求助或咨询;
    4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失,包括通过占卜方法问婚姻、前程、运势,东西宠物丢了能不能找回、取名改名等;


7. 文章标题党,主要表现为:
    1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户;
    2)内容与标题之间存在严重不实或者原意扭曲;
    3)使用夸张标题,内容与标题严重不符的。


8.「饭圈」乱象行为,主要表现为:
    1)诱导未成年人应援集资、高额消费、投票打榜
    2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
    3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
    4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
    5)通过「蹭热点」、制造话题等形式干扰舆论,影响传播秩序


9. 其他危害行为或内容,主要表现为:
    1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的;
    2)不当评述自然灾害、重大事故等灾难的;
    3)美化、粉饰侵略战争行为的;
    4)法律、行政法规禁止,或可能对网络生态造成不良影响的其他内容。


二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时,本网站将依据相关用户违规情节严重程度,对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号,或者滥用多个帐号发布违规内容时,本网站将加重处罚。


三、申诉
随着平台管理经验的不断丰富,本网站出于维护本网站氛围和秩序的目的,将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议,可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)

我知道了
恭喜你~答对了
+5羽毛
下一次认真读哦
成功推荐给其他人
+ 10羽毛
评论成功且进入审核!审核通过后,您将获得10羽毛的奖励。分享本文章给好友阅读最高再得15羽毛~
(羽毛可至 "羽毛精选" 兑换礼品)
好友微信扫一扫
复制链接