APP推广合作
联系“鸟哥笔记小乔”
什么是数据运营商(电信运营商的数据资产综述:数据、内联及外延)
2022-11-14 22:11:50

电信运营商的数据资产综述:数据、内联及外延

什么是数据运营商(电信运营商的数据资产综述:数据、内联及外延)
  摘要

  围绕电信运营商移动网络的数据资产进行梳理,同时讨论典型数据之间的内在血缘及联系,并制定出一种数据融合方案,进而研究数据应用的场景化驱动,给出了一种场景化应用的数据视图构建方法,并提出了基于场景化驱动的知识图谱构建方法,最后探讨了几种典型的数据外延性应用模式,为5G智能化时代的大数据应用提供一些思考。

  0 引言

  数据是电信运营商的金矿。电信运营商积累了丰富海量的数据资源,大数据金矿价值不断凸显,运营商正在逐步践行由通信服务运营向数据运营的必然转变。随着新兴业务及模式的不断涌现,运营商的“管道化”趋势日益显现,为了应对挑战,运营商应充分挖掘自己独特的全类型数据的价值。

  全面理解电信运营商的各类网络运行及业务运营数据,梳理其内在的血缘及关联,形成具备运营能力的基础层,向构建支持面向场景的外延性应用数据视图,实现数据资产的价值映射,是运营商在数据技术方面的主要工作。

  本文主要围绕运营商移动网络的O域数据资产进行梳理,同时讨论典型数据之间的内在血缘及联系,进而研究数据应用的场景化驱动。

  电信运营商所掌握的数据具备基础性、多样性、全面性等特征,不仅包含着网络运行数据,同时包含着海量的运营数据,这些数据涵盖了移动网络从终端到接入网、从传输网到核心网、从业务平台到移动互联网各个网络及环节,基于多样化的采集方式,能获得海量的运行数据及业务数据,基于大数据分析方法和手段,结合移动互联、物联网等发展方向及应用走向,能够针对网络、用户、业务、终端进行深层次的数据挖掘和应用,本文重点关注运营商的移动网络数据。

  总体上电信运营商的数据资源主要包括网络运行数据和业务运营数据两大类,即OSS域数据及BSS域数据,同时还包括M域、D域及E域等,这些数据均源于移动网络运行和业务运营,在两类数据之下则是纷繁复杂、形态多样的海量数据集合,具体数据内容存在巨大差异,但却有着内在联系,形成内联外延、纵合横通的多维数据魔方态,如图1所示。本文重点关注电信运营商OSS域数据。

  图 1 移动运营商的多维数据魔方示意

  笔者总结典型的运营商移动网络数据洞察维度有以下几类:按网络制式划分的2G/3G/4G/5G网络及物联网等维度,按数据所属范畴划分的网络侧、用户侧及业务侧等维度,按网络分层划分的接入层、网络层、应用层等维度,按业务运行不同功能划分的控制面及用户面等维度。

  上述不同维度的数据洞察,将移动网络数据划分成多维组合的数据魔方。为了便于理解,下面针对移动网络,从网络/用户/业务维度,结合数据采集方式、内容、所属域进行了简单归类,主要分为网络域数据、用户域数据及业务域数据3部分。

  a)网络域数据主要是与网络运行及维护相关联的数据,既包括与网络基础配置、运行监测、网络质量评估相关的数据类型,如基础资源及配置数据、性能统计数据、DT/CQT等测试数据、监控预警等;同时也包括体现用户与网络之间的信令交互部分的数据,如移动性管理、移动业务管理、业务交互及保障等方面数据。

  b)用户域数据则主要是用户与网络交互以及进行业务产生的各类记录数据,如用户在网运行的信令交互数据以及用户进行业务过程中产生的业务记录。

  移动网络运行过程获取的各类数据之间存在必然的内联性,这些数据来自于不同的网元、接口及系统,在网络运行中发挥着不同的作用,但各类数据并不是孤立的,而是相互关联、相互解释,甚至相互影响的。

  2.1 移动网络数据的内联性

  要了解移动网络数据的内联性,首先必须梳理典型的可获取数据,以及这些数据的关键特征和聚合维度。

  笔者将移动网络运行及大数据应用研究中常用的典型数据及特征做了整理,具体如表1所示。

  表1 移动网络数据的典型数据类型及特征标签

  移动网络运行数据的基本特征主要是由时间、地点、网元及身份标识、记录类型、记录业务量几种类型组成,这些组合也成为各维度数据相互关联的基础信息,可以作为数据融合的关键特征。

  其中话单类数据种类繁多,包括语音、数据业务类、控制信令类等,有着巨大的挖掘价值。典型话单列表如表2所示。

  表2 移动网络数据的典型话单列表

  上述话单按照其不同功能,记录了不同业务、不同信令节点、不同接口及不同专项的典型话单,这些话单中的海量信息产生并服务于网络运行及业务运营,同时也作为衍生物为大数据分析及挖掘提供海量价值资源。

  目前运营商基本完成了上述类型数据的采集,并将其应用于自身运营分析来支撑市场前端、网络运行及对外价值应用。相比传统的网络KPI分析,目前的应用已经开始关注更多其他的可能应用,如DPI深度解析、LBS计算、APP QoS保障、用户/终端识别等。但是,随着多样化场景及业务需求的爆发,针对用户、业务及终端的挖掘层次逐步加深,单一维度及表单的挖掘已经难以满足需求,数据融合成为运营商大数据发展的必由之路。

  2.2 移动网络数据的融合

  移动网络数据融合,不仅仅是按照时间、网元ID、用户ID等进行相互关联,其中还涉及到数据血缘梳理、数据清洗、数据转换、结构化、数据分级、数据校准、数据关联等。数据的关联和融合是一个系统性工程,虽然移动运营商数据大多为结构化数据,但仍需要诸多步骤来实现数据的真正融合。

  笔者结合实际工作总结移动网络数据的融合步骤如下。

  a)数据采集及汇聚:主要是将移动网络各系统、平台、接口及测试等数据进行采集并汇聚,比如目前某运营商的OSS系统将全国各本地网的各类数据进行采集并通过北向接口实现统一的ESB汇聚,供上层应用使用,采集、解析及汇聚非本文重点讨论内容,可参考相关技术文档。

  b)数据清洗:目前移动网络数据受限于采集、解析及传输等能力,尚且存在一些质量问题,如采集范围及能力不足带来的数据缺失、疏密度不同、数据值异常、多源数据冲突等,需要针对这些问题,借助ETL、机器学习、异构模型等进行清洗与比对、滤重、映射与互补等,提升原始数据质量。

  c)数据分级:因为移动网络原始数据涉及网元、实体、接口等较多,与之相对应维度的数据及表单也较多,同时在某些表单中实际包括多个层级和维度的数据,如A/Iucs口话单生成是按照一次语音呼叫的全流程生成的记录,这其中既包括该次呼叫各信令节点信息(时间、事件、时延、成败、掉话等)、又包含不同等级实体(如网络、小区及上联网元、用户等),这些数据实际上是以一次呼叫关联起来的多层数据,在实际应用中则需要结合场景化需求进行数据分级,如分解为用户级、小区级、事件级等。数据分级是为了满足面向应用的场景化需求,也是后面进行域变换的数据基础。

  d)域变换:从网元、实体、接口等观察分析数据,主要是基于传统网络运行及维护工作需求,随着数据价值的不断发掘及市场前端部门需求的不断增加,当前维度已经远不能满足需求,必须针对新的前端及外部应用需求进行数据变换,因此有必要将网元、实体、接口域数据变换至用户、终端及业务域。变换方法主要是从既有分类话单中按照用户、终端、业务、网络等维度进行数据梳理及抽取,如将A/Iucs呼叫话单按用户进行数据抽取,形成用户域中的呼叫话单,将S1-MME信令话单按终端进行抽取获得终端域中的信令话单,将S1-HTTP按业务大小类进行抽取,获得业务域中的数据业务话单。域转换中的数据抽取不是简单的维度变换和数据拷贝,而是基于场景化需求和数据逻辑性构建,会涉及大量的抽取模型和数据处理工作,此处不再详述。

  e)数据关联:完成域变换之后,在同一域内仍然存在大量并行的数据信息及表单,这些并行数据从不同角度对该域主体进行属性和行为的解释,但分散的形态无法满足上层应用和非专业人士的引用,必须进行数据关联,这也是数据融合的重要一步。数据融合的基本方法仍是以组合关键标识的方式进行,如时间点(段)、用户标识、用户网络标识(ID)、终端标识、小区标识、业务标识等,在不同数据维度和层级上进行数据关联操作。数据关联实际上是对数据之间的血缘、归属、解释、行为关系进行梳理,并形成相应的关系拓扑,而关联既可以是逻辑上的,也可以是数据库中的实体关联。

  f)数据视图:海量及庞杂的运营商数据能够满足众多专业的内外部应用,但是在实际使用时,则因为专业知识及需求差异,需要针对不同部门、行业、场景制定便于其理解和引用的数据视图集合,以灵活适配多样化的应用场景。

  2.3 移动网络数据视图

  数据视图作为面向不同专业及行业应用的可理解数据集,是由核心业务的主题驱动的,基于业务诉求来构建的面向需求,而非面向数据域的主题数据集合。

  构建数据视图的关键在于主题,不同的主题应用需求决定视图的数据内容,但主要基于用户、业务、网络、终端等大维度,如常见的视图有自然人视图、政企视图、渠道视图、小区视图、产品视图、终端视图等(见图2),这些视图向下来源于运营商的各类底层数据,向上满足不同部门和专业的业务需求。

  图2 移动网络数据的视图层构建

  笔者认为移动网络数据视图层是运营商数据体系的重要中台层,这一层的型特征如下。

  a)完成了底层数据的解析、域变换及数据聚合,即面向不同专业用户完成了数据解释。

  b)针对某专业需求,无需掌握并遍历全集数据,仅需进入该专业相关视图即可。

  c)数据视图作为数据资产流通及变现的基础,也为数据资产的生产和应用提供量化基础。

  d)解决跨域数据无法打通、无法看全问题,有助于数据使用者、数据运营者及数据生产者的身份梳理和定位。

  数据视图实际上是近年流行的数据中台的主要内容构成,中台则是视图的结构承载。数据视图的构建,在具体实现上可以是物理上的,也可以是逻辑上的,这需要根据实际的应用需求和资源条件来综合考量。

  3 移动网络数据的外延性

  数据资产的最终目的是应用,在完成中台级数据汇聚和视图构建后,数据尚未完成其价值的体现,数据价值的体现则主要是通过其数据的外延性应用来实现的。

  3.1 移动网络数据的知识图谱

  根据网元、网管、系统、接口等不同采集方式及传统应用方式的不同,数据被人为整理为小区、用户、终端、业务等维度,然而实际情况是,以业务为牵引的各单元通过有机的协作来实现业务运行及业务保障,在该过程中产生的数据是自然内联并难以分割的。典型的协作单元及其包含的内容如图3所示。

  图3 移动网络数据的典型主体及内容示意

  实际应用中,不同行业及产品对于运营商数据的需求是不同的,同时对于行业相关数据的宽度和深度有着明显的差异,在保障数据内联完整性和灵活性的前提下,引入针对性的行业知识图谱是一个较好的解决方案。

  从Google搜索开始,到现今的智能机器人、风险控制、证券投资、智能医疗、自适应教育、推荐系统等,知识图谱正在更广泛的方向上获得重视和应用,电信运营商在这方面也有相关的实践和应用,但目前主要是基于B域中用户的属性、资料、交往圈等抽取相应的实体和关系并构建知识图谱,典型应用方向为诈骗社区发现、风控、征信等领域。

  不同于B域主要基于用户维度的视图和图谱构建,O域数据因为其网络侧特有的定位、业务识别、多类型终端、信令交互数据等,可以构建区别于B域的多类垂直行业及产业的知识图谱,以实现不同的场景及产品需求,典型的行业应用有智慧城市规划、智慧交通、工业互联网、智慧医疗等。

  移动网络数据的行业知识图谱的构建并不是必要的,同时也不是万能的,这需要依据实际产品和业务需求而构建,因此笔者将O域数据的行业知识图谱构建作为数据外延性的一种补充形式。

  移动网络数据的外延性,实际上是在数据视图基础上更加精细化应用的一步,不同专业及部门的需求一般都是某一视图的子集,或基于某一视图的定制化数据提取,如图4所示。

  图4 移动网络数据外延性应用的典型模式

  典型的外延应用方式主要有以下3种:

  a)深层数据关联,运营商需导入行业数据,并与自身数据进行关联和整合,同时提供强大的孵化环境,以深度数据合作方式实现数据对外应用与价值变现。

  b)以行业需求为驱动,运营商制造满足行业需求的中间层数据并以API等方式为行业应用赋能,实现数据的外延性应用。

  c)以行业需求为驱动,运营商直接生产满足行业需求的结果性数据,以数据产品方式直接输出,实现数据的外延性应用。

  以上3种典型的数据外延性应用适用于不同的应用场景及不同数据等级需求,能够在规避数据隐私的情况下,以灵活的方式满足多样化的行业需求,既能为中小型企业及前端部门提供数据能力,又能提供数据处理及应用的资源环境。

  4 总结

  电信运营商成为信息产业的基础设施提供者的大趋势逐渐显现,随着新兴业务及融合应用需求的不断涌现,不断挖掘自身具备的全类型数据的多样化价值,快速转变为数据运营商,并为信息产业的持续繁荣及智慧未来全面赋能,已经成为电信运营商责无旁贷的重要使命。因此本文围绕运营商移动网络的数据资产进行梳理,同时讨论典型数据之间的内在血缘及联系,进而研究数据应用的场景化驱动,并探讨了几种典型的数据外延性应用模式,为5G智能化时代的开启提供一些参考。

  [1]移动网络DPI信令采集设备技术规范:T22-306(2016)[S].北京:中国联通,2016.

  [2]塞西亚.LTE/LTE-Advanced-UMTS长期演进理论与实践[M].北京:人民邮电出版社,2012.

  [3]沈嘉.3GPP长期演进(LTE)技术原理与系统设计[M].北京:人民邮电出版社,2008.

  [4]E-UTRAN S1 Application Protocol (S1AP) (Release 13):3GPP TS 36.413 [S/OL].[2019-05-06]. ftp://3gpp.org/Specs/.

  [5]Radio Resource Control (RRC) Protocol specification (Release 11):3GPP TS 25.331[S/OL]. [2019-05-06]. ftp://3gpp.org/Specs/.

  作者简介:

  宋春涛,高级工程师,硕士,主要从事移动网络大数据分析挖掘及应用研究等工作。

  张帆,工程师,硕士,主要从事移动网络大数据分析挖掘及应用、机器学习等工作。

  王勇,高级工程师,硕士,主要从事移动网络优化分析、端网协同研究及大数据分析挖掘等工作。

  叶海纳,高级工程师,博士,主要从事移动网络大数据分析挖掘及应用研究、数据产品业务需求分析及产品设计。
赵同学
分享到朋友圈
收藏
收藏
评分

综合评分:

我的评分
Xinstall 15天会员特权
Xinstall是专业的数据分析服务商,帮企业追踪渠道安装来源、裂变拉新统计、广告流量指导等,广泛应用于广告效果统计、APP地推与CPS/CPA归属统计等方面。
20羽毛
立即兑换
一书一课30天会员体验卡
领30天VIP会员,110+门职场大课,250+本精读好书免费学!助你提升职场力!
20羽毛
立即兑换
顺丰同城急送全国通用20元优惠券
顺丰同城急送是顺丰推出的平均1小时送全城的即时快送服务,专业安全,准时送达!
30羽毛
立即兑换
赵同学
赵同学
发表文章6505
确认要消耗 羽毛购买
什么是数据运营商(电信运营商的数据资产综述:数据、内联及外延)吗?
考虑一下
很遗憾,羽毛不足
我知道了

我们致力于提供一个高质量内容的交流平台。为落实国家互联网信息办公室“依法管网、依法办网、依法上网”的要求,为完善跟帖评论自律管理,为了保护用户创造的内容、维护开放、真实、专业的平台氛围,我们团队将依据本公约中的条款对注册用户和发布在本平台的内容进行管理。平台鼓励用户创作、发布优质内容,同时也将采取必要措施管理违法、侵权或有其他不良影响的网络信息。


一、根据《网络信息内容生态治理规定》《中华人民共和国未成年人保护法》等法律法规,对以下违法、不良信息或存在危害的行为进行处理。
1. 违反法律法规的信息,主要表现为:
    1)反对宪法所确定的基本原则;
    2)危害国家安全,泄露国家秘密,颠覆国家政权,破坏国家统一,损害国家荣誉和利益;
    3)侮辱、滥用英烈形象,歪曲、丑化、亵渎、否定英雄烈士事迹和精神,以侮辱、诽谤或者其他方式侵害英雄烈士的姓名、肖像、名誉、荣誉;
    4)宣扬恐怖主义、极端主义或者煽动实施恐怖活动、极端主义活动;
    5)煽动民族仇恨、民族歧视,破坏民族团结;
    6)破坏国家宗教政策,宣扬邪教和封建迷信;
    7)散布谣言,扰乱社会秩序,破坏社会稳定;
    8)宣扬淫秽、色情、赌博、暴力、凶杀、恐怖或者教唆犯罪;
    9)煽动非法集会、结社、游行、示威、聚众扰乱社会秩序;
    10)侮辱或者诽谤他人,侵害他人名誉、隐私和其他合法权益;
    11)通过网络以文字、图片、音视频等形式,对未成年人实施侮辱、诽谤、威胁或者恶意损害未成年人形象进行网络欺凌的;
    12)危害未成年人身心健康的;
    13)含有法律、行政法规禁止的其他内容;


2. 不友善:不尊重用户及其所贡献内容的信息或行为。主要表现为:
    1)轻蔑:贬低、轻视他人及其劳动成果;
    2)诽谤:捏造、散布虚假事实,损害他人名誉;
    3)嘲讽:以比喻、夸张、侮辱性的手法对他人或其行为进行揭露或描述,以此来激怒他人;
    4)挑衅:以不友好的方式激怒他人,意图使对方对自己的言论作出回应,蓄意制造事端;
    5)羞辱:贬低他人的能力、行为、生理或身份特征,让对方难堪;
    6)谩骂:以不文明的语言对他人进行负面评价;
    7)歧视:煽动人群歧视、地域歧视等,针对他人的民族、种族、宗教、性取向、性别、年龄、地域、生理特征等身份或者归类的攻击;
    8)威胁:许诺以不良的后果来迫使他人服从自己的意志;


3. 发布垃圾广告信息:以推广曝光为目的,发布影响用户体验、扰乱本网站秩序的内容,或进行相关行为。主要表现为:
    1)多次发布包含售卖产品、提供服务、宣传推广内容的垃圾广告。包括但不限于以下几种形式:
    2)单个帐号多次发布包含垃圾广告的内容;
    3)多个广告帐号互相配合发布、传播包含垃圾广告的内容;
    4)多次发布包含欺骗性外链的内容,如未注明的淘宝客链接、跳转网站等,诱骗用户点击链接
    5)发布大量包含推广链接、产品、品牌等内容获取搜索引擎中的不正当曝光;
    6)购买或出售帐号之间虚假地互动,发布干扰网站秩序的推广内容及相关交易。
    7)发布包含欺骗性的恶意营销内容,如通过伪造经历、冒充他人等方式进行恶意营销;
    8)使用特殊符号、图片等方式规避垃圾广告内容审核的广告内容。


4. 色情低俗信息,主要表现为:
    1)包含自己或他人性经验的细节描述或露骨的感受描述;
    2)涉及色情段子、两性笑话的低俗内容;
    3)配图、头图中包含庸俗或挑逗性图片的内容;
    4)带有性暗示、性挑逗等易使人产生性联想;
    5)展现血腥、惊悚、残忍等致人身心不适;
    6)炒作绯闻、丑闻、劣迹等;
    7)宣扬低俗、庸俗、媚俗内容。


5. 不实信息,主要表现为:
    1)可能存在事实性错误或者造谣等内容;
    2)存在事实夸大、伪造虚假经历等误导他人的内容;
    3)伪造身份、冒充他人,通过头像、用户名等个人信息暗示自己具有特定身份,或与特定机构或个人存在关联。


6. 传播封建迷信,主要表现为:
    1)找人算命、测字、占卜、解梦、化解厄运、使用迷信方式治病;
    2)求推荐算命看相大师;
    3)针对具体风水等问题进行求助或咨询;
    4)问自己或他人的八字、六爻、星盘、手相、面相、五行缺失,包括通过占卜方法问婚姻、前程、运势,东西宠物丢了能不能找回、取名改名等;


7. 文章标题党,主要表现为:
    1)以各种夸张、猎奇、不合常理的表现手法等行为来诱导用户;
    2)内容与标题之间存在严重不实或者原意扭曲;
    3)使用夸张标题,内容与标题严重不符的。


8.「饭圈」乱象行为,主要表现为:
    1)诱导未成年人应援集资、高额消费、投票打榜
    2)粉丝互撕谩骂、拉踩引战、造谣攻击、人肉搜索、侵犯隐私
    3)鼓动「饭圈」粉丝攀比炫富、奢靡享乐等行为
    4)以号召粉丝、雇用网络水军、「养号」形式刷量控评等行为
    5)通过「蹭热点」、制造话题等形式干扰舆论,影响传播秩序


9. 其他危害行为或内容,主要表现为:
    1)可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好影响未成年人身心健康的;
    2)不当评述自然灾害、重大事故等灾难的;
    3)美化、粉饰侵略战争行为的;
    4)法律、行政法规禁止,或可能对网络生态造成不良影响的其他内容。


二、违规处罚
本网站通过主动发现和接受用户举报两种方式收集违规行为信息。所有有意的降低内容质量、伤害平台氛围及欺凌未成年人或危害未成年人身心健康的行为都是不能容忍的。
当一个用户发布违规内容时,本网站将依据相关用户违规情节严重程度,对帐号进行禁言 1 天、7 天、15 天直至永久禁言或封停账号的处罚。当涉及欺凌未成年人、危害未成年人身心健康、通过作弊手段注册、使用帐号,或者滥用多个帐号发布违规内容时,本网站将加重处罚。


三、申诉
随着平台管理经验的不断丰富,本网站出于维护本网站氛围和秩序的目的,将不断完善本公约。
如果本网站用户对本网站基于本公约规定做出的处理有异议,可以通过「建议反馈」功能向本网站进行反馈。
(规则的最终解释权归属本网站所有)

我知道了
恭喜你~答对了
+5羽毛
下一次认真读哦
成功推荐给其他人
+ 10羽毛
评论成功且进入审核!审核通过后,您将获得10羽毛的奖励。分享本文章给好友阅读最高再得15羽毛~
(羽毛可至 "羽毛精选" 兑换礼品)
好友微信扫一扫
复制链接