1 大数据行业人才现状

　　1.1 行业概况

　　随着大数据技术的迅速发展，国内大数据产业已逐步走向产业化、规模化。大数据行业从业人员大幅增长，大数据岗位快速迭代，新兴岗位和技能已成为社会各界关注的热点。为满足行业需求，大量高校与培训机构新增了大数据技术相关专业与课程。但由于该专业成立较短、技术技能要求较为复杂，大数据行业人才培养存在培养定位模糊、专业服务方向不明确、课程体系针对性不强、职业岗位适应性差等特点。因此，进行大数据行业人才现状分析并制定适合的培养方案已成为人才供求双方的迫切需求。

　　根据清华大学软件学院《2020 顶级数据团队建设全景报告》，在全国数据行业相关职位中，运营类、数据类、产品类、开发类、网络类在招职位数量位列前 5 名，其中运营类占比 47.5%、数据类占比 27.3%、产品类占比约 10.8%，如图 1 所示。

　　图 1 大数据相关职位在招数据占比

　　人才职位方面，数据人才在选择职业时，数据分析师为最受欢迎的职位，占比达到 46.7%，比排名第 2 的商业分析师的占比 23.3% 高出一倍 ；分析专员排名第 3，占比 6.8%。如图 2 所示。

　　图 2 大数据行业专业职位在招占比

　　在所有职位中增长最迅速的数据相关职位是数据科学经理，增速达到 18.1% ；高级数据科学家增速排名第 2，占比为 17.2% ；数据科学家排名第 3，为16.1%。排名前 9 位的相关职位增速均超过 10%。如图 3 所示。

　　图 3 大数据行业专业职位增速

　　1.2 需求侧人才培养主流方案

　　随着大数据行业工作岗位数量的增加，企业对专业人员的需求正在稳步增长，但仍然处于供不应求状态。一些互联网头部企业为满足自身需求与完善企业生态纷纷建立起自己的人才培养计划，定义在线学习、参加认证、应聘企业、进入生态、持续进阶的人才培养路线。其课程设置主要以线上方式为主，内容围绕企业自身生态，着重介绍本企业研制或使用的大数据平台、大数据开发工具等。其职业认证方面主要分为通用认证与专项认证两类 ：专项认证主要用于证明人员具备某一专项技术技能水平 ；通用认证以方向与等级两个维度进行划分，将从业人员分为云计算、大数据、物联网、人工智能等若干方向，以初级、中级、高级作为等级进行评定，用以证明人员具备从事某一领域相应岗位的能力。这一类培养课程主要以企业合作伙伴为服务对象，培养人才用以辅助合作伙伴搭建企业生态内的应用架构，并节省投入成本、提高运营和运维效能。

　　1.3 供给侧人才培养主流方案

　　2016 年教育部公布“大数据技术与应用”专业为新增专业。迄今为止，全国共有 1 355 所职业院校成功申报了大数据技术与应用专业。依据教育部印发的《普通高等学校本科专业备案和审批结果》，2017—2019 年，大数据相关专业新增数量在新增专业数量排行榜位居前列。这些大数据相关专业课程的设立以专业化、复合型人才培育为主要方向。其中大数据专业课程主要分为理论课程与技术课程。理论课程中主要包括：大数据概念、分布式处理技术、数据库理论、机器学习与人工智能等 ；技术课程主要包括大数据采集、大数据开发、大数据分析、大数据系统运维常用工具使用与相关知识。

　　2019 年 1 月，国务院印发《国家职业教育改革实施方案》，提出“学历证书 + 若干职业技能等级证书”制度试点工作，在学历教育证书基础上引入了技能等级证书的“1+X”证书制度，鼓励学生在学历教育基础上取得技能等级证书认证，通过技能等级证书明确职业方向，帮助供给侧与需求侧进行人才对接。以“1+X”证书制度为基础构建的课证融合的课程体系来满足行业、企业用人需求为导向。课程体系的设置以相关合作企业的职业认证体系为指导。以华为为例，其 3 级职业认证体系结构为 ：

　　HCIA( 初 级 )、HCIP( 中 级 )、HCIE( 高 级 )。 课 程体系将课程分为公共素质、基础技能、专业技能、综合技能、拓展技能和创新技能 6 个模块。基本技能模块和专业技能模块对应 HCIA( 初级 ) 内容，综合技能模块对应 HCIP( 中级 ) 内容，拓展技能模块对应 HCIE( 高级 ) 内容。学生学习的不同阶段可以选择对应级别的考试，从而取得相应的职业认证证书，提升学生就业能力。现阶段互联网头部企业设立的“1+X”试点课程主要有 —— 百度 ：计算机视觉应用开发 ；腾讯 ：云服务操作管理、界面设计 ；阿里：大数据分析与应用、云计算开发与运维；华为：智能计算平台应用开发、网络系统建设与运维。

　　2 标准主要内容

　　根据工信部发布的《2020 年第三批行业标准制修订和外文版项目计划》，《大数据从业人员能力要求》( 项目号 ：2020-1792T-SJ) 行业标准正式获批立项。中国电子技术标准化研究院基于此项目，研制《大数据从业人员能力要求》标准，于 2021年8月21日发布， 标准 号 为 SJ/T 11788—2021， 并 于 2021 年 11月 1 日起实施。

　　SJ/T 11788—2021《大数据从业人员能力要求》提出大数据从业人员岗位能力要求。标准基于大数据行业的技术参考架构、业务形态和应用规律，将大数据行业从业人员分为大数据处理、大数据分析、大数据系统、大数据管理、大数据安全、大数据服务 6 类岗位方向。

　　在岗位划分的基础上，根据大数据行业发展的需求以及从业人员的职业发展客观规律，将从业人员岗位等级划分为初级、中级、高级 3 个等级。按知识、技能和经验 3 个维度提出了大数据从业人员岗位能力要素。按照能力要求对从业人员定级评价，评价结果可作为从业人员能力培养、职业发展等活动的依据。

　　2.1 《大数据从业人员能力要求》主体内容

　　《大数据从业人员能力要求》主体内容包括 4 个部分，分别是职业岗位划分、岗位总体要求、岗位能力要求以及评价方法，如图 4。

　　图4 《大数据从业人员能力要求》主体内容

　　基于大数据行业的技术参考架构、业务形态和应用规律，标准将大数据行业从业人员分为大数据处理、大数据管理、大数据分析、大数据系统、大数据安全、大数据服务 6 类岗位方向。根据大数据人员需求，每类岗位方向聚焦相应的岗位见表 1。

　　表 1 职业种类

　　在职业种类划分的基础上，根据大数据行业发展的需求以及从业人员的职业发展客观规律，将从业人员职业等级划分为 3 个等级，作为从业人员能力评价的依据。从业人员能力符合岗位能力要求的前提下，可以在同一等级岗位间横向发展与晋升。组织可根据自身情况，结合行业特征细化要求进行量化，见表 2。

　　表 2 职业等级要求

　　2.2 大数据人才岗位能力要求解读

　　2.2.1 数据采集工程师

　　数据采集工作是数据分析、数据处理的前期准备阶段。数据采集工程师分为初、中、高 3 个级别，各级别需要掌握的专业知识、专业技能以及经验要求如下。

　　初级数据采集工程师要求有数据采集相关的工作或实习经历，需掌握的专业知识是比较基础的数据知识，如网络爬虫、离线及实时数据采集方法，关系型数据库、非关系型数据库基本操作以及数据检索、分布式计算等基础知识。基于以上基础知识，初级数据采集工程师需具有工作中根据业务需求进行数据采集的工作能力，能够对数据格式进行转换 ；根据数据在工作中需具备特征进行数据汇总并可以使用交互式查询平台制作报表及展示图表等。

　　相比于初级数据采集工程师，中级数据采集工程师要求相对较高，要具有数据采集项目的工作经验。所需掌握的专业知识包括系统配置、数据存储策略、数据画像、数据倾斜数据分词等相关知识。

　　对专业技能的要求除了初级数据采集工程师所需掌握的内容之外，还需要能根据业务需求参与制定数据迁移方案，能够制定调度策略，还要求能使用计算引擎优化数据查询效率等。

　　高级数据采集工程师要求具有较为丰富的数据采集项目工作经验，所需掌握依赖调度原理知识、数据算法设计、数据分区及缓存、数据加盐等较为深入的数据采集知识。对专业技能要求也较高，要求能根据业务及性能需求设计消息传输及推送方案，能深入计算引擎对底层代码进行优化以提升查询性能等工作。

　　2.2.2 数据标注工程师

　　数据标注是使用特定工具对图像、文本等进行处理的工作，数据标注工程师分为初、中两个级别，各级别需要掌握的专业知识、专业技能以及经验要求如下。

　　初级数据标注工程师要求有数据标注相关工作或实习经验。需掌握计算机操作系统、网络、信息安全、数据库、机器学习等基础知识。专业技能要求能够根据业务场景能理解数据调研、数据采集、数据归类相关的存储技术，能对文本、图片、视频等基础数据进行分析整理并能够完成精准的数据标注等。

　　中级数据标注工程师要求除具备初级数据标注工程师所具备的能力外，还要具备数据标注相关项目经历。在专业知识上要熟练掌握数理统计、大数据技术、判别分析等相关知识。在专业技能上，要求中级数据标注工程师能够熟练进行数据脱敏，数据格式转换以及精准标注工作。

　　2.2.3 数据开发工程师

　　数据开发工程师分为初、中、高 3 个级别，各级别都有所要求掌握的专业知识、专业技能以及经验要求如下。

　　初级数据应用开发工程师要求有数据开发相关工作或实习经验，需掌握软件开发、数据通信、数据缓存以及消息中间件等相关知识。在专业技能上需要对系统架构有一定了解，能够规划组件接口的能力，并且可以优化系统数据库表的结构。

　　中级数据应用开发工程师要求具备数据业务应用相关的项目经历，需掌握大数据系统组件接口以及相关测试技术知识。在专业技能上，需要根据系统间的接口进行数据访问、代码的开发，并根据产品业务需求进行相应的系统功能开发。另外，在系统测试方面要掌握数据系统黑盒测试和白盒测试的能力。

　　高级数据应用开发工程师要求具备丰富的数据业务应用项目经历，需掌握分布式算法、计算引擎技术以及测试工具开发等能力。在专业技能上，高级数据应用开发工程师除了掌握算法构造存储，规划各项组件接口规范和系统测试计划外，还要具有实现分布式并行算法的能力。

　　2.2.4 数据管理工程师

　　数据开发工程师分为初、中、高 3 个级别，各级别需要掌握的专业知识、专业技能以及经验要求如下。

　　初级数据管理工程师要求有数据管理相关实习或工作经验，需理解相关数据标准，并掌握数据血缘、数据质量、数据安全、数据治理等数据管理相关知识。

　　在专业技能上，对大数据全生命周期过程有一定理解，对数据质量评估有基本的认识，同时根据现行的国家和行业数据标准，在数据安全方面具备相关工作能力。

　　中级数据管理工程师要求有数据管理、数据应用相关项目经验，在专业知识方面需要理解数据架构、主数据管理、数据目录管理、数据生命周期等相关知识，具备能够独立开展数据治理体系规划、制定数据标准管理制度的能力。同时在数据资产管理规则、数据驱动的信息解决方案和融通赋能方案方面也都有个人专业见解。

　　高级数据管理工程师要求具备大型复杂的数据管理项目经验，并且要有参与行业数据应用场景库建设或行业数据应用标准制定的经历。高级数据管理工程师对专业知识和专业技能的要求也较高，需对大数据管理系统整体规划、大数据产品优化、大数据应用场景等方面有充足的的知识储备。在专业技能上要能够设计大数据架构、制定技术路线和标准规范，能够将工作中各方面的知识技能相结合，实现数据跨部门的交换。

　　2.2.5 数据管理评估师

　　数据管理评估师分为初、中、高 3 个级别，各级别需要掌握的专业知识、专业技能以及经验要求如下。

　　初级数据管理评估师要求具备数据管理相关实习或工作经验，需理解数据管理能力成熟度评估模型 ( 简称“DCMM”) 知识，对 DCMM 有深入研究。

　　在专业技能上要根据数据管理能力成熟度评估规则和组织需求确定评估范围，并可以对 DCMM 进行解读，能够协助企业实施 DCMM 的自评工作。

　　中级数据管理评估师要求具备数据评估相关项目经验。除了初级数据管理评估师所具备的知识技能外，还需掌握数据治理知识，并能够独立开展DCMM 的调研访谈、体系建设等工作。

　　高级数据管理评估师要求具备丰富的数据评估项目经验。在专业知识方面，除需要具备 DCMM知识及数据治理知识外，还要具有企业在数据管理提升过程中的策略总体规划以及成熟度模型的改进能力。

　　2.2.6 数据建模工程师

　　数据建模工程师分为初、中、高 3 个级别，各级别需要掌握的专业知识、专业技能以及经验要求如下。

　　初级数据建模工程师要求具备数据建模相关工作或实习经历，需掌握计算机网络、数据库、概率统计等相关基础知识。同时在专业技能方面要了解大数据预处理和分析技术，熟悉常用的数据库，并熟练掌握常用的开发语言及数据挖掘工具，并且能够根据业务需要能够对数据模型进行实时优化。

　　中级数据建模工程师要求具备一定的数据建模项目经验，对数据仓库、数据湖、维度建模、数据压缩等知识有深入了解。同时具有能够灵活运用相应的知识，结合业务需求进行数据模型优化等能力。

　　高级数据建模工程师要求具备丰富的数据建模项目经验，对数据中台的设计、数据清洗工作、语法树解析等知识有深入认识，能够指导初级或中级工程师进行数据建模工作。

　　2.2.7 数据分析工程师

　　数据分析工程师分为初、中、高 3 个级别，各级别需要掌握的专业知识、专业技能以及经验要求如下。

　　初级数据分析工程师要求具备数据分析相关的工作或实习经历，需掌握 BI、前端页面开发、可视化平台、数据清洗、数据库操作、统计分析等基础知识。在工作中可以结合业务场景编写相应数据统计分析报告，能够根据业务需求加深对分析对象的了解情况。

　　中级数据分析工程师要求具备一定的数据统计与分析项目经验，并具有商业、政务、工业大数据等行业的数据分析经验。中级数据分析工程师所掌握的知识除初级数据分析工程师所要求的之外，还要对模型训练、模型估计、模型部署有深入掌握，能选择合适评价指标对模型进行验证及调优，以及能使用编程语言对模型进行部署和重构。

　　高级数据分析工程师要求具备丰富的数据统计与分析项目经验，高级数据分析工程师所要求的知识技能包括数据挖掘算法、机器学习、图计算、语义分析等内容。在工作中要具备能根据业务特性制定合适的挖掘模型评价指标，能指导初中工程师完成对挖掘模型的部署和重构等能力。

　　2.2.8 数据系统工程师

　　数据系统工程师分为初、中、高 3 个级别，各级别需要掌握的专业知识、专业技能以及经验要求如下。

　　初级数据系统工程师要求具备数据运维相关工作或实习经历，需掌握计算机软硬件运维配置相关知识，并对大数据组件基础操作、数据管理平台操作、容灾备份有一定认识。同时要求在工作中能根据系统建设实施方案进行相关软硬件的配置能力，并且能够根据容灾计划可以进行系统的备份迁移工作。

　　中级数据系统工程师要求具备数据运维相关项目经验。需掌握计算机网络、服务器底层配置知识、云计算、虚拟化管理知识以及容灾管理知识等。在实际工作中能够根据软硬件部署方案进行自动化部署，并能够根据故障编写自动化运维脚本。

　　高级数据系统工程师要求具备丰富的大型数据运维项目经验。除初、中级所要求的知识技能外，还要掌握负载均衡、联邦集群、故障转移等知识。同时还具有根据系统部署方案制定硬件承载、配置及扩展方案及其对故障事故进行复盘、编写故障预防规范的能力。

　　2.2.9 数据安全工程师

　　数据安全工程师分为初、中、高 3 个级别，各级别需要掌握的专业知识、专业技能以及经验要求如下。

　　初级数据安全工程师要求具备数据安全相关工作或实习经历，需掌握网络安全、信息安全、数据安全等相关安全知识，并对网络攻防、信息安全事件、个人信息安全等方面有深入了解。在专业技能方面要具有能定期执行漏洞扫描和渗透测试修复安防系统存在漏洞的能力，并具有对系统进行升级和维护工作的能力。

　　中级数据安全工程师要求具备数据安全运营相关项目经验。除初级数据安全工程师所要求的知识技能外，中级数据安全工程师还要掌握数据安全存储、计算、分析以及安防工具产品相关知识，并能熟练掌握网络架构、防火墙相关技术。

　　高级数据安全工程师要求具备丰富的数据安全运营项目经验，还要对安全规范和应急管理领域有深入研究。具有制定主流黑客攻击技术及防御策略，熟悉 APT、Web 安全、系统安全、渗透测试和应急响应工作的能力以及对业务方案进行安全评审并提供安全咨询及方案建议的能力。

　　2.2.10 数据咨询师

　　数据咨询师分为中、高两个级别，各级别需要掌握的专业知识、专业技能以及经验要求如下。中级数据咨询师具备数据咨询相关项目经验，对大数据行业应用、技术体系、基础理论以及行业发展有深入理解，能够配合项目团队进行市场信息收集并能进行产品演示以及讲解产品特性和根据客户沟通反馈整理需求文档。

　　高级数据咨询师应具备丰富的数据咨询项目经验。除中级数据咨询师所要求的知识技能外，还要对项目管理、云计算技术趋势、微服务架构、技术团队建设、数据治理等方面知识熟练掌握。在专业技能方面要具有与业务部门合作引导和挖掘客户需求并输出解决方案，主动分析与挖掘市场情况并对市场策略制定提出建议，根据数据分析情况指导业务开展及流程优化，制定技术员、初级工程师对应的人才培养计划等能力。

　　3 结语

　　SJ/T 11788—2021《大数据从业人员能力要求》作为行业标准，将每一个岗位能力要求与对应岗位在企业中所做工作职责相结合，顺应当代中国企业发展需求，促进大数据产业的不断进步，同时也为试点地区的业务指导和人才培养提供有力的技术支撑。

　　作者：中国电子技术标准化研究院 李艳杰 方正汉 郑雨薇