一、专业名称及代码
专业名称:大数据技术与应用
码:610201
二、教育类型及学历层次
教育类型:高等职业教育
学历层次:大专
三、招生对象及学制
招生对象:普通高中毕业生或同等学历者
学制:三年
四、就业范围及主要岗位
就业范围:
在各类企事业单位、机关以及IT行业从事大数据系统搭建、测试、管理、运维和大数据分析等相关工作。
主要岗位:
1、大数据架构工程师
2、大数据开发工程师
3、大数据分析工程师
4、售前工程师
5、销售支持工程师
6、运维工程师
7、售后技术工程师
五、培养目标及规格
(一)人才培养目标
本专业以服务吕梁、山西省及周边省市经济社会发展为宗旨,面向大数据行业,培养德智体美全面发展和身心健康,践行社会主义核心价值观,具备良好职业道德和诚信品质,掌握计算机技术、Java开发、Mysql数据库、Linux操作系统、数量统计等基础知识、会部署和使用Hadoop及Spark身体系统的常用组件,会使用网络信息采集和页面数据抓取工具,会使用SPSS等数据分析软件,具备对大数据下信息采集、预处理、储存、处理、分析、可视化等技术。本专业毕业生能胜任、企事业单位、社会组织等部门的大数据系统测试、管理运维、大数据分析、数据可视化等技术工作。
(二人才培养规格
1、工作岗位描述(见表1)
2、能力结构与要求(见表2)
3、职业能力证书(见表3)
表 1 大数据技术与应用专业面向的工作岗位
岗位类型 | 工作岗位 | 类型工作任务 | 职业技能要求 |
大数据平台规则 | 大数据架构工程师 | 1、大数据核心产品设计规划,包括系统架构、技术选型、关键技术研发; 2、大数据新计算框架的选型,技术难题攻关,系统重构优化,根据业务规划及技术制定设计方案 3、大数据监控、运维系统等的构架设计,详细设计,核心功能代码编写,如Hadoop、Maperduce、Stirm等数据存储架构平台、计算框架、数据展示系统设计与搭建 | 1、具有严密的数学思维、突出的分析归纳能力和数据分析能力; 2、精通 Linux 操作系统,至少熟练使用 Python、 Scala、 C++等语言中的一种编程; 3、熟悉 Hadoop、 Hbase、 Spark 工作原理,熟悉分布式计算实施过程中的问题; 4、精通常见的数据存储相关技术,包括 Hdfs、 HBase、 Hive、 MySQL、Redis、 Mongodb 等; 5、负责大数据平台的性能参数调整和优化; 6、根据业务需求,编制各类分析图表、撰写项目分析文档和报告。 |
大数据部署 | 大数据平台开发工程师 | 1、基于 MySQL、 Redis、 Kafka、 Hadoop、 Hive 搭建开发 大数据分析平台的后台服务,支持数据接入、统计、分析 业务; 2、构建基于 Spark/Storm 的实时数据处理平台,支撑上层业务使用,如:数据监控、日报展现、统计分析、业务方调用等; 3、构建基于 Hive 的即席查询数据统计分析平台; 4、负责数据平台的设计、开发、维护与优化。 | 1、熟悉 Linux 的 Shell 命令,灵活运用 Shell 做文本处理和系统操作; 2、熟悉分布式计算各种范式,分布式算法实现,有较好的分布式架构设计能力; 3、能够使用 SQL 操作复杂的数据模型并有 SQL 优化的经验; 4、熟练掌握 Golang、 Scala 语言,至少精通 Python、 Perl、 Bash shell 脚本语言中的一种,并具有海量数据 ETL 加工处理经验,从事分布式数据存储与计算平台应用开发; 5、熟练搭建 Hadoop 集群环境,熟悉 Hdfs 文件系统,熟练编写MapReduce 程序; 6、熟悉 Hadoop、 Hbase、 Hive 的原理,并能够管理、配置、运维。 |
大数据运维工程师 | 1、参与项目技术平台安装部署、日常运行维护与故障处理、大数据组件补丁升级管理; 2、平台的自动化部署、运维、监控、告警处理,收集 Hadoop 的各项 metrics 指标,确保集群的正常运行; 3、针对 Hadoop 生态系统的批量部署场景进行运维调优; 4、负责任务调度平台配置及运维管理。 | 1、具有较强的数据仓库模型设计和 ETL 设计能力; 2、熟悉 Hadoop 平台的运维、调优,保障线上集群的稳定可靠; 3、熟练编写 Linux 下的 Shell 脚本,能开发相关安全管理工具; 4、能够利用开源软件搭建云服务,并进行相关测试。 | |
大数据分析处理 | 大数据分析工程师 | 1、实现数据挖掘算法,并结合核心算法做程序开发; 2、 使用数据挖掘、统计分析工具,提供数据决策分析 | 1、基于 Hadoop、 Spark 的大数据分析和处理; 2、熟悉 Python、 Scala、 Java 中的一门以上开发语言,熟悉 MySQL、Oralce 数据库,对主流分布式存储和运算有一定的了解; 3、熟练使用 SPSS、 SAS 或其它数据挖掘软件,具备数据建模和数据分析理论知识,熟悉常用数据结构和数据处理算法。 |
大数据可视化工程师 | 1、负责大数据系统设计和开发工作,如个性化推荐系统、 精准营销、用户画像等数据产品的设计和开发工作; 2、配合需求人员,完成功能模块,支撑日常业务数据需求,负责系统优化、问题跟进并及时解决。 | 1、有较强编程能力,熟悉 C/C++和 Python,设计搭建大数据平台; 2、较强逻辑思维能力及软件、算法实现能力,进行抽取、清洗、加工等数据处理; 3、能够设计基于云架构的数据仓库模型,基于大数据平台进行研发、运维、管理等; 4、熟悉数据库、应用服务器和相关开发语言。良好的数据库设计能力和 SQL 编写能力。 |
职业能力项目 | 职业能力要求 | 专业课程 | |
通识能力 | 计算机基础 操作能力 | Windows操作系统、office办公软件应用能力 计算机基本软件应用能力。 | 《计算机应用基础》 |
计算机网络 组建能力 | 理解网络的原理及基本组成;掌握如何构建 简单的网络; 学会分析网络地址;了解现实生活中使用的 网络设备。 | 《计算机网络基础》 | |
基础程序 语言设计能力 | 掌握 C 语言的基本语法。 | 《C 语言程序设计》 | |
大数据 基础能力 | 了解大数据技术的理论知识、应用前景和最 新发展动态; 了解业内常用的大数据处理工具。 | 《大数据基础》 | |
岗位能力 | 面向对象 编程能力 | 掌握 Java 程序设计的基本语法、 Java 面向对 象编程思想;运用 Java 平台开发 Web 应用程 序;熟悉 JSP, Servlet, JavaBean, JDBC 等 技术。 | 《Java 程序设计》 《Java 程序设计实训》 《Java Web 程序设计》 《Java web 应用开发实训》 |
数据库 管理能力 | 使用 MySQL 创建、查询和管理数据库 | 《MySQL 数据库原理及应用》 | |
大数据系统 开发能力 | 大数据平台综合部署,包括业务需求分析、 集群环境设置、框架选择、服务器环境部署 等能力、性能测试、 Hadoop 与其他系统的集 成等; Spark 的部署,进行计算业务模块的开发; 大数据系统性能提升,包括数据读写优化、 并发处理优化、数据存储优化、数据查询优 化等,以及大数据系统安全维护。 | 《Linux 操作系统》 《云计算架构技术与实践》 《Hadoop 与大数据挖掘》 《Spark 大数据处理技术》 《大数据系统开发实训》 | |
大数据分析 处理能力 | 掌握数据采集、清洗、处理的原理和技能; 熟练使用数据统计分析软件,进行数据分析 利用可视化工具建立数据可视化方案。 | 《Python 网络爬虫实战》 《概率论与数理统计》 《数据可视化技术》 |
序号 | 证书名称 | 备注 |
1 | 全国计算机等级考试 | 选试 |
2 | 相关职业能力证书 | 选试 |
3 | 英语应用能力考试 | 选试 |
本专业总课时为 2840 节,其中理论课时 926 节,占总课时的 32.6%, 实践课时 1914 节,占总学时的 67.4%。
表 4 大数据技术与应用专业教学计划进程表
序号 | 课程类别 | 课程名称 | 学分 | 总课时 | 开课学期与课时 | |||||||
第一学年 | 第二学年 | 第三学年 | ||||||||||
合计 | 理论 | 实践 | 一 | 二 | 三 | 四 | 五 | 六 | ||||
1 | 公共必修课 | 思想道德修养与法律基础 | 3 | 48 | 32 | 16 | √ | |||||
2 | 思想和中国特色社会主义理论体系概论 | 4 | 48 | 16 | √ | |||||||
3 | 高的数学 | 3 | 60 | 60 | √ | |||||||
4 | 大学英语 | 8 | 124 | 94 | 30 | √ | √ | |||||
5 | 体育 | 8 | 126 | 126 | √ | √ | √ | √ | ||||
6 | 大学语文及应用文写作 | 2 | 32 | 16 | 16 | √ | ||||||
7 | 大学生职业规划与就业指导 | 2 | 38 | 22 | 16 | √ | √ | |||||
8 | 形势与(讲座形式) | 1 | 80 | 80 | √ | √ | √ | √ | √ | |||
9 | 大学生心理健康教育 | 1 | 16 | 16 | √ | √ | √ | √ | ||||
10 | 安全教育 | 1 | 16 | 16 | √ | √ | √ | √ | ||||
11 | 健康教育 | 1 | 16 | 16 | √ | √ | √ | √ | ||||
公共必修课小计 | 34 | 620 | 384 | 236 | ||||||||
12 | 专业基础课 | 计算机应用基础 | 6 | 90 | 90 | 30 | √ | |||||
13 | 大数据基础 | 4 | 60 | 36 | 24 | √ | ||||||
14 | 计算机网络基础 | 4 | 60 | 36 | 24 | √ | ||||||
15 | C语言程序设计 | 6 | 96 | 32 | √ | |||||||
16 | 概率论与数理统计 | 4 | 32 | 32 | √ | |||||||
17 | Linux操作系统 | 4 | 32 | 32 | √ |
专业基础课小计 | 28 | 634 | 260 | 174 | ||||||||
18 | 专业核心课 | MySQL数据库原理及应用 | 4 | 30 | 34 | √ | ||||||
19 | 云计算架构技术与实践 | 4 | 30 | 34 | √ | |||||||
20 | Java程序设计 | 6 | 96 | 38 | 58 | √ | ||||||
21 | Python网络爬虫实践 | 4 | 28 | 36 | √ | |||||||
22 | Java Web程序设计 | 6 | 96 | 38 | 58 | √ | ||||||
23 | Spark大数据处理技术 | 4 | 28 | 36 | √ | |||||||
24 | Hadoop与大数据挖掘 | 7 | 112 | 30 | 82 | √ | ||||||
25 | 数据可视化技术 | 4 | 28 | 36 | √ | |||||||
专业核心课小计 | 39 | 624 | 250 | 374 | ||||||||
26 | 专业技能实训 | 大数据系统开发实例 | 2 | 52 | 52 | |||||||
27 | 大数据分析挖掘实训 | 1 | 26 | 26 | √ | |||||||
28 | 大数据综合项目实训 | 1 | 26 | 26 | √ | √ | ||||||
29 | Java程序设计实训 | 2 | 52 | 52 | ||||||||
30 | Java Web应用开发实例 | 1 | 26 | 26 | √ | |||||||
专业技能实例小计 | 7 | 182 | 182 | |||||||||
31 | IT认证 | IT认证 | 2 | 52 | 52 | √ | ||||||
2 | 52 | 52 | ||||||||||
32 | 综合实践 | 军事教育 | 3 | 78 | 78 | √ | ||||||
33 | 社会实践 | 2 | 52 | 52 | √ | √ | ||||||
34 | 顶岗实习 | 10 | 520 | 520 | √ | |||||||
35 | 毕业设计 | 7 | 182 | 182 | √ |
综合实践小计 | 22 | 832 | 832 | |||||||||
36 | 素质拓展课程 | 拓展课一 | 2 | 32 | 16 | 16 | √ | |||||
37 | 拓展课二 | 2 | 32 | 16 | 16 | √ | ||||||
38 | 拓展课三 | 2 | 32 | 32 | √ | |||||||
素质拓展课程小计 | 6 | 96 | 32 | |||||||||
合计 | 138 | 2840 | 926 | 1914 | 150 | 578 | 484 | 538 | 608 | 182 |
学年 | 军事教育 | 教学 | 顶岗实习 | 复习考试 | 社会实践 | 学期周数合计 | |
一 | 1 | 3 | 15 | 2 | 20 | ||
2 | 18 | 2 | 1 | 20 | |||
二 | 3 | 18 | 2 | 20 | |||
4 | 18 | 2 | 1 | 20 | |||
三 | 5 | 18 | 2 | 20 | |||
6 | 20 | 20 | |||||
总计 | 3 | 87 | 20 | 10 | 假期进行 | 120 |
序号 | 实训课程名称 | 主 要 内 容 及 要 求 |
1 | 大数据系统开发 技术实训(上) | 本课程详细讲解了大数据生态体系的各个模块的功能和开发技术。包括Hadoop 体系中的HDFS,Hbase进行数据操作,MapReduce 进行数据开发,YARN进行资源配置,Hive完成数据仓库,Pig 进行数据分析,理解其基本原理,并通过实验掌握其操作和编程开发。 |
2 | 大数据系统开发 技术实训(下) | 本课程详细讲解了大数据生态体系的各个模块的功能和开发技术。包括 Oozie 完成工作流设计,Zookeeper 完成分布式进程协调,Sqoop完成数据传输,Flume 完成日志收集等模块,最后介绍 Spark 生态体系,及其 Scala 基础和 SparkSQL开发。理解其基本原理,并通过实验掌握其操作和编程开发。 |
3 | 大数据采集实训 | 课程包括网络爬虫基本理论知识的介绍,深入剖析网络爬虫进行数据采集的过程和策略,如何抓取不同类型的数据和文档内容,以及爬取过程中的优化。通过一种常见工具完成对指定任务的爬取,并存储本地系统中。 |
4 | 数据仓库实训 | 课程通过介绍数据 ETL 过程、数据汇总过程、关键绩效指标分析、报表与即席查询、OLAP分析、数据挖掘等方法,使学员学到数据处理的思路与能力方法;通过介绍数据质量及元数据管理,使学员了解数据应用的本质,并将其有效运用于数据集市及数据仓库解决方案中。 |
5 | 数据统计及分析 | 掌握分析推断的统计技术,熟练使用数据软件(Python)来分析数据,利用 Excel制作分析图表,具备良好的数据呈现技能。对数据分析报告的撰写有一定程度的掌握,便于在工作中实际操作。 |
6 | 数据可视化 | 本课程从数据可视化的发展,理解数据和可视化的作用入手,介绍可视化工具和设计的方法。具体结合 Tableau 和D3.js 的工具,让学生掌握可视化的组件,以及各种组合成为的可视化图表。并结合不同类型的数据和场景,介绍各中设计方法和最佳实践,学生如何产生的合适的可视化内容。最后结合案例,理解可视化在各个领域的实际应用。 |
7 | 企业大数据技术 实训 | 课程全面讲解代表性大数据平台的产品,包括大数据计算服务MaxCompute,分析型数据库AnalyticDB,表格存储TableStore 和大数据开发平台 DataIDE,以及典型的大数据应用产品。包括每个产品的使用场景,技术特点,以及实际操作实验。 |
8 | 大数据综合项目 实训 | 提供电商大数据、通信大数据、农业大数据、交通大数据、电力大数据、政务大数据、金融大数据、医疗大数据等八个完整的项目案例。还会不断更新引入新的实训案例。 |
课程课程名称 | 课程性质 | 主要内容 |
计算机网络技术 | 必修 | 1/1、掌握计算机网络概念,网络四层结构与协议、设备与操作系统 2/2、掌握局域网组网方法,互联网法律法规应用 |
C语言程序设计 | 必修 | 1、1、掌握C语言的和基本操作 2、2、掌握C语言程序设计的基本方法和基本技能 |
关系型数据库概论 | 必修 | 1、掌握关系型数据库概论的和基本操作 2、掌握关系型数据库概论的基本方法和基本技能 |
数据结构 | 必修 | 1、掌握常用的基本数据结构 2、了解数据结构的逻辑思想和实现方法 3、掌握程序设计方法、程序设计风格 |
Linux操作系统应用 | 必修 | 1、掌握运用Linux安装、环境的配置 2、掌握Linux系统管理,Linux网络管理 |
网页设计(HTML/CSS) | 必修 | /1、掌握Web网站的基本知识 22、掌握HTML/CSS的相关知识,并运用 |
SQL Server数据库应用 | 必修 | 1、1、掌握 SQL Server 2005 的基本操作 2/2、运用 SQL 语言进行程序设计 |
云存储技术 | 必修 | 1、掌握本课程主要讲解云存储基础知识 2、掌握云存储整体架构的设计与搭建,通过集群应用、网格技术或分布式文件系统等功能,将网络中大量不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问 |
组网技术与网络管理 | 必修 | 1、了解组建一个计算机网络的各个环节 1、掌握组建网络和进行网络管理所需要的各种专业技术知识 |
大数据平台综合技术 | 必修 | 1、掌握大数据平台综合技术的基础知识 2、掌握大数据平台综合技术的传输介质、设计与施工、测试及标准等。 |
基础 | 必修 | 1、掌握 语法、基本概念和基本知识 2、掌握 结构和功能 2、能使用制作动态网站项目开发技术 |
项目开发 | 必修 | 1、能够运用动态网站开发技术,完成像网上商城购物系统后台设计的开发; 3、2、能够完成完成比较综合的动态网站项目的开发 |
PHP程序设计 | 必修 | 1、掌握PHP程序设计的理论知识 2、掌握PHP程序设计的基本方法和基本技能 |
软件工程 | 必修 | 1/1、掌握软件工程的基础知识 2、能够把软件工程相关知识运用于项目开发中,生产相关的文档 |
精通Javascript+Jquery | 必修 | 1、掌握Javascript+Jquery的基本理论知识; 2、运用Javascript+Jquery来设计出较综合的应用程序 |
大数据分析与开发 | 必修 | 1、了解大数据概念,掌握大数据产生和应用,大数据的作用 2、掌握大数据关键技术、处理模块;分布式编程、开发等 |
PHP企业级应用开发 | 必修 | 1、运用PHP语言来设计出较综合的应用程序 |