大数据开发的过程范例

大数据开发的过程范文1

关键词：大：软件工程技术：数据分析

1大数据技术和软件工程技术

大数据技术事实上是将人类日常生活中产生的各种数字信息，将这些信息收集起来之后分类处理，设定不同类别的存储空间，按照类别存储。大数据技术从功能的角度出发可以划分为多个类别，诸如分析技术、机器学习技术、遗传算法技术、自然语音处理技术等。应用大数据技术分析，就是基于当前的科学技术发展起来的一种分析技术。它主要依靠现代科技手段发挥技术的作用，特别网络技术发挥着基础性的作用。整理基础数据，对数据信息进行分类整理，应用相应的计算机算法，将相似特性的数据划分为一类，最终得到大量的数据，应用大数据技术对这些数据进行分析。大数据分析应用于互联网行业中，所发挥的优势是有目共睹的，而且还不断地引入新技术，在软件工程技术中应用，对该技术的发展起到了促进作用[1]。大数据时代，社会各个领域都已经实现了信息化发展，人们对软件工程的概念越来越熟悉。事实上，软件工程的历史始于20世纪的中期，其研究重点是软件技术和工程管理。将相关工程内容引入其中，使得工程系统化运行，其中所涵盖的研究内容包括软件的生命周期、软件工程设计、软件的技术维护等方面。因此，在软件设计的过程中，要控制好技术成本，保证工程质量，使其生命周期不断延长，不同项目的技术需求和用户的各种技术需求都能够得到满足。

2大数据背景下的软件工程基础

处于大数据时代环境中，软件工程的发展中关乎到不同的领域，需要高度重视。大数据技术具有专业性的特点，还具有很强的实用性价值。在软件工程技术的研究中，要从应用需求出发不断创新软件技术，对于传统的技术要不断摒弃，对软件工程的发展创造良好的客观条件。大数据技术环境下，软件工程基础是基于互联网技术建立起来的，对各种数据信息系统化管理，根据需要进行处理，对工业的发展非常有利[2]。在软件工程技术中，大数据的安全性问题是需要高度重视的，否则，就会对软件工程技术造成不良影响，引起严重的后果。

2．1软件服务工程

在软件工程的研究范畴中，软件服务工程的数量不断增多。软件工程服务化方向发展，就是发挥服务的作用，使其成为软件开发的基本原则，按照服务项目内容为用户展开服务。由于软件工程发展的主题有所，服务内容也要做出相应的调整，同城是对软件工程的进行技术维护。在具体的服务工作中，需要软件开发人员使用分布式应用程序，在管理工作中采用虚拟操作的方法为用户2019.08提供服务[3]。软件工程技术应用中，结合使用大数据技术，可以对网络数据进行编程，使得软件具有互操作性，对于数据主动协调，使其符合动态场景的变化节奏，软件系统的集成度有所提高。

2．2软件开源

软件开源更为注重用户对软件技术的体验。在对软件开源进行研究的中，采用常规的方法，虽然获得一定的成果，但是应用价值不是很高。一些研究人员在研究软件工程技术的时候，就是将软件开源作为突破口，将开发项目划分为多个模块，将每个模块分给指定的研究人员进行开发。

2．3群体软件工程

群体软件工程是通过网络的方式进行软件开发，具体的实施中采用工程众包的形式，使得软件开发技术发挥作用。群体软件工程是一个分布式软件开发模型，这个工程项目的运行中，可以通过网络实现，对各项任务进行分配，也可以进行创造性的查询，通过众包解决软件开发过程中遇到的一些困难和重要问题。同时，在软件工程开发过程中，软件工程可以在任何阶段通过众包进行开发[4]。

3大数据与软件工程技术的未来发展方向

3．1大数据与软件工程技术开放式的发展

大数据技术的主要前提是大量的数据流，需要技术不断地升级和创新，寻求开发的研究途径是非常必要的。计算机网络的发展意味着计算机可以在开放的环境中相互通信，共享数据资源，软件等信息的有效利用能力也会有所提升。通过网络运行可以增加利润，使得用户的各种需求得到满足，提高资源的利用率。

3．2大数据与软件工程技术融合到其他领域

软件工程技术在当今许多科学领域有着广泛的应用。由于软件工程技术给予各个领域非常大的帮助，从航空到生活中都发挥着软件工程技术的作用[5]。应用程序的运行，可以使用数据平台对信息进行收集并分析。比如，用户在进行股票交易的过程中应用大数据技术，可以使用软件工程技术构建数据模型，通过对数据模型的分析，预测股票的变化趋势。

4众包软件服务工程中的大数据技术

在软件开发过程中，必须有足够的硬件和软件基础来支持数据流，随着数据流的量逐渐增多，对硬件和软件就有了新的要求。专家学者在分析数据流的时候，还对在线服务进行了研究。数据流是重点内容，主要是对数据流的使用方法进行研究，对支撑数据流的软件和硬件进行研究[6]。从软件工程开发的角度而言，软件运行中都会产生大量的数据流，包括服务端、用户端等，都会有很多的数据信息产生，这些数据流对软件和硬件的使用寿命起到了决定性的作用。软件工程的开发中，要做好数据流的管理工作。有必要对原始数据进行深入的研究，为提高软件的使用寿命创造条件，对数据流的分析要高度重视[7]。

5密集型数据科研第四范式

第四种科学研究范式是指根据实际情况建立的科学研究方法，探索第四种范式的理论基础，以及大型数据存储设备在发展中的重要性。软件工程中，采用传统的大数据研究方法，大数据的有效分析是不可能的，大数据的研究还没有取得突破性的成果。因此，目前大多数软件不能在短时间内同时实现数据信息的存储、数据信息的传输和有效识别。在探索第四范式理论和研究方法的过程中，首先需要对集成大数据的软件服务价值进行估计，抛弃传统的大数据统计方法，建立新的大数据信息统计方法和分析方法[8]。此外，有必要从多个方面研究大数据的处理，对大数据信息进行管理并深入分析，讨论大数据的价值以及存在的可变性，这对软件工程的发展起着重要的作用。在研究软件工程技术的时候，必须更新传统的软件开发理念，重视软件处理和分析大数据能力的发展，使得软件产业呈现出新的发展面貌。

6结语

在当今大数据时代，软件工程技术的研究已经区域复杂。随着数据的指数的不断增长，软件技术对硬件设备数据处理能力产生一定的影响。因此，在对软件工程技术的研究中，就需要对大数据技术的特点进行研究，基于此研究软件工程技术，使得硬件设备的数据处理能力有所提高。在研发开发软件技术的过程中，要从应用领域的需求出发对大数据技术进行分析，在大数据开发理论的基础上创新软件开发理论，促进软件技术更好地发展。

大数据开发的过程范文2

1、软件服务下的大数据

随着互联网运用的逐渐广泛化，社会中的各个行业都具有了自己的数据种类，这就致使大量的数据在互联网的服务中产生。软件服务工程会产生密集型数据，其中包括流式密集型的数据以及历史密集型的数据。如世界最大的电信数据仓库中心目前已经建立超过1200TB的数据；中国移动通信的业务流程超过8190个，实现了办公自动化和标准化的业务流程。“程序=数据结构+算法”的程序设计思想为传统软件工程的管理思想模式，集程序的运行过程就是数据结构的组织与算法的问题，这种模式将程序运行过程中的数据忽视，而将重点放在了程序的正确性和效率性，在很大程度上把程序的生命周期缩短。纵观软件理论的漫长发展史，诸多学者一致认为详细的文档和完整的程序构成了软件，其中完善的文档信息为软件的核心部分，包括工程数据、文档以及通用规范等等，把整个软件的设计重点放在了文档是否质量合格以及开发模式是否具备标准化上面。由此，推动了软件设计的标准化，从整体上把软件的质量有效提升[1]。

随着系统业务的扩容和用户的使用，对软件进行大规模的数据处理提出了更为严格的要求。越来越多的大型互联网企业更加重视软件服务中的历史密集型数据和流式密集型数据，将大数据分析作为服务，更加注重从用户的体验上进行数据的收集。大数据背景下，行业逐渐加大了数据的处理难度，使得处理数据更具精细化，对技术的标准要求也更为严格。当前大数据时代下软件工程的研究课题为，如何更好的把大数据平台作为服务，把大数据的分析作为服务、把数据的价值作为服务[2]。要从软件发展创新模式来进行海量数据的处理，PaaS服务平台、服务提供方以及服务消费者三方，会产生海量离线密集型数据和线上流式数据。各项级别的用户在进行交流或者进行操作以及各项系统日志数据等，其通常对软件的有效开发、运行、管理等各方面都有着重要影响，另外，大数据还对软件服务的具体周期具有决定性作用。

从根本上讲，只是在规模和量上来进行数据的衡量，对其的研究没有标识，尤其是比较缺乏语义化的处理。因此，要对研究思维及方法进行不断创新，以此对相关数据实施组织与处理，并形成具有领域性的智能主体。通过对大数据的有效创新，将知识作为载体，可以提供相应的数据平台，从而确保以大数据为中心来进行现代软件工程管理的创新[3]。

2、大数据时代背景下软件工程管理模式

软件工程的发展经历了三个阶段，经典的CS模式-BS模式-软件服务工程。其中产生于大数据背景下的面向服务的软件工程，以服务为基础，能够以较快的速度进行应用和共享服务的构建，对于分布式程序的开发具有很好的适应性。这种模式的不同之处在于能够把应用服务化，资源虚拟化，将外界服务接口统一化，有效解决大数据环境背景下的一系列问题。这种软件服务工程设计模式广泛应用于移动互联网、大数据等新兴领域。项目管理是受到进度、费用以及品质的影响，满足客户的需求而进行的活动规划、指导和监督。其中项目控制与系统工程为项目管理两个至关重要的研究领域，二者有交叉重叠部分，项目控制主要负责输入进度、规划和费用，而系统工程蛀牙负责技术层面的输入。通过文档的形式来体现工程的管理，其中包括系统工程管理计划和系统文档树[4]。

系统文档树通过树形结构来描述项目所需要的，以系统工程为对象的各个系统工程文件之间的相互关系。在提案阶段，由系统工程师根据合同数据需求清单和工作说明书来进行系统文档树的准备，从而为根据后续的进度和成本来进行文本化任务的确定提供便利的条件。由项目经理进行系统文档树的批准，并更新维护项目管理的全生命周期。而系统工程管理计划主要用于描述系统工程的进度与任务的，在提案过程中，由系统工程师根据合同数据需求清单和工作说明书来进行系统工程过程的描述，以及如何有效计划、组织、集成、测量系统工程需求。项目管理计划同样由项目经理进行批准，并更新维护项目管理的全生命周期。系统工程管理计划主要由软件系统工程过程、开发项目规划与控制，以及软件工程专业集成三类关键要素构成，其中开发项目规划与控制为必须要实现的系统工程任务[5]。

3、总结

综上所述，面临着互联网的进一步发展，其促使软件的更新速度相应加快，大数据背景下通常对软件的自身安全及性能具有更高的要求。因此，要想打造一个健壮、高效且安全的软件工程，不仅仅要加大技术的支持力度，还需要不断创新软件工程管理办法，形成一套科学的配套理论以及技术标准。当前规模较大的软件重用技术不断发展，并实现了应用，再加上大量积累的软件资源，未来软件的集约化生产以及软件数据的挖掘将会变的至关重要。传统化的软件工程的管理方式已无法满足当前生活的相关需要，大数据环境背景下探究新型的软件工程管理方法具有十分重要的现实意义。

【软件工程硕士论文参考文献】

[1]张宇航.大数据系统中的软件工程管理方法探究[J].中国高新技术企业，2016，(23):93-94.

[2]杨淼.面向商业模式的大数据信息管理方法研究[D].天津大学，2014.

[3]梁峰.基于数据仓库技术的电力公司营销数据分析梳理平台的设计与实现[D].电子科技大学，2015.

[4]王建民.领域大数据应用开发与运行平台技术研究[J].软件学报，2017，28(6):1516-1528.

大数据开发的过程范文3

关键词：计算机网络专业；大数据；云计算；Hadoop

中图分类号：G2.0；TP393 文献标识码：A 文章编号：2095-1302（2016）12-0-02

0 引 言

随着云计算、物联网以及“互联网+”技术的兴起，数据正以前所未有的速度在不断增长和累积，互联网大数据正在实时影响人们的工作、生活乃至社会发展。2012年 3月，美国奥巴马公布“大数据研发计划”，旨在提高和改进人们从海量、复杂的数据中获取知识的能力，发展收集、储存、保留、管理、分析和共享海量数据所需要的核心技术。2014年大数据高速发展，中国互联网三巨头BAT（百度、阿里、腾讯）纷纷建立大数据研究院、大数据实验室等，提供大数据专业服务，一批大数据专业分析公司应运而生。我国的开放、共享和智能的大数据时代已经来临，同时对专业人才的需求也日益增长。

大数据的发展与计算机网络密切相关，因此适时调整高职计算机网络专业方向的培养目标，可以更好的适应大数据发展要求。大数据背景下计算机网络专业学生的目标是培养具有计算机网络、大数据及云计算的专业知识，实践能力强、职业道德素养高，具备云平台的管理能力和网络软件开发能力，能够从事网络工程设计实施、网络高级管理维护、网络开发、云平台组建及管理以及大数据存储、计算及分析等岗位的高级技能型人才[1]。

1 大数据与云计算

根据维基百科的定义，大数据[2，3]是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据主要具有4V特征[2]，即数据体量巨大（Volume）、数据种类繁多（Variety）、流动速度快（Velocity）、价值密度低（Value）。

从技术角度上看，大数据必然无法用单台计算机处理，必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。目前应用最为广泛的大数据分布式处理平台就是Hadoop，Hadoop是由Apache基金会所开发的分布式系统基础架构，能够对大量数据进行分布式存储、分析和处理的云计算平台，已经在网络大数据领域得到了广泛运用。例如Yahoo使用4 000个节点的Hadoop集群来支持广告系统和Web搜索的研究；使用1 000个节点的集群运行Hadoop，存储日志数据，支持其上的数据分析和机器学习；百度用Hadoop处理每周200 TB的数据，进行搜索日志分析和网页数据挖掘工作；淘宝的Hadoop系统用于存储并处理电子商务交易的相关数据。

2 课程体系改革研究

2.1 课程体系现状

。这些课程内容传统，课程内容严重同质化，教学内容已不能满足大数据时代人才培养的要求，这些将直接影响学生的理论实践能力和就业机会。

大数据、互联网+、物联网及云计算技术的发展和应用给高职计算机网络专业人才培养带来了新的要求与挑战，与市场需求存在脱节现象。计算机网络专业应紧跟大数据、云计算等先进技术的步伐，不断进行专业课程的创新性研究，重视实践类课程和教材的研发，适时调整人才培养目标和专业教学计划，以期满足工作岗位的实际要求。

2.2 研究思路

计算机网络专业经过多年的发展，其课程体系比较成熟，形成了各自的特色教学。因此，本文的研究内容是对原有课程体系的补充和完善。

2.2.1 有针对性的进一步优化传统的专业职业技能课程

传统的专业职业技能课程已经比较成熟，经过了实践的考验，也已得到了学生的认可。尽管如此，还要有针对性的进一步优化，使得课程体系的理实比达到更优，提升课程教学实施的效果。

2.2.2 采用增加模式，补充完善课程体系

基于大数据和云计算技术研发新的职业技能课程，充实现有的课程体系。大数据和云计算紧密相联，因此要增加云计算和大数据的理论和实践课程。在研发课程的过程中，以岗位需求为导向，以培养技能型人才为目标，合理安排理论教学内容和课时，着重开发实践教学案例和内容，明显区别于本科课程教学设置。

2.2.3 课程体系相互作用，相互促进

网络技术是大数据、云计算技术的基础。因此计算机网络传统课程也是新研发课程的基础。新研发课程既是传统课程的有效实践，又是对传统课程的有效扩展和提升。

2.3 具体内容

由于大数据、云计算技术是基于网络的技术，因此，计算机网络专业人才培养具有先决条件。根据以上研究思路，具体方案主要包括强化现有课程体系，增加基础理论课程、完善知识体系，增加实践课程、锻炼岗位能力三个部分。

2.3.1 强化现有课程体系

针对现阶段存在的问题，学校应强化现有课程体系，使学生具有扎实的网络管理能力和一定的网络开发能力。现有的课程体系使学生具备了相关能力。熟悉ISO/OSI互联网模型，并掌握常见的互联网协议如TCP/IP、ARP、OSPF、SSL、DNS、DHCP及HTTP等。能够配置管理Windows和Linux服务器，熟悉使用常见的网络命令，具备远程网络控制学习能力。掌握程序设计语言Java，具备Windows和Linux下的程序开发能力，包括编写shell程序。能够配置交换机和路由器，具备组建局域网的能力。熟悉信息安全、系统安全及网络安全攻防技术。

2.3.2 增加基础理论课程，完善知识体系

针对人才需求，增加大数据、云计算等基础理论课程，完善知识体系。虽然大数据、云计算等课程教学的最终目的是培养实践技能，但基础理论仍非常重要，主要包括熟悉大数据的基础概念和常见技术架构；熟悉云计算原理和架构，并了解虚拟化技术如KVM；熟悉分布式系统和分布式计算原理；了解大数据、云计算的最新应用。

2.3.3 增加实践课程，锻炼岗位能力

在课程体系设置中，实践课程比例应超过理论课程。增加大数据、云计算等实践课程，锻炼学生的岗位能力。主要包括主流云平台管理软件的使用，如华为FusionSphere、VMWARE等；分布式系统管理、分布式并行计算以及Map/Reduce编程；Hadoop集群、HBase分布式数据库的构建与管理；Hadoop、HBase等案例实践与应用。

通过以上方法，使得计算机网络专业学生在原有专业基础上，掌握大数据和云计算的原理，具备云平台的管理能力，并能基于Hadoop等云计算平台实现大数据程序，对大数据进行计算分析。

2.4 Hadoop课程实施

通过以上分析可知，增加的课程内容主要是大数据、云计算相关课程，最终采用Hadoop云计算平台相关技术实现大数据的存储、计算与分析。通过理论教学，使得学生深入了解掌握大数据技术、云计算原理及Hadoop架构。通过实践教学，使得学生能够掌握Hadoop集群的配置与管理，并且能够基于Hadoop实现大数据程序设计，使得学生具备基本的大数据处理能力。因此Hadoop课程是核心课程。

2.4.1 Hadoop原理

Hadoop是把大数据集分发到计算集群中各个节点上共同处理以实现大数据的快速处理。用户无需了解分布式底层细节就可开发分布式程序，充分利用集群的威力进行高速运算和存储。Hadoop最核心的设计是HDFS文件系统和MapReduce编程模型。HDFS为海量数据提供存储，而MapReduce则为海量数据提供了计算。如图1所示，Hadoop运行的基本过程如下[4，5]：

（1）客户端可以将文件上传至HDFS文件系统，NameNode则会根据文件大小和Block大小配置将文件的物理属性分成若干个Block文件块，并分布式存储至DataNode数据节点，同时将块存储信息保存至NameNode节点，以方便文件进行资源管理。

（2）文件上传完成后，客户端提交具体Job任务至Hadoop集群，各DataNode节点根据任务要求可以读取相应的文件Split，并完成Map和Reduce计算任务，将结果作为输出文件传输至HDFS文件系统。

（3）在任务执行过程中，可以通过JobTracker、TaskTracker及ResourceManager监控任务的执行情况和资源消耗信息等。

2.4.2 Hadoop教学平台配置与部署

Hadoop教学平台需配置、部署一些部件。基于现有实验室的计算机和网络环境，网络服务器系统采用Linux Ubuntu，构建Hadoop集群网络。基于Cloudera Hadoop开源框架实现Hadoop教学平台。

2.4.3 Hadoop分布式文件存储及大数据处理实现

Hadoop分布式文件存储及大数据处理实现包括：HDFS文件系统的使用；HBase的使用；MapReducer程序实现；大数据案例分析与实现。

3 结 语

本文分析了大数据背景下高职计算机网络专业的培养目标和课程体系的改革思路，在优化计算机网络专业传统课程的基础上，增加大数据、云计算等相关课程，并以Hadoop课程的具体教学实施来培养学生的实践能力，使得学生能够紧跟大数据、云计算的技术步伐，满足工作岗位的要求。

参考文献

[1]赵伟艇，夏栋梁.基于岗位能力培养的云计算课程群知识体系构建研究[J].电脑知识与技术，2016，12（2）：167-169.

[2]陶雪娇，胡晓峰，刘洋.大数据研究综述[J].系统仿真学报，2013（S1）：142-146.

[3]孟小峰，慈祥.大数据管理概念技术与挑战[J].计算机研究与发展，2013，50（1）：146-169.

[4]王铮.基于Hadoop的分布式系统研究与应用[D].长春：吉林大学，2014.

[5]陈吉荣，乐嘉锦.基于Hadoop生态系统的大数据解决方案综述[J].计算机工程与科学，2013，35（10）：25-35.

[6]曾文英，吴积军，曾文权，等.基于云计算的IT课程体系改革[J].计算机教育，2014（17）：40-44.

[7]鲍爱华，陈卫卫，刘鹏，等.云计算课程内容体系的建设与实践[J].计算机工程与科学，2014，36（A02）：42-45.

大数据开发的过程范文4

【关键词】大数据 软件工程 关键技术

随着我国计算机技术的不断发展，软件的作用越来越广泛，从计算、存储到整个IT环境，在硬件平台的基础上，越来越多的功能是通过软件实现的。大数据时代是人类社会发展的必然途径，是在人们适应和改造世界过程中的产物，是人们生产生活在网络上的投影。因此，在进行软件设计时，必须要考虑到大数据时代的整体背景。软件的发展是一个不断进步的过程，传统的结构化信息资源已经逐渐淘汰，对信息处理的要求越来越高，逐渐和网络结合在一起。

1 大数据时代下的软件工程服务工程和群体软件工程

在软件工程的发挥在那中，近几年来面向服务的软件工程越来越多，即软件服务工程。以服务为建设的基本原则，根据实际需要进行变化，通过分布式的应用和互操作性虚拟化管理对对软件工程进行维护。通过这种方式，能够有效将网络中的软件虚拟化，强调互操作性，解决分布、动态变化情境下和异构环境下数据，解决的系统集成和协作的问题。在多个新兴领域中得到广泛的应用，例如云计算、移动互联网、大数据等。

随着网络化、服务化的大环境，软件开发也逐渐变得开放，通过信息共享、学术交流，进行协同开发合作，在用户评价的基础上建设性价比较高的软件。其中，开源软件是目前较为成功的软件习作模式。因此，开源社区中的合作模式、结构等，也是学术界的研究重点。但是，常规的研究方法并没有较大的突破，一些学者开始使用社会网的方法对数据进行分析。发现在一些规模较大的项目中，开发组的结构逐渐从核心成员趋向开发者，并产生了更多模块化的特征。

除了开源软件具备一定的典型性之外，群体软件工程中更提倡的是建立在众包基础上的开发方式。众包是一种分布式的解决方式和生产模式，无论是开源软件还是其他的商业软件都可以通过网络进行责任分配、提出创意或解决问题等。因此，在进行软件设计时，无论哪个阶段，都可以通过众包的方式对重难点问题进行分析。

2 众包软件服务工程中的大数据

在软件服务工程中会产生大量的密集型数据，包括历史密集型数据和流式密集型数据。。如何将密集型数据的分析、价值、平台、基础设施等作为服务，是目前大数据时代背景下软件服务工程的核心问题。从众包软件服务工程来看，不管是服务消费方、众包服务开发提供方，还是平台管理和运营方，都有着离线密集型数据和在线的流式密集型数据。这些数据的传输直接决定了软件的服务寿命，和众包软件能否进行良好的开发协作、正常运行管理有着重要的关系。这些密集型数据，本质上仅仅对内容的数量进行了描述，但是并没有标注出内容的特点，缺少语义化单位矢量。因此在对密集型数据进行分析时，不仅仅要对原生数据进行分析，还要对密集型数据的主体――数据所属领域的专家进行分析。以知识为核心，对密集型数据进行分析，保证软件服务的寿命。

3 密集型数据科研第四范式

在2007年，吉姆・葛雷提出了数据密集型科研发现“第四范式”的愿景。提出在进行密集数据的研究时，要建立统一的理论和研究方法，强调了大数据存储在计算机发展中的重要性。在实践研究中，传统的一、二、三范式的研究方法难以对密集型数据进行有效的分析，目前大多数的软件也无法在短时间内将这些信息进行有效的存储、管理为有效的服务信息。我国有学者在2012年，在进行大数据方面的研究时，不能仅仅局限在计算机模拟，即第三范式中。要建立的科研第四范式对密集型数据进行研究。其主要原因是密集型数据所需的研究方式和传统的研究方式有较大的区别，不仅要在研究方式上进行转变，还要转变思维模式。在进行研究时，首先要建立科学、完整的第四范式，当有了完整、统一的理论体系之后再逐步转变为第三范式。因此，在进行大数据的研究时，首先要确认第四范式的方法以及结构，并对存在的关键性问题进行分析。

在对第四范式进行研究建设时，首先要对大数据整合驱动的软件服务价值进行分析。在对密集型数据进分析时，传统的数据生命期信息学流程已经难以适用，无法对大数据进行有效的模拟。要由原本的数据、信息、模型、模拟推演的过程逐渐转变为数据、信息、知识、价值服务、策略意义的第四范式模型。在全新的研究模式中，要对数据整合驱动、需求度量价值、情境约束等进行分析。其中，知识及价值服务是整个研究的基础和重点，要针对密集型数据整合服务领域，对密集型数据将的处理、管理、分析、应用等多个方面进行研究，建立统一的理论体系和研究方法，提高密集型数据生命期信息学流程驱动软件的服务生命期，对目前第四范式建立存在的问题进行针对性的解决，适应大数据时代的发展。

4 结语

在大数据时代下，软件工程的发展涉及到多个领域，需要具备高度的专业性和实践性。在软件工程中，要在实践中进行研究，而不是在研究中进行实践，核心在于如何对传统的软件理论进行创新突破。在其中就涉及到有关大数据第四范式的理论和研究方法的问题，如何将其和第一、二、三范式的理论、算法、技术标准等进行融合。大数据在最初提出时具备三种特征：体量、增速和多样。随着时代的不断发展，大数据的特征也越来越多，如价值、真伪性、可证性、可变性等，对软件工程的发展有着重要的影响。在软件工程的研究中，要不断的创新传统的软件技术，解决软件工程发展的客观条件，结合互联网的发展，对大数据时代下的密集型数据进行有效的处理，促进行业发展。

参考文献

[1]韩晶.大数据服务若干关键技术研究[D].北京邮电大学，2013.

[2]吴月红.分析软件工程化的基本形式和关键技术[J].电子技术与软件工程，2015，11：52-53.

王符伟（1980-），男，大学本科学历。现为内蒙古鄂尔多斯市符尔锡科技信息有限公司工程师。研究的方向为软件工程。

大数据开发的过程范文5

如何在大数据时代做好医疗卫生信息化建设，是值得我们思考的问题，也是在我国医疗卫生数据量爆发式增长背景下，医疗信息化建设面对的新命题。

系统架构可扩展诉求提升

。随着高通量测序的技术发展和逐步应用，生命科学领域的数据量正在高速增长，每台高通量的测序仪每天可产生约100GB的数据，仅华大基因一家中国基因公司，每天就有一百多台这样的测序仪在满负荷运行着，产生10TB的数据。

二是医疗领域。就医疗机构诊疗数据看，诊疗数据结构复杂，包含大量半结构化或非结构化数据，单个半结构化数据（如心电图、B超、CR、CT等）的数据量远远大于单个结构化数据（如XML文档），如一张普通CT图像大约150MB、一个标准的病理图接近5GB，而一个XML文档大小约几十K，随着医疗机构信息化建设转向临床信息系统，越来越多医院将重点建设PACS、LIS系统，从而产生大量非结构化诊疗数据。

除医疗机构诊疗数据外，医疗领域大数据还包括患者在医疗机构就医过程中产生的挂号、缴费、新农合基金使用情况、医保资金使用情况、诊断结论、诊疗过程等数据。根据卫计委2014年颁布的《人口健康信息管理办法（试行）》要求，电子健康档案、电子病历、全员人口信息等人口健康信息需要实现长期保存，医疗领域数据量将逐年累积增加。

三是移动医疗领域。可穿戴式医疗设备目前逐步从概念走向现实，其最重要的应用就在医疗健康管理领域，从谷歌眼镜、苹果手表到耐克腕带等均具备一定医疗健康管理功能，为用户提供身体素质指标监测、疾病数据跟踪等服务。随着可穿戴式设备的快速发展，未来将产生大量的医疗健康数据。

。

传统数据分析系统亟待变革

目前，医疗卫生数据结构较为复杂，除了普通结构化数据外，多为半结构化或者非结构化的数据，如心电图、B超、CT、MR、CR、等临床影像文件多为非结构化数据。在“大数据”时代，传统的数据库分析系统正面临着一次历史性变革。

目前国外已经有许多机构开始深入研究医疗数据的挖掘利用，并已经从大数据中找到了与医疗卫生相关的潜在价值，例如：早在2009年，甲型H1N1流感爆发的几周前，Google开发“谷歌流感趋势”延伸服务，通过分析大量用户对于流感有关词条所做的搜索记录识别流感爆发，与官方机构相比Google能提前1～2周预测流感爆发，预测结果与官方数据相关性高达97%。

苹果前总裁史蒂夫・乔布斯在与胰腺癌症斗争的过程中也应用了大数据技术，他是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人，通过分析整个基因数据的大数据文档，乔布斯的医生能基于他的特定基因组成按需用药。资料显示，胰腺癌患者的死亡率极高，出现症状后患者的平均寿命仅为9个月，5年生存率不到2%，但是乔布斯通过大数据技术开发出的个性化药物将生命延长了好几年。

相对国外医疗卫生数据挖掘的进展，我国医疗卫生数据挖掘才刚刚起步，大部分医疗卫生机构还停留在数据的精确性层面，而非从数据关联性方面分析挖掘数据价值，需要加大对医疗卫生大数据分析的投入，通过对医疗卫生大数据有效的存储、处理、查询和分析，辅助医生做出更为科学和准确的诊断和用药决策，帮助医院根据患者潜在需求开发全新个性化服务及自动服务，帮助相关研究机构突破医疗方法和药物革新，支持地区甚至全国医疗行业主管部门优化医疗资源及服务配置。

大数据时代医疗信息化建设从产业角度看，未来将创建一个以患者为中心，数据快速流通，精准分析的价值链条。在此链条中、医疗卫生机构、医疗信息化软硬件提供商等应明确各自定位，协同合作，才能在大数据时代做好医疗信息化建设。

（一）应发挥制定、产业发展推动作用

在医疗信息化建设中应充分发挥制定、产业发展推动的作用。目前我国医疗信息化标准建设并不完备，基础的电子病历和电子健康档案建设标准虽然已经出台，但目前并没有出台针对大数据时代医疗信息化建设中涉及的各项数据的采集、传输、处理及相关医疗信息架构的标准。

（二）医疗卫生机构应前瞻部署医疗信息化建设

医疗卫生机构是医疗信息化建设主体，在进行医疗信息化建设过程中应该有前瞻意识，勇于将新一代信息技术融入医疗信息化建设过程中。

目前，一些三甲医院已经进行了诸如移动医疗、远程医疗等尝试，但对于大数据，医疗卫生机构的应用仍然较为保守，仍停留在BI用大数据辅助办公阶段，用于临床精准用药的较少。未来，随着大数据相关技术的逐步成熟，医疗卫生机构应逐步将大数据从辅助办公拓展到提高临床医疗服务质量方面。

（三）ICT厂商应加大上下游合作，瞄准大数据下医疗信息化建设积极开发新产品

软硬件设备厂商作为医疗信息化技术的提供者，应瞄准大数据下医疗信息化建设新机遇开发新产品，加大上下游产业链合作。如针对可穿戴设备产生的大量健康监测数据，医疗信息化软硬件设备厂商可以与下游医疗卫生机构合作，将医疗服务前置，使患者能够尽快发现可能的健康隐患，甚至在家中就能通过智能终端定期查看可穿戴设备中记录的健康信息，并得到医疗机构相关医生给予的医疗健康诊断信息及就诊建议，实现“治已病”向“治未病”的转移。

由于可穿戴设备具有小巧、轻薄的特点，对电池的续航能力和CPU、无线传输芯片的功耗提出更为苛刻的要求，医疗信息化软硬件设备厂商需要软硬件厂商与上游处理器、存储器、电源、无线通信、软板、传感器、执行器等主要零部件厂商合作，共同开发具有功耗低功能强的可穿戴式医疗产品。

大数据开发的过程范文6

关键词 大数据 生物学 案例教学 策略变革

中图分类号 G633.91 文献标志码 A

1912年4月15日，载有1 500人的豪华巨轮“泰坦尼克号”沉没，而这艘巨轮曾号称“永不沉没”和“梦幻之船”。船长在没有分析恶劣天气、检修游轮的状况下，只凭借多年经验和对巨轮情况的盲目臆断，就贸然在黑夜下的冰山之间穿行，最终导致悲剧的发生。可见，没有对隐性数据进行建模以及分析便进行决策，就有可能导致灾难性的结果。大数据时代之前的教育就是在这样一种可怕的情形下进行的。传统的教育往往是，教师凭借以往的经验，便将那些自己隐约觉得能够提高课堂效率和学生成绩的教学策略引进课堂，然后通过一次次地实践，验证自己的猜想。但是，这些教学策略是通过改变哪些条件来影响课堂教学的呢？这些教学策略真的很重要吗？教师却是不得而知。在大数据时代，教育信息的获取不再是依靠经验或者是结果性的评价，而是依赖于过程数据的深度挖掘以及学习的分析。这无疑将引起教育的重大变革。笔者旨在从案例教学的视角出发，尝试阐述大数据引起的案例教学开发策略之变革，从而使其更好地应用于课堂教学实践之中。

1 大数据时代的变革

何为“大数据”？《上海推进大数据研究与发展行动计划》对大数据的概念做了较全面的概括：大数据有三层内涵：① ；② 新型的数据处理和分析技术；③ 运用数据分析形成价值。从这三层内涵的角度来看，大数据分别引起了三方面的变革：能力变革、方式变革和思维变革。能力变革是指在数据量巨大，真假数据杂糅的大数据时代背景下发展出辨别数据的好坏真伪、制定正确决策的能力；方式变革是指从事工作和学习的方式从以往的“靠经验”“凭想象”转变为“靠数据”；。

1.1 大数据时代引起的能力变革之一：对比分析、辨别真伪

对于大数据时代教育的变革，印度教育科学家苏伽特・米特拉是一个里程碑式的人物。他提出：教育是一种自组织行为，孩子们可以无师自通。基于这种自组织行为，苏伽特分析，“只有三种最基本的东西在今后的大数据时代是学生要用到的和必须学习的：第一是阅读，第二是搜索，第三是辨别真伪。”在大数据时代，各行各业都面对着信息量的爆发式增长，数据成了唾手可得的东西，但同时数据好坏、真伪性的辨别也成为令人头疼的一个问题。面对形形的原始数据以及各种别出心裁的数据“包装”，如何透过现象看到本质，把握大数据的大方向，便成为大数据时代人们追求的“大能力”。

1.2 大数据时代引起的方式变革之一：用数据说话

维克托・迈尔・舍恩伯格曾大胆预测：“在不久的将来，世界许多现在单纯依靠人类判断力的领域都会被计算机系统所改变甚至取代。”用数据说话成为大数据时代的标志。即便像教育这种依靠经验进行的活动，在大数据时代也将变得准确化和清晰化。。美国教育部在2012年10月的《通过教育数据挖掘和学习分析促进教与学》报告就是旨在通过网络平台进行数据的深度挖掘和学习分析。大数据时代给我们呈现的将是越来越清晰的世界以及越来越透明的自己。

1.3 大数据时代引起的思维变革之一：相关性

维克托・迈尔・舍恩伯格是最早洞见大数据时展趋势的数据科学家之一，他前瞻性地指出，大数据将改变我们的工作、生活、学习以及理解世界的思维方式，它将开启一次重大的时代转型。在大数据时代，我们将进行三种思维变革：“首先，不是随机样本，而是全体数据；其次，不是精确性，而是混杂性；最后，不是因果性，而是相关性。”所谓相关性，大体上就是指，在大数据时代，人们不是再走通过样本分析得出结论，再运用结论进行评价或者决策的老路子，而是走推陈出新，通过分析全体数据直接进行决策的新路子。。

2 案例教学概述

2.1 案例及案例教学

“所谓案例就是为了一定的教学目的，围绕选定的一个或几个问题，以事实为素材，而编写成的对某一实际情境的客观描述。 真实性。案例必须取材于实际生活或工作实践，不能凭空杜撰。（2） 完整性。案例的叙述要有头有尾，构成一个完整的情节。最好带有戏剧性的冲突。（3） 典型性。挑选的案例要能代表某一类现象或事物的本质特征。（4） 启发性。案例说到底，还是为教学服务的。因此，案例中问题的设置要带有一定的启发性，拓宽学生思路。（5） 时空性。案例在编写时要说明事件发生的时间和地点等。

“所谓案例教学既是以案例为载体，是基于一定的教学目标，选择一定的案例从事教学的一种教学法；它以学生的积极参与为特征，强调师生对案例素材共同进行探讨，并写出有关案例报告；它与案例为本的课程的关系更多地体现为一种内容和形式的关系。 明确的目的性。案例教学是为实现教学目标，围绕一定的教学内容而进行的。（2） 客观真实性。这里主要指的是案例的客观真实性。（3） 结果多元性。“案例教学主要是培养学生在一定的情境和条件下，分析问题、思考问题和解决问题的能力，进而提高他们的决策水平。”在分析以及解决问题的过程中可能呈现多个答案，这也是案例教学的特色之处。（4） 突出的实践性。案例教学强调学生自主分析，自主思考，自主决策。（5） 学生的主体性。学生才是案例教学的主体，教师主要负责编写案例，组织讨论，调整气氛以及最后的总结。（6） 较强的综合性。案例教学不仅内涵丰富，分析、解决问题的过程复杂，并且需要学生在课堂上发挥多种能力，如审时度势、权衡应变、果断决策等。（7） 深刻的启发性。案例教学的目的就是通过启发学生积极思考，从而培养学生分析问题、解决问题的能力。（8） 过程的动态性。案例教学与传统课堂最大的区别就是过程的动态性，在案例教学的课堂上，互动成为常态，师生互动、生生互动、小组合作随处可见。

2.2 传统案例教学模式的意义及缺陷

。相对于传统的讲授式教学，案例教学法有着不可比拟的优越性。它能够提高学生学习的积极性，提高学生的自学能力以及合作交流的能力；。通过教师的启发引导，案例教学也能够起到提高学生分析问题、解决问题能力的作用。然而，在大数据时代，面对纷繁复杂的数据和尖端的网络技术平台，仅仅具有这些优越性还是远远不够的。。

3 大数据变革在生物学案例教学开发策略上的应用

3.1 基于大数据量，开发猜想型案例，培养学生对比分析、辨别真伪的能力

在大数据时代，人们生活在一个被数据信息包围的世界。数据量呈指数形式增长，量大类多，并且各种数据信息的质量也是良莠不齐，真假难辨。如何快速检索、分拣出所需要的信息，如何辨别信息的好坏真伪，成为人们高质量生活和学习的必要条件。因此，提高学生对比分析、辨别信息真伪的能力，也变得格外重要。

什么是猜想型案例呢？猜想型案例并不是指教师依据教材的相关知识，凭空臆造的案例。因为案例具有真实性的特点，随意杜撰的“案例”便不能称为案例，只能算是教学例子。由于现有技术尚不完善，某些微观物体或现象还不能够被完全展示或者解答，专家、学者便依据实验现象或结论构想出新的模型，解释其原理，与此同时，他们的言论也得到了一部分人的认可。猜想型案例便是依据专家、学者猜想出的新模型或言论而编写的。传统教学强调答案的唯一性，猜想型案例因为理论尚不完善、结论多元化，并且饱受争议，一直以来是一线生物教师教学中的“雷区”，许多教师在教授这方面内容时，经常是一笔带过。而在大数据时代，猜想型案例却有着传统案例不可比拟的优点。在课堂教学中，猜想型案例可以将不同科学家的猜想（包括已经被科学验证为错误的猜想）罗列，接着进行对比分析，甚至优化，从而提高学生比较分析、对比优化、辨别真伪的能力。而这些能力正恰恰是大数据时代所更加需要培养的。

例如高中生物学必修一第二章第二节“细胞膜和细胞壁”中，介绍了目前被大多数学者接受的细胞膜模型――流动镶嵌模型。流动镶嵌模型到目前为止还是在大量实验结果基础上的比较符合科学依据的猜想。在探索细胞膜结构的过程中，科学家们还提出了许多其他猜想，诸如三明治模型、单位膜模型、晶格模型、板块镶嵌模型、脂筏模型等，其中有些已经被证实为错误的猜想。教师在讲授这节课的时候，完全可以将几种模型的作用机制编写成案例材料，简单提供一些背景知识，让学生对几种模型是否符合科学依据的情况进行对比分析，引导学生自主判断哪种模型是优势模型。即使最后学生不认可流动镶嵌模型，而认可其他模型也没有关系，关键是在这过程中培养学生的能力。

3.2 基于现代化的网络技术，开发主题型案例，实现学生的个性化培养

。个性化培养是大数据时代的整体趋势。

研究发现，案例教学效果的好与坏，主要取决于案例题材的选择是否恰当。学生对于案例题材的偏好是由案例题材的科学性、知识性、新颖性、兴奋性四个特点组成。案例题材的科学性以及知识性是必备条件，一般案例都具有这两个特点。在常规的课堂教学中，一个班的学生运用同一个案例，而每个学生个体知识广度不同，兴趣视角也不同，这就使得案例题材新颖性以及兴奋性的特点很难得以实现。在大数据时代，网络平台可以很好地解决这个问题。现在，许多网络平台可以根据个人平时的浏览足迹发现个人的爱好点，进而推选出相关的内容供其浏览。同样的，网络学习平台也可以通过这种方式发现学生的个人爱好点。教师需要做的是开发符合不同学生口味的不同主题案例，并将它们运用到网络教学当中，供网络学习平台推选，从而满足案例的新颖性、兴奋性特点，调动学生的积极性，达到最优的教学效果，实现学生的个性化培养。

3.3 基于相关性原理，开发相关性案例，培养学生知识迁移的能力

在传统的案例教学中，教师也追求运用知识迁移的方法来达到预设的教学效果，但这种知识迁移是基于结果上的迁移，不利于学生的认知发展。传统的案例教学遵循着“提出案例――设置问题――讨论解决――得出结论――拓展升华”的步骤，在得出结论之后，将结论或者原理迁移到其他的案例之中，便算是实现了知识的相关迁移，学生们习惯了先得出结论或者答案，再将结论应用到其他案例中。这种方式与其说是知识的迁移，不如说成知识的运用。然而在大数据时代，依据相关性原理，我们需要的是基于案例自身的迁移，基于案例产生的价值而导致的迁移。这就需要教师从案例自身寻找价值的相关性，在不得出结论的前提下实现知识的真正迁移。

为更好地阐述观点，笔者在这里举一个运用相关性原理进行迁移的例子。高中生物学必修二的第一章主要讲述了孟德尔的两个遗传定律：基因的分离定律和基因的自由组合定律。大多数教师在教授“基因的分离定律”这一节时，会通过生物学史内容进行案例教学：运用资料提出问题，重现孟德尔的实验结果，针对实验结果提出假说，通过测交法验证假说，最后得出结论。再运用同样的方法进行“基因的自由组合定律”的教学。其实这两个定律之间存在着极大的相关性，维系它们的就是假说演绎法。也就是说孟德尔在研究这两个定律时，运用了同样的实验方法。这对生物教师有什么启示呢？生物教师在进行课堂教学时，完全可以在学生了解了第一个定律的实验过程之后，在不讲解实验方法、不得出结论的情况下，紧接着抛出第二个定律的实验问题，让学生依据两个实验之间的相关性，自主设计实验过程，提出假说，提出测交方法，真正实现以案例为依据而进行的知识迁移。需要注意的是，传统案例教学的课堂组织方式尚不完善，更何况基于大数据理论的案例教学，广大一线教师在尝试的过程中要注意引导，积极启发，耐得住性子才能得出成果。

4 结语

基础教育课程改革已经进入深水区。大数据时代的到来无疑会给改革注入了一股新的力量，也会为改革提供一个新的思路和方向。但是新的未必是好的，我们要牢记鲁迅的警告，对一切理论，不能再走同意――解释――宣传――做戏的老路，教那些连自己也不相信的知识。取其精华，去其糟粕，才是改革的王道。在接受大数据理论的同时，教师也应该寻找理论中适用于教育的内容，依据这些内容做出相应的变革，从而构建教学的新生态系统。

参考文献：

[1] 陆Z.大数据及其在教育中的应用[J].上海教育科研， 2013，（09）：5-8.

[2] 魏忠，何立友.大数据：开启面向未来的教育[J].中小学信息技术教育，2013，（10）：15-17.