大数据-Big Data米博体育

　　米博体育大数据(Big Data)也称为海量数据(Massivee),是随着计算机技术及互联网技术的高速发展而产生的数据现象，2013年也称为大数据元年。标志着全球正式步入了大数据时代。大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

　　大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

　　从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

　　大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

　　有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是赢得竞争的关键。

　　在这个快速发展的智能硬件时代，困扰应用开发者的一个重要问题就是如何在功率、覆盖范围、传输速率和成本之间找到那个微妙的平衡点。企业组织利用相关数据和分析可以帮助它们降低成本、提高效率、开发新产品、做出更明智的业务决策等等。例如，通过结合大数据和高性能的分析，下面这些对企业有益的情况都可能会发生：

　　大数据也可以细化数据类型划分为四种: 结构化、半结构化、准结构化和非结构化。

　　第一层面是理论: 理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

　　第二层面是技术: 技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

　　第三层面是实践: 实践是大数据的最终价值体现。在这里分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

　　由单核CPU到多核CPU处理大量并行数据的场合越来越多，工作负载被均匀地分配到全部处理器上，极大提高了整个系统的处理能力。

　　时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。

　　二者的联系就是都是为完成计算任务而产生的相关技术，在多核计算中，常常将并行计算和并发计算结合在一起，获得更高的计算性能。

　　(1)并行计算是将一个较大的计算任务分解为多个较小的计算子任务，然后同时处理这些子任务。归根结底，并行计算是在完成一项计算任务。

　　(2)并发计算由多个顺序不依赖或者局部顺序依赖的计算任务组成，可以同时执行多个不同的计算任务，无论以何种顺序执行或者计算，最终结果都是一样的。另外，并发计算是快速完成计算任务的关键所在。

　　离线计算，通常也称为“批处理”，表示那些离线批量、延时较高的静态数据处理过程。 离线计算适用于实时性要求不高的场景，比如离线报表、数据分析等，延时一般在分钟级或小时级，多数场景是定时周期性执行一个Job任务，任务周期可以小到分钟级，比如每五分钟做一次统计分析，大到月级别、年级别，比如每月执行一次任务。

　　实时计算通常应用在实时性要求高的场景，比如实时ETL、实时监控等，延时一般都在毫秒级甚至更低。

　　目前比较流行的实时框架有Spark Streaming与Flink。其中，Spark Streaming属于微批处理，是一种把流当作一种批的设计思想，具有非常高的吞吐量但延时也较高，这使得Streaming的场景也得到了一定的限制；Flink则是事件驱动的流处理引擎，是一种把批当作一种有限的流的设计思想，具有高吞吐，低延时，高性能的特点

　　当前，在大数据应用的实践中，描述性、预测性分析应用多，决策指导性等更深层次分析应用偏少。一般而言，人们做出决策的流程通常包括：认知现状、预测未来和选择策略这三个基本步骤。这些步骤也对应了上述大数据分析应用的三个不同类型。不同类型的应用意味着人类和计算机在决策流程中不同的分工和协作。例如：第一层次的描述性分析中，计算机仅负责将与现状相关的信息和知识展现给人类专家，而对未来态势的判断及对最优策略的选择仍然由人类专家完成。应用层次越深，计算机承担的任务越多、越复杂，效率提升也越大，价值也越大。

　　信息化已经历了两次高速发展的浪潮，始于上世纪80年代，随个人计算机大规模普及应用所带来的以单机应用为主要特征的数字化（信息化1.0），及始于上世纪90年代中期，随互联网大规模商用进程所推动的以联网应用为主要特征的网络化（信息化2.0）。当前，我们正在进入以数据的深度挖掘和融合应用为主要特征的智能化阶段（信息化3.0）。在“人机物”三元融合的大背景下，以“万物均需互联、一切皆可编程”为目标，数字化、网络化和智能化呈融合发展新态势。

　　在信息化发展历程中，数字化、网络化和智能化是三条并行不悖的主线。数字化奠定基础，实现数据资源的获取和积累；网络化构建平台，促进数据资源的流通和汇聚；智能化展现能力，通过多源数据的融合分析呈现信息应用的类人智能，帮助人类更好地认知复杂事物和解决问题。

　　二是每一个使用地图的用户，都共享了自己的位置，贡献了自己的数据。通过对同一时间段同一路段用户的使用情况进行分享，地图很容易就能得知哪里堵车，哪里畅通，提前告知使用者。

　　大数据在助力政府的政务处理方面同样发挥着重要的作用。近年来精准扶贫是各级政府的首要工程，扶贫如何做到精准米博体育，考验着政府的执政能力。

　　精准扶贫首先要做到的就是精准，贫困户是不是真正的贫困户，这在过往是一件很难解决的难题。上级政府只有依靠下级政府的统计上报进行拨款，于是关系户成了贫困户，真正贫困的人却难以得到实质性的帮助。

　　现如今有了大数据的加持，政府通过建档立卡，通过网络数据分析，对每一个贫困户进行核实。家里老人的就医记录，子女的工资水平，养殖等副业的收入等等都将进行评估，以确保精准扶贫落实到位。

　　电信诈骗无孔不入，但当电信诈骗遇上大数据，诈骗分子也将插翅难逃。如今利用大数据分析，诈骗短信，诈骗网站很容易被识别拦截。通过分析诈骗分子的“伪基站”地址，登录网址等信息也能很快锁定诈骗分子的藏身之处。

　　俗话说民无信不立，国无信不强。可见信用对于个人，对于国家都有非常重要的意义。但如何识别一个人是否有信用，却不是一件容易的事。 在熟人社会里，我们可以通过一个人过往的表现，言行来判断他的信用。但在陌生人社会里，想要判定一个人是否有信用就很难了。这也影响了整个社会的运行，例如信用系统不完善，个人去银行贷款很难，网络购物也难以发展。

　　但如今有了大数据，这些难题都迎刃而解了。例如支付宝的芝麻积分，就是通过分析用户的学历、存款、购物行为、交友特征、履约历史等等数据来赋予用户对应的分数，表示用户的信用等级，同时将特定的特权开放给对应等级的用户。

　　现在支付宝、微信等信用数据都已并入央行主导的国民信用体系里，成为国家队。中国也正式建立了自己的信用体系，真正实现了有信用走遍天下都不怕，无信用则寸步难行。

　　20世纪最重要的资源是石油，谁掌握了石油，谁就统治了世界。21世纪最重要的资产则是数据，谁能在数据这座金矿中挖出黄金，谁就能掌握话语权，造福社会，创造财富; 用户成为了数据的消费者，也成为了数据的生产者，互利互惠，但是也会衍生出一下个人数据隐私问题等等，比如会产生大数据杀熟的情况，关键在于数据的拥有者。