米博体育新闻

米博体育大数据是什么旨趣? 大数据最苛重的性能是什么?

作者:小编 发布时间:2023-12-15 点击:

  第一,大数据数据体量非常大,传统的单机存储系统,已经无法在存储这么大量的数据,此时需要用到分布式存储技术。

  第二,大数据的数据种类非常多,数据的格式也会变得复杂,比如数据种类有视频、米博体育文档、图片、消息记录等等。

  第三,大数据中潜藏着非常重要的价值,通过数据分析技术,对商业决策做出智能化以及数据化的支持。

  大数据最主要的功能,就是为公司上层提供商业化决策支持,让公司能够结合历史数据,往正确的方向发展。大数据技术主要分为两类:大数据计算和大数据存储。

米博体育大数据是什么旨趣?大数据最苛重的性能是什么?

  大数据计算主要分为离线计算和实时计算,具体使用要看业务场景对于数据产出时延的要求

  离线计算对于数据的产出会有一定的时延,具体时延可以是15分钟、小时或者天级别的。离线任务一般会对数据进行全局批计算,这一次运行完就运行完了,不会像实时计算那样,除非你自己停止实时任务,否则实时程序会一直运行。

  实时计算数据是不断产生的,一般数据产出的延迟会很低,最多是秒级别的。比如我们的数据大屏、实时数据流的加工处理等,这些场景对于数据的产出的时延要求很低。

  离线计算的话,一般对于数据的产出时延没有那么高的要求,只要数据最终产出即可,具体使用像现在很多公司离线业务报表。目前大多数公司离线计算引擎使用的是Hive或者Spark,实时计算引擎目前主要是Flink。

  在传统的关系型数据库中米博体育,当一个表非常大时,会使用分库分表技术,将表分布式的存储在不同的机器上面。分库分表技术可以使用开源工具TDDL。

  在非关系型NoSQL数据库中,一般更底层的文件存储系统可以选择HDFS。HDFS文件系统将文件按照块来进行存储,一个块的大小为128兆,同时每个块会存储三份,对数据进行容灾存储,即使其中一个块坏了,可以选择其他块进行数据恢复。

  分布式数据库系统可以对数据表进行水平分割和垂直分割。比如HBase数据库,水平分割使用的是Region,垂直分割则是使用的列族。

  分布式数据存储技术,需要不同机器一起协同工作,每台机器存储整体数据的一个子集。在未来大数据时代,肯定都会使用分布式数据存储,分布式数据库,会成为大数据系统的标配。

  实时:10万、20万,认购不够“小筹”凑,上海楼市从“人抢房”转向“房抢人”...

  李宇嘉:“信贷、债权、股权”三箭齐发,解读证监会“大动作”背后的十大含义

  【世界独家】积分榜:葡萄牙2-0提前晋级,真核梅开二度!乌拉圭晋级形势不利

  每日播报!1-0!曼联7000万欧先生踢疯了!巴西提前晋级2022世界杯十六强

  明天零时起,进入商贸场所须持48小时内核酸检测阴性证明!主动扫描“场所码”_环球...

  韩国2-3不敌加纳,两轮不胜!库杜斯、曹圭成均双响,孙兴慜哑火-世界热讯

  当前通讯!韩国连丢2球!晋级形势不妙 乔丹阿尤任意球连送助攻 孙兴慜加油

  内容搜集整理于网络,不代表本站同意文章中的说法或者描述。文中陈述文字和内容未经本站证实,其全部或者部分内容、文字的真实性、完整性、及时性本站不做任何保证或者承诺,并且本站对内容资料不承担任何法律责任,请读者自行甄别。如因文章内容、版权和其他问题侵犯了您的合法权益请联系邮箱:43 520 进行删除处理,谢谢合作!

  【环球新视野】核子华曦相关实验室多次违规被罚,有三个疑问萦绕在公众心头

  环球观点:关爱你我他(她)·温暖千万家丨疫情防控期间不能返岗,工资如何计发?

  焦点滚动:12月3日武汉将举行2023年普通高考美术统考,考生需做好这些准备

  环球今亮点!想要孩子成为学霸,自己先要成学霸父母!学霸家长自测试卷来啦,你得...

  2022/11/28(894)“及时雨”为民解忧,司法救助助力乡村振兴

  【播资讯】TANZO天作空间王大泉:LES MORILLES 樂墨瑞法餐厅

  资讯:豫论场丨与病毒较量,就是和时间赛跑——同心战“疫”,我们在一起⑤

  票税信息还有这用处?税局的大数据能帮你找到下游客户丨万人助万企环球热头条

  天天亮点!男子因脚痛风石出血就医,为何脚动脉和脚筋断了?医院称......

推荐资讯
推荐产品
网站地图 网站地图