导读 | Hadoop是一个开源软件框架,它在近十年前开始流行。ApacheHadoop在当时是一项突破性的创新,企业在处理大量数据时遇到了存储问题。 |
Hadoop是一个开源软件框架,它在近十年前开始流行。ApacheHadoop在当时是一项突破性的创新,企业在处理大量数据时遇到了存储问题。它通过提供Hadoop分布式文件系统(HDFS)进行存储和MapReduce进行数据分析和处理,重新定义了企业处理、分析和存储数据的方式。据公关通讯社报道,到2012年,财富50强中超过一半的公司采用了Hadoop。
Cloudera在2008年成为第一家致力于Hadoop的公司,MapR和Hortonworks紧随其后。Hadoop技术成为财富500强公司的最爱,然而他们却宣布放弃这项技术。在经历了这样一段开拓性的旅程并受到如此多的崇拜之后,为什么Hadoop今天会经历相当大的衰退呢?
云的出现在Hadoop采用率的下降中扮演着关键的角色。2018年,Twitter宣布迁移至谷歌云,以提高生产力并满足其不断增长的需求。此外,他们还表示,他们的Hadoop文件系统存储了超过300PB的数据,他们正在将Hadoop计算系统转移到Google云上。
自从云服务普及以来,这不是一个孤立的案例,许多公司决定转向云,以获得更好的大数据解决方案和高级数据分析。下一个路径,一家自动化云迁移公司最近宣布了Crawler360的增强功能和移位™,他们的两种迁移技术,可以轻松快速地从Hadoop迁移到所需的云平台。
NextPathway的首席战略官Vinay Mathur在接受采访时说:“我们承诺会比最终得到的更多。随着数据量和分析要求的复杂性增加,它根本就不起作用了。”根据下一份平台报告,他们与财富500强中的高端公司的对话使他们意识到,他们正在对Hadoop失去兴趣。
与经常因维护费用而受到指责的本地Hadoop技术相比,云技术承诺了可扩展和高效的大数据处理。它也不能很好地处理迭代数据,对于大量的小数据集,它通常被标记为低效的解决方案。对实时数据分析的不断增长的需求也导致了人们对Hadoop兴趣的下降。
很多时候,运营商将大量非结构化数据转储到分布式文件系统中,这会增加交付解决方案的复杂性。云计算减少了混乱,同时它还提供了一个可扩展的经济高效的平台。
没有人应该那么悲观。像Hadoop这样的技术可能会发展,但不会完全消失。AlliedMarketResearch公司的报告显示,到2027年,全球Hadoop市场预计将达到3403.5亿美元,而2019年为267.4亿美元,2020-2027年复合年增长率为37.5%。这不矛盾吗?Hadoop可能正在经历一场中年危机,最终可能导致技术更加成熟。
尽管Hadoop的采用率可能会下降,但它不会消失,因为如果不用于分析,它仍然可以用于丰富的数据存储。未来几年,企业可能会利用基于云的基础设施和内部基础设施,使用混合方法进行数据存储和分析。在这里,它将有一个相当大的范围,因为它是一个公认的技术,具有成本效益和可扩展的数据存储系统。
原文来自:
本文地址://q13zd.cn/hadoop-out-date.html编辑:清蒸github,审核员:清蒸github
Linux大全:
Linux系统大全: