大数据的概念及主要特征 大数据基本概念）

hello大家好，我是大学网网小航来为大家解答以上问题，大数据的概念及主要特征，大数据基本概念）很多人还不知道，现在让我们一起来看看吧！

大数据概念想必大家都不陌生，毕竟是近年来最热门的话题之一。在计算机以及互联网如此普及的今天，我们所有人每天都会在互联网上产生大量的数据，例如在淘宝浏览商品时会产生数据，使用社交app进行即时通讯时也会产生数据，每天股市的上涨下跌及交易量也是数据......如此可见，每天互联网上产生的数据是有多庞大，数据可谓是无处不在：

但是数据量大，只是大数据概念的特征之一，大数据有4个特征简称4V特征：

在2001年，高德纳分析员道格·莱尼在一份与其2001年的研究相关的演讲中指出，数据增长有三个方向的挑战和机遇：量（Volume），即数据多少；速（Velocity），即资料输入、输出的速度；类（Variety），即多样性。

在莱尼的理论基础上，IBM提出大数据的4V特征，得到了业界的广泛认可。第一，数量（Volume），即数据巨大，从TB级别跃升到PB级别；第二，多样性（Variety），即数据类型繁多，不仅包括传统的格式化数据，还包括来自互联网的网络日志、视频、图片、地理位置信息等；第三，速度（Velocity），即处理速度快，如果处理不够高速则无法应用在实时更新数据的场景上；第四，价值（Value），即追求高质量的、有价值的数据。想学习好大数据可以关注公众号程序员大牛 有视频资源分享一起学习

大数据4V特征：

大数据要解决的问题

大数据是要用来从中挖掘有价值的数据的，如果数据不能给企业带来价值，不能给用户带来更好的体验，那么这些数据就是无用的。而从数据中挖掘价值就是大数据要解决的问题，这就好像淘金、挖矿一样，我们利用大数据技术从海量数据中挖掘有用的数据，剔除无用的数据：

大数据带来的挑战

大数据涉及到的技术：

1.数据采集：

我们需要将分散的数据都采集起来，集中在一起，才能够进行数据的分析

2.数据存储：

将大量的数据采集起来后，存储就是个问题，需要存储空间足够大

3.数据处理/分析/挖掘：

存储的问题解决后，才开始对这些数据进行处理，分析、挖掘有价值的数据出来

4.可视化：

最后就是将这些挖掘出来的数据进行可视化、图形化后呈现给别人看，总不可能让你领导来看一堆数字或字符串吧

大数据在技术架构上带来的挑战：

1.对现有数据库管理技术的挑战：

海量的数据想要存储到传统的关系型数据库是不太现实的，虽然数据库可以进行集群，但是基本上也不能处理TB级以上的数据分析的，所以现阶段无法使用结构化的查询及处理去解决这些问题

2.传统数据库技术并没有考虑数据的多类别：

关系型数据库的结构都是库 >> 表 >> 字段的关系结构，而大数据具有数据多样化的特征，所以不好存储

3.实时性的技术挑战：

数据所产生的价值会随着时间的推移而降低，所以要让数据实时展现是个问题

4.网络架构、数据中心、运维的挑战：

由于数据一直呈大幅增长的状态，而数据又要实时地呈现，这对网络传输上是一个挑战。而且数据量大，肯定得多台服务器进行存储，这就给数据中心以及运维带来一定的挑战

大数据带来的其他挑战：

1.数据隐私：

这个不用说，海量数据里肯定会包含一些用户的隐私数据，我们得保障这些数据不外泄

2.数据源复杂多样：

之前也提到过大数据的特征之一就是数据的多样性，如何处理好多样的数据是个问题

如何应对大数据带来的挑战

对于以上所说到的挑战，Google已经有应对这些挑战的技术了：

但是，Google只发表了这些技术的论文，并没有开源这些技术，所以我们无法进行使用。不过，好在Apache基金会模仿着Google的大数据技术，开发出了Hadoop生态圈，Hadoop也是学习大数据技术必须要学的框架。

如何学好大数据

想要在大数据这个领域汲取养分，让自己壮大成长。分享方向，行动以前先分享下一个大数据交流分享资源群870097548，欢迎想学习，想转行的，进阶中你加入学习。

1.学习一个框架，最好的方式就是查看它的官方，因为官网上的文档是最权威且最详细的。

2.通过项目实战对知识点进行巩固和融会贯通

3.参加一些社区活动：Meetup、开源社区大会、线下沙龙等，与他人交流有助于提升眼界

4.切记：多动手、多练习、贵在坚持

5.最好将英文学好，因为很多好的技术论文以及文章都是英文的，而且官网的语言也是英文的

本文就为大家讲解到这里，希望对大家有所帮助。