大数据是指用现有的计算机软硬件设施难以采集、存储、管理、分析 和使用的超大规模的数据集。大数据具有规模大、种类杂、快速化、价值密 度低等特点（4V 特性）。大数据的“大”是一个相对概念，没有具体标准，如 果一定要给一个标准，那幺 10-100TB 通常称为大数据的门槛。       数据分析是一个大的概念，理论上任何对数据进行计算、处理从而得 出一些有意义的结论的过程，都叫数据分析。从数据本身的复杂程度、以及 对数据进行处理的复杂度和深度来看，可以把数据分析分为以下 4 个层次： 数据统计，OLAP，数据挖掘，大数据。       大数据分析和数据分析是有区别和联系的。这里重点关注两者的是技 术要求、使用场景、业务范围等方面的区别和联系。重点要区分理论研究和 实际应用两方面区别和联系。     第一：在分析方法上两者并没有本质不同     数据分析的核心工作是人对数据指标的分析、思考和解读，人脑所能 承载的数据量是极其有限的。所以，无论是“传统数据分析”，还是“大数据分 析”，均需要将原始数据按照分析思路进行统计处理，得到概要性的统计结果

　　供人分析。两者在这个过程中是类似的，区别只是原始数据量大小所导致处 理方式的不同。       第二：在对统计学知识的使用重心上两者存在较大的不同     传统数据分析”使用的知识主要围绕“能否通过少量的抽样数据来推测 真实世界”的主题展开。“大数据分析”主要是利用各种类型的全量数据（不是 抽样数据），设计统计方案，得到兼具细致和置信的统计结论。       第三：与机器学习模型的关系上，两者有着本

　　随着互联网行业的快速发展，大数据开发已成了 IT 行 业最流行的语言之一。据悉得知，企业对大数据分析人才 的需求在逐渐增长。因为前景好，工资高，所以有不少人 开始通过转型进入了大数据分析行业里面发展，有些人仍 旧在观望。大数据分析师是一个比较新的概念，是因为大 数据的发展而出现的，而传统的数据分析师这一个岗位， 则已经存在很久了。那么它们之间有什么相同点和不同 呢？今天我们一起来了解下大数据分析和传统数据分析之 间的关系和区别：分享之前我还是要推荐下我自己创建的 大数据分析分享群 587737871，这是大数据学习交流的地 方，不管你是小白还是大牛，小编都欢迎，今天的资料已 经上传到群里，不定期分享干货，包括我整理的一份适合 2017 年学习的大数据分析以及可视化的资料和零基础入门 教程，欢迎初学和进阶中的小伙伴。以上是关于大数据分 析和传统数据分析之间的关系和区别的一些个人看法，相 较于传统的数据分析师，大数据分析工程师是顺应时代发 展而出现的新的岗位，是为了针对日渐庞大的大数据而出 现的，相较于传统的数据分析师，大数据分析师需要掌握 的技能更多，更加复杂，才能够应对更加复杂多变的大数 据。但同样的，大数据分析师随着大数据发展，更加有发

　　BI 的数据来源一般为企业内部信息化系统中的数据，大数据的数据来源不仅包 含 企 业 内 部 的 信 息 化 系 统 的 数 据 ，还 包 括 各 种 外 部 系 统 、机 器 设 备 、数 据 库 的 数 据。大数据的数据来源更广泛，而且数据更多的来自于云端，可无限扩展。

　　对 企 业 来 说 ，BI 是 一 种 管 理 和 思 维 方 式 的 转 变 ，对 企 业 内 部 数 据 进 行 分 析 ，支 撑 企 业 运 营 与 决 策 ，从 传 统 商 业 模 式 走 向 商 业 智 能 。大 数 据 除 了 解 决 企 业 业 务 问 题 ， 还包括与行业、产业的深度融合，不同行业所呈现的内容与分析维度各不相同， 是用全新的数据技术手段来拓展和优化企业业务。

　　BI 的技术标签包括 ETL、数据仓库、OLAP、可视化报表。大数据的技术标签则 包括 Hadoop、MPP、HDFS、MapReduce、流处理等。随着时代的变革与技术 的迭代，BI 经历了多次优化和变革，新型 BI 被赋予更多“大数据”潜能，既满足 海量实时数据分析，也满足决策型的业务分析。

　　《大数据时代》一书的核心观点是说：“在大数据时代，我们正经历着一 场生活、工作与思维的大变革。

　　大数据技术的出现带给人们的思维方式、行为方式、媒体传播方式及社会 治理方式等都诸多方面带来了革命性的变革。

　　我们没必要非得知道现象背后的原因，而是要让数据自己发声。”在大数 据时代，相关关系能够帮助我们更好地了解这个世界，建立在相关关系分析法 上面的预测是大数据的核心，通过找到“关联物”并监控它，我们就能够预测 未来。

　　作者还提出了“大数据三原则”：要全体不要抽样，要效率不要精确，要 相关不要因果。虽说该书作者提出的“要相关不要因果”的观点还值得商榷， 但“相关性”观点还是从某个层面上说出了大数据时代的核心特征。大数据是 往往是商业自动化产生的数据，又具有实时在线的特征。

　　与大数据概念相对应的，在这之前的数据似乎就是所谓小数据，如果有所 谓的小数据概念的话，应该特指采用调查方法获得的抽样数据，或者是结构化 的海量数据。对于小数据的分析通常采用的是传统的统计分析方法，是一种自 上而下的实证研究方法论。小数据往往依托数理统计的大数定律，描述了抽样 理论下样本最终服从中心极限定理的正态分布理论，强调描述性统计学和推断 统计学。 大数据重预测，小数据重解释

　　数据无处不在。现有的数字数据量正在快速增长，每两年翻一番，并改变我们的生活方 式。一个由福布斯的文章指出，数据的增长速度比以往更快。到 2020 年，地球上每个人每 秒将创建约 1.7 兆字节的新信息，这使得至少了解该领域的基础知识极为重要。毕竟，这是 我们未来的所在。

　　以下我们将根据数据科学，大数据和数据分析的用途，用途，成为该领域专业人士所需 的技能以及每个领域的薪资前景来区分数据科学，大数据和数据分析。

　　首先让我们开始理解这些概念是什么。 一、数据科学 在处理非结构化和结构化数据时，数据科学是一个涉及与数据清理，准备和分析相关的 所有领域的领域 。 数据科学是统计，数学，编程，解决问题，以巧妙的方式捕获数据，以不同的方式看待 事物的能力以及清理，准备和对齐数据的活动的结合。 简而言之，它是尝试从数据中提取见解和信息时使用的技术的总括。 二、大数据 大数据是指无法用现有的传统应用程序有效处理的庞大数据量。大数据的处理始于未聚 合的原始数据，通常是不可能将其存储在单台计算机的内存中的。 用来描述庞大数据量的流行语，无论是非结构化还是结构化的大数据，每天都会淹没企 业。大数据是一种可以用来分析洞察力的东西，这些洞察力可以导致更好的决策和战略业务 转移。 Gartner 给出的大数据定义是：“大数据是高容量，高速或多变的信息资产，它们需要经 济高效的创新信息处理方式，以增强洞察力，决策能力和过程自动化。” 三、数据分析 数据分析是检查原始数据以得出该信息的科学。 数据分析涉及应用算法或机械过程来得出见解，例如，遍历多个数据集以寻找彼�

　　你是不是曾无数次下定决心要做大数据工作，但因为不知如何开始而放弃? 是不是曾经去面试过大数据工作，但因为没有经验缕缕碰壁? 你在公司里表现很好，布置的任务总是能又好又快的完成，但两年来你的工资一直是 1 万 3，多次跟领导提出加薪，结果领导每次都是哦哦哦知道了。 你心里知道，现在的工作遇到了瓶颈，薪资想要有 50%以上的增长已经很难了，能做的也 只有转行。 最近，身边几个程序员朋友都在学 Spark、Hadoop 等相关知识，仿佛不紧跟时代步伐， 就会被随时甩出半条街的节奏;而打开知乎，诸如“怎样进行大数据的入门学习”“JavaWeb 程 序员如何转型大数据”之类的话题也屡受关注。 麦肯锡公司报告指出，大数据、人工智能方面人才紧缺，需求量激增。自己有技术优势， 而且大数据行业也非常缺人，现在入行正是最合适的时候。 那么大数据之火热依赖于什么? 1.技术日渐成熟，应用空间得以拓展 大数据技术，最早于 1980 年被首次提及，却在近几年才获得突飞猛进的发展。相较于几 十年前神经网络算法捉襟见肘的计算能力，如今处理器对大规模数据的高速处理能力无疑发挥 了关键性的作用。借助于处理器的高性能，使我们短时间内完成 PB 级数据的机器学习和模型训 练成为可能，由此为高度依赖深度学习的图像、语音识别产品的快速迭代奠定基础，大数据应 用空间得以拓展，也由此催生了提供相关产品与服务的技术公司。 2.重视数据资产，数据挖掘已成必然 现代信息技术使每日产生的数据量呈指数级增长，企业发展再也无法回避对数据价值的挖 掘与利用。 3.技术催生业务新模式，蕴含创业新契机 大数据产业链，催生出针对不同版块提供产品和服务�

　　你是不是曾无数次下定决心要做大数据工作，但因为不知如何开始而放弃? 是不是曾经去面试过大数据工作，但因为没有经验缕缕碰壁? 你在公司里表现很好，布置的任务总是能又好又快的完成，但两年来你的工资一 直是 1 万 3，多次跟领导提出加薪，结果领导每次都是哦哦哦知道了。 你心里知道，现在的工作遇到了瓶颈，薪资想要有 50%以上的增长已经很难了， 能做的也只有转行。 最近，身边几个程序员朋友都在学 Spark、Hadoop 等相关知识，仿佛不紧跟时 代步伐，就会被随时甩出半条街的节奏;而打开知乎，诸如“怎样进行大数据的入门学 习”“JavaWeb 程序员如何转型大数据”之类的话题也屡受关注。 麦肯锡公司报告指出，大数据、人工智能方面人才紧缺，需求量激增。自己有技 术优势，而且大数据行业也非常缺人，现在入行正是最合适的时候。 那么大数据之火热依赖于什么? 1.技术日渐成熟，应用空间得以拓展 大数据技术，最早于 1980 年被首次提及，却在近几年才获得突飞猛进的发展。 相较于几十年前神经网络算法捉襟见肘的计算能力，如今处理器对大规模数据的高速 处理能力无疑发挥了关键性的作用。借助于处理器的高性能，使我们短时间内完成 PB 级数据的机器学习和模型训练成为可能，由此为高度依赖深度学习的图像、语音识别 产品的快速迭代奠定基础，大数据应用空间得以拓展，也由此催生了提供相关产品与 服务的技术公司。 2.重视数据资产，数据挖掘已成必然 现代信息技术使每日产生的数据量呈指数级增长，企业发展再也无法回避对数据 价值的挖掘与利用。 3.技术催生业务新模式，蕴含创业新契机 大数据产业链，催生出针对不同版块提供产品和服务的业务�

　　数据仓库简单理解是⼀套软件解决⽅案，作⽤是把业务系统的数据加载到⼀个单独的数据库 中，并依据业务逻辑建⽴数据模型，供企业查询分析决策之⽤。它的出现是为了解决基于业务 数据库来做分析时⾯临的很多问题，包括：结构复杂，数据脏乱，难以理解，历史缺失，数据 量⼤时查询缓慢等。数据仓库的概念最早出现在20世纪70年代，出现时间远远早于⼤数据。

　　⼤数据与数据仓库不同，它不是⼀套解决⽅案，现在数据⾯临的新形态。传统的数据仓库中存 储的往往是企业内部的数据，特点是结构化的数据。所谓结构话指的是⾮常规整的，类似Excel 表格那样的数据。⼤数据往往是⾮结构话的，⽐如设备的⽇志⽂件，⽹站的埋点信息等，xml⽂ 件等。相对于传统数据，⼤数据量更⼤，类型更多，处理的复杂度也更⾼。

　　可以理解，数据仓库是数据的容器，⾥⾯放的是传统的结构化数据。针对⼤数据的特点，数据 仓库的⽅式已经不适⽤。⽽数据湖是针对⼤数据特点产⽣的新技术，可以理解为⼤数据容器。 数据湖和数据仓库最⼤的不同在于，数据仓库是先处理再存储，数据湖是先存储后处理。怎么 理解呢？我拿炒菜类⽐可能⼤家⽐较好理解。⽐如炒⼟⾖，数据仓库是先把⼟⾖削⽪，切丝， 放在冰箱⾥等着炒菜的时候拿出来⽤。这样做的好处是，炒的时候⽅便，坏处是如果哪天我不 想吃⼟⾖丝，⽽想吃⼟⾖⽚就没有办法。数据湖是直接把⼟⾖放冰箱，等炒菜的时候再拿出来 处理。好处是可以根据具体的分析具体决定如何处理。