什么时候需要大数据分析平台,大数据分析平台哪个好
1.起源起源 2008年9月，美国《自然》杂志，正式提出“大数据”概念。2011年2月1日，美国《科学》杂志，通过社会调查的方式，第一次分析了大数据对人们生活的影响。2011年5月，麦肯锡研究院分布报告。大数据是指其大小超出了常规数据库工具获取，存储，管理和分析能力的数据集。特征
大数据分析平台哪个好，大数据成立于几几年？
1.起源
起源 2008年9月，美国《自然》杂志，正式提出“大数据”概念。2011年2月1日，美国《科学》杂志，通过社会调查的方式，第一次分析了大数据对人们生活的影响。2011年5月，麦肯锡研究院分布报告。大数据是指其大小超出了常规数据库工具获取，存储，管理和分析能力的数据集。特征4V特征（value，volume，velocity，variety）
Value：价值高。
Volume：体量大。（数据每个18月翻一番，而每年产生的数据量增长到44万亿GB）
Velocity：速度快。（数据生成，存储，分析，处理远远超过人们的想象力）
Variety：种类多。
大数据的来源按产生主体（1）企业（关系型数据库，数据仓库）
（2）人（浏览信息，聊天，电子商务......）
（3）机器（服务器产生日志，视频监控数据）
数据来源的行业划分（1）BAT三大公司为代表
（2）电信、金融、保险、电力、石化系统
（3）公共安全、医疗、交通领域
（4）气象、地理、政务等领域
（5）制造业和其他产业
按数据存储的形式划分（1）结构化
（2）非结构化
二．大数据技术支撑
大数据运用场景环境，教育，医疗，农业，智慧城市，零售业，金融业。
大数据的处理方法数据采集数据抓取，数据导入，物联网设备自动抓取
数据预处理数据清理，数据集成，数据转换，数据规约。
转换：过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。
规约：寻找依赖于发现目标的数据的有用特征，缩减数据规模，最大限度地精简数据量。
统计与分析统计与分析主要是利用分布式数据库，或分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总，以满足大多数常见的分析需求，在这些方面需要使用不同的框架和方法。
Hadoop：大数据的核心，主要组成部分包括：mapreduce（处理）和HDFS（存储）和yarn（集群资源管理和调度）；
Hbase：常用数据库；spark：实时数据处理框架；sqoop：数据导入导出；flume：日志采集工具
Hive：数据仓库，必须有SQL基础，可以做离线的数据分析，把复杂的mapreduce代码转化为简单的sql语句，
而且可以处理的数据类型更加丰富，对接的工具也更多，是整个大数据学习中非常主要的一部分。
Scala语言主要用来开发spark代码，调用spark的相关API方法，还有spark SQL和spark streaming的开发，主要对接Kafka进行数据的消费，然后进行流数据处理。结果可以保存在本地数据库，也可以保存在大数据平台下。
在大数据的统计与分析过程中，主要面对的挑战是分析涉及的数据量太大，其对系统资源，特别是I/O会有极大的占用。
数据挖掘Hadoop和大数据的渊源什么是hadoop？Hadoop 是 Apache 旗下的一套开源软件平台。Hadoop 可以利用计算机集群，根据用户自定义的业务逻辑对海量数据进行分布式处理。通常我们说的 Hadoop 是指一个更广泛的概念--Hadoop 生态圈。hadoop生态圈
技术介绍（1）Ambari：Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。
Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper，Sqoop，Hcatalog。
（2）Hdfs：Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。
HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。
HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。大数据技术首要的要求就是先把数据存下来。HDFS（Hadoop Distributed FileSystem）的设计本质就是为了大量的数据能够横跨成千上万台机器存储，但是对于用户来说看到的是一个文件系统而不是许多文件系统。比如说你要获取 /hdfs/tmp/aaa 的数据，虽然使用的是一个路径，但找个文件的数据可能存放在很多台不同的机器上。作为用户来说不需要知道数据到底存储在哪儿，就像你在单机上并不关心文件到底存储在磁盘那个扇区一样。这些数据交由 HDFS 来存储。
---------------------
ii容错率是指在某个体系中能减小一些因素或选择对某个系统产生不稳定的概率。POSIX表示可移植操作系统接口（Portable Operating System Interface of UNIX，缩写为 POSIX ）
Yarn：Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
MapReduce：分布式离线计算
Hive：在使用了一段时间的 MapReduce 以后，程序员发现 MapReduce 的程序写起来太麻烦。希望能够封装出一种更简单的方式去完成 MapReduce 程序，于是就有了 Pig 和 Hive。
Pig 是以类似脚本的方式去描述 MapReduce，而 Hive 则是以 SQL 的方式。它们会自动把脚本或者 SQL 翻译成 MapReduce 程序，然后丢给计算引擎去计算处理。有了 Hive 以后人们发现 SQL 的优势太大了。一是容易写，一两行的 SQL 换成 MapReduce 可能要几十上百行。二是容易上手，即使非计算机背景的用户也可以很快的学会。三是易写易改，一看就懂，容易维护。所以自从 Hive 问世很快就成长为大数据仓库的核心技术。使用了一段时间的 Hive 后人们发现 Hive 运行在 MapReduce 上太慢了。于是有开发出了针对于 SQL 优化的技术 Impala，Drill 和 Presto 等。这些技术 牺牲了系统的通用性和稳定性来提高 SQL 的效率，最终并没有流行起来。
Sqoop：Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库。
Storm:如果想要更快的计算速度，比如视频网站的热博榜，要求更新延迟在一分钟内，上面的任何一种手段都无法胜任。于是 Streaming（流）计算模型被开发出来了。Storm 是最流行的流计算平台。流处理的思路就是在数据进入系统的时候就进行处理，基本无延迟。缺点是不灵活，必须事先直到需要统计的数据，数据流过就没有了，没法进行补算。因此它是个好东西，但还是无法代替上述体系的。
HBase: 是一个构建与 HDFS 的分布式，面向列的存储系统。以 kv 对的方式存储数据并对存取操作做了优化，能够飞快的根据 key 获取绑定的数据。例如从几个 P 的数据中找身份证号只需要零点几秒。
除此之外还有需要定制的组件。比如：Mahout 是机器学习和推荐引擎，Nutch 是搜索引擎，Zookeeper 是集群管理工具，Sqoop 是 Hadoop 和数据库之间的导入导出工具，Flume 是日志提取 Oozie 作业调度。
________________________
i容错率是指在某个体系中能减小一些因素或选择对某个系统产生不稳定的概率。POSIX表示可移植操作系统接口（Portable Operating System Interface of UNIX，缩写为 POSIX ）
一般用哪些工具做大数据分析？
其实，大数据分析这个部分是很大的模块，包括从底层数据仓库搭建到最后的数据展示，非常复杂。
你说的是业务、IT都能用的数据处理和展现部分吧，今天就推荐一个。
前言"数据可视化工具，可爱者甚番。分析师独爱R，自Python以来，世人盛爱matplotlib。余独爱FineBI之出分析而不拖沓，做可视化还算酷炫......."。哈哈，秀个拙劣~
本文向大家介绍最近更新的一个数据分析可视化神器——FineBI。和Tableau、PowerBI都是同属一类工具，自助式BI。
之前我在一些回答里面也有过推荐，不过我更爱他的兄弟FineReport，以至于换了两家公司都连续推荐采购。但最近新出的5.0版本着实让我惊艳了一把，给人的感觉，比PowerBI更成熟稳定功能更多，平价版的Tableau替代！
接下来讲重点讲解它的主要功能、特点和同类具的对比、以及基本使用方法。
后面还会再针对这个工具写一篇详细深入的上手教程。
阅读目录前言FineBI的主要功能FineBI的主要特点FineBI Vs 其他同类产品FineBI的分析思想获取方法&学习资料小结FineBI的主要功能先来说说BI，BI全称商业智能（Business Intelligence），是一套完整的数据解决方案，将企业的数据有效整合，快速制作可视化报表，以供业务决策。它一般涉及数据仓库（现也和很多大数据方案对接）、ETL、OLAP分析，权限控制等模块。
顾名思义，FineBI是一款BI商业智能工具，能简单快速的生成各种酷炫的可视化数据报表，做有目的性的数据分析。
所以，它主要完成下面几个工作：
1. 数据的整合
2. 数据的分析和可视化
3. 报表制作与发布
FineBI的主要特点BI工具那么多，为何我要重点推荐这款BI工具呢？
Tableau和PowerBI的好自不用我多说，知乎上大家都议论了很多。
但这款BI做为国产，不由得让我产生好奇和好感，值得关注和鼓励。更何况它能够足以应对基本的数据分析，不虚于那两者，且具备下面几大特点：
1、打通各类数据源
FineBI能够从各种数据源中抓取数据进行分析，除了支持大家常用的Oracle、SQLServer、MySQL等数据库，还支持SAP BW、HANA、Essbase等多维数据库。
大数据前端分析，FineBI可对接Hadoop、Kylin、Derby、Gbase、ADS、Hbase、Mongodb等大数据平台。在对接方面有自己的分布式连接方案。
下图是FineBI的数据连接窗口：
还支持导入Excel数据，支持从R语言脚本导入数据。所以基本能对接各类数据源，打通并整合。
2. 易用性(无需编程)
笔者给自己的定位是一枚数据科学家，因此不会也不能将过多精力放在可视化工作上。毕竟数据库/数据仓库系统架构，数据挖掘算法研究等工作更是重中之重。而FineBI采用的拖拽数据字段，自动出图的操作方式，将我从可视化的泥潭中解放出来，把更多精力投放到数据管理，算法研究和业务沟通上。下图展示了FineBI清爽商务的工作界面。
易用性还体现在数据处理方面。
要知道一份数据拿到在分析是还是要做很多公式计算、过滤筛选处理的。惊喜的是这个工具内置了各种计算公式、过滤组件。
比如时间过滤，大家觉得还要手写公式么。
各种现成的计算公式，基本告别SQL和代码。
这里展示的仅仅是一小个方面，绝大多数商业公司出品的软件在易用性方面完爆开源产品。
3、可视化颜值高
一些图表（出自官方）
下面这些图是笔者20分钟不到就做好的，稍加美化，估计也能达到大部分客户在颜值上的要求了：
要知道同样的工作使用R语言的ggplot2至少要2小时(含调试)，使用Python的matplotlib就更久了。
4、数据权限管控
FineBI的数据权限管控，可以说是很专业了，这也是开源和商业不能比的。
笔者是FineReport的深度用户，FineReport是报表应用工具，应用面更广，数据安全性要求也更高，FineBI差不多是沿用了其兄弟产品的一套权限管理方案。可以对不同部门/岗位/角色的人员，进行数据源/业务包/数据表/分析报表的权限管控。简单来讲，你可以让不同人看到仅有自己权限下的报表和数据。
嗯，暂时就说这几点，再说有打广告嫌疑了......
FineBI Vs 其他同类产品1. FineBI VS Excel
两者是不太一样的产品，Excel更全面更加注重数据处理，而FineBI比较精简更注重报表及可视化，FineBI更像是数据透视表+少量VBA。不过两者结合用相得益彰。
2. FineBI VS R语言ggplot2
ggplot2其实是R语言的可视化包，因此对于熟悉R语言的人来说，使用ggplot2会非常得心应手。同时由于ggplot2是由编程语言R驱动，因此它在定制化方面肯定做得比FineBI要好。但是要写一定量代码，这个不是每个人都擅长，毕竟如果是简单的分析，大可不必入R的门。
3. FineBI VS Echarts等开源图表
Echarts一般是给前端程序员用的，需要编程语言JS驱动，不推荐没有编程基础的分析师使用，虽然Echarts可视化更丰富。
4. FineBI VS 其他商用BI工具(如Tableau、PowerBI等)
功能方面都没有太大差异，就是你多一个，我少一个的区别。对大部分人来说日常的数据分析足够了。
使用感都有所不同，FineBI有个建立业务包环节，对数据做业务/场景区分。PowerBI属于组件拖拽式风；Tableau在分析时和FineBI差不多，探索式分析，调整可视化样式。
实际企业级商用有差异，因为要考虑得更多。企业级应用出产品使用上还要更多关注平台对接，架构方案，数据抽取方式还有性能，包括之前提的权限管控等，FineBI和Tableau更有商用基因，具体要看自己的实际需求和使用环境。
综上所述，以上的工具都没有单纯的优劣之分，具体问题具体分析，什么需求用什么工具。不过，如果你想快速地做美观的可视化报表，那FineBI值得一学。
FineBI的数据分析思想用FineBI做数据分析，总体的思路是这样的，和Tableau有点像：
1.先连接数据库，导入数据源。支持的数据源类型前文已说过。
2.然后初步处理数据，选择要分析的字段，分组汇总、新增列、合并表、行列转换等等。
3.接着进行数据分析。如果没目的，可以先根据自己的假设拖拽数据字段，看看数据是什么趋势是否有规律，渐渐摸清楚思路，所谓探索性分析。如果有目的，直接可视化就行。
4.最后形成可视化分析报告，导出或分享。
这里，我后面会出个一个详细的案例，可能会更能理解。
小结有些人可能会对商业软件带有一种排斥观念，个人觉得这是比较幼稚的。商业软件固然需要花钱，但劣质的开源软件更可能浪费大家的宝贵时间。显然我们应该将精力更多的投放到数据和算法本身以及具体业务上，工具只不过是工具罢了。
这个观点比较主观，不过请不要纠结，因为FineBI是免费的，企业级部署会有2个并发限制，需要购买lic。
国内哪家大数据分析服务平台比较好？
这里介绍几个平台：
1、星环Transwarp
基于hadoop生态系统的大数据平台公司，国内唯一入选过Gartner魔力象限的大数据平台公司，对hadoop不稳定的部分进行了优化，功能上进行了细化，为企业提供hadoop大数据引擎及数据库工具。
2、阿里数加
阿里云发布的一站式大数据平台，覆盖了企业数仓，商业智能、机器学习、数据可视化等领域，可以提供数据采集、数据深度融合、计算和挖掘服务，将计算的几个通过可视化工具进行个性化的数据分析和展现，图形展示和客户感知良好，但是需要捆绑阿里云才能使用，部分体验功能一般，需要有一定的知识基础。maxcompute是数加底层的计算引擎，有两个维度可以看这个计算引擎的性能，一个是6小时处理100PB的数据，相当于1亿部高清电影，另外一个是单集群规模过万台，并支持多集群联合计算。
3、华为FusionInsight
基于Apache进行功能增强的企业级大数据存储、查询和分析的统一平台。完全开放的大数据平台，可运行在开放的x86架构服务器上，它以海量数据处理引擎和实时数据处理引擎为核心，针对金融、运营商等数据密集型行业的运行维护、应用开发等需求，打造了敏捷、智慧、可信的平台软件。
4、知于大数据分析平台
知于平台的定位与当今流行的平台定位不一样，它针对的主要是中小型企业，为中小型企业提供大数据解决方案。现阶段，平台主打的产品是舆情系统、文章传播分析与网站排名监测，每个服务的价格单次在50元左右，性价比极高。
本人认为刚介绍的这四个大数据分析平台比较好，希望对你有帮助！
大数据怎么入门学习好？
大数据相比较于Java、Python等编程语言来说，确实是入门比较难的，不过如果想自学也没毛病，只要你了解大数据的学习路线图，跟着学习路线图来学习，不会走偏，那么，想学习还是很容易的哦！
分享给大家一套大数据的学习路线图学习大数据，也需要一些编程语言要基础，之后还要学习Hadoop、spark等技术栈，在加上一些项目实战，就可以找工作喽！
第一阶段：零基础数据仓库管理可掌握的核心能力
?掌握企业级ETL平台的kettle
?掌握BI的可视化平台Superset
?掌握Kettle ETL处理设计思想
?掌握大数据企业开发中最常见的linux的操作
?掌握一款主流数据库客户端工具DataGrip
?掌握企业MySQL的调优方案
?掌握大数据分析中数据全量及增量同步解决方案
?掌握生产环境中数据分析程序的部署解决方案
第二阶段：Java语言编程可掌握的核心能力
?掌握Java程序基础数据类型
?掌握开发中常用类如集合、IO流、常用类等操作
?掌握Java异常处理机制
?掌握反射、网络编程、多线程开发
?掌握Jsoup的网络爬虫开发
?掌握JDBC操作
?掌握ETL数据处理和BI报表开发
第三阶段：Hadoop技术栈可掌握的核心能力
?掌握shell编程
?掌握ZooKeeper原理并应用
?掌握HDFS的使用和MapReduce编程
?理解MapReduce原理和调优
?掌握Yarn的原理和调优
?掌握Hive的使用和调优
第四阶段：项目一（在线教育）可掌握的核心能力
?掌握从需求、设计、研发、测试到落地上线的完整项目流程
?掌握大量教育行业的真实业务逻辑，涉及20多个主题，100多个指标
?掌握海量数据如何调优、使用拉链表、增量数据处理，以及Hive函数的具体应用等
?掌握基于CM的大数据环境部署和管理
?掌握数据仓库的核心概念和应用
?掌握常用离线大数据技术：Oozie、Sqoop、Hive等
?掌握FineReport可视化
第五阶段：数据微服务接口开发可掌握的核心能力
?掌握SpringBoot整合SpringMVC开发
?掌握SpringBoot整合MyBatis开发
?掌握Eureka搭建
?掌握Feign的使用
第六阶段：实时生态圈可掌握的核心能力
?掌握Redis原理及架构
?掌握Redis命令操作、及数据结构
?掌握Hbase原理及架构
?掌握HBase命令操作、MapReduce编程
?掌握Phoneix二级索引优化查询
?掌握ELK开发掌握Kafka原理及架构
掌握KafkaStreams开发
掌握基于Flink进行实时和离线数据处理、分析
掌握基于Flink的多流并行处理技术
掌握千万级高速实时采集技术
第七阶段：项目二（证券、物联网任选其一）可掌握的核心能力
?掌握基于FTP、Flume + Kafka的实时数据采集开发
?掌握TB级海量规模下Flink实时处理开发，保证实时计算高容错
?掌握三种不同时间维指标的存储、计算方案（Druid、MySQL、HBase），例如：毫秒级秒级分时等时间维
?掌握基于Kylin的即席快速OLAP开发
?掌握基于Flink CEP的实时预警监控开发
?掌握基于Spring Boot的数据服务接口开发
第八阶段：Spark技术栈可掌握的核心能力
?掌握Scala语言基础、数据结构
?掌握Scala语言高阶语法特性
?掌握Spark的RDD、DAG、CheckPoint等设计思想
?掌握SparkSQL结构化数据处理，Spark On Hive整合
?掌握Spark Streaming整合Kafka完成实时数据处理
?掌握Spark Streaming偏移量管理及Checkpoint
?掌握Structured Streaming整合多数据源完成实时数据处理
第九阶段：项目三可掌握的核心能力
?掌握Docker环境部署、管理操作
?掌握基于Oracle + MySQL异构数据源数据处理技术
?掌握基于Oracle Golden Gate以及Canal的实时采集技术
?掌握Kudu + Spark的快速离线数据处理、分析技术
?掌握Kudu + Impala即席数据分析技术
?掌握基于ClickHouse高性能存储、计算引擎技术
?掌握基于ELK的全文检索技术
?掌握Kudu、Spark的调优能力
?掌握基于Spring Cloud的数据微服务接口开发技术
如果想要学习，有免费教程，可以私信我哦
什么时候需要大数据平台？
谢邀！
最近我和我的团队一直在做一些大数据相关的工作，我来回答一下这个问题。
首先是第一个问题，大数据平台是什么？当我们说到一个平台的时候，我们的意识里面往往就知道，这里面肯定不止一样东西，它是很多东西的一个集合，大数据平台也是一样，首先如果用几个字来描述它的话就是“它是一个数据解决方案”，进一步解析就是：大数据平台它是一个以分布式存储为基础，集成了数据获取，数据清洗，数据流转，数据分析，数据输出等工具集的一个数据解决方案。它的核心使命是提供数据存储和数据分析服务给目标客户。
那么它的核心组成部分是什么呢？实现的方法有多种，我就举一个最典型的大数据平台结构作为说明。
目前无论是国内或者国外，应用最广泛也是最典型的大数据平台是以Hadoop为核心进行功能延伸的生态系统，业内把它叫做Hadoop生态，它开源并且免费使用，它长什么样子？它的面目基本上是这样：
从上图我们得知，它就是一套以Hadoop分布式文件系统为核心的数据处理工具集，目的是为了向用户提供数据分析服务的一个集成解决方案。
什么时候需要大数据平台？简单的说就是当数据总量大到传统单机数据解决方面没办法存储，分析，计算时就要用到大数据平台。
举例说，家用电脑目前一般是配置2TB大小的硬盘(存储容量约等于于18个128G的iPhone)，一般几万块钱的商用服务器容量大约在32TB容量，高端的单机存储器可以达到100TB以上，但是数据量如果再大比如上跳一个数量级1000TB,也就是1PB左右，单机系统就无能为力了，不单是存储容量无能为力，计算能力也无法应对了，因为我们知道，单台计算机的性能是有极限的，数据太多磁盘检索读取的速度就会变慢，CPU和内存压力也会变大，这个时候需要完成一个数据分析任务就要耗时很长，那么这个时候大数据平台就派上用场了，大数据平台的一个特性就是多台计算机组成一个集群集体并行作战，并且理论上可以无限拓展。
希望我的回答能够帮助到您，有任何问题请在留言区留言，也欢迎关注头条号，一个20年资深IT领域工作者，我会以图文和视频的方式陆续更新一些IT知识在我的头条号上。
发布于 2023-01-17 22:36:02