当前位置:技术分享 > 技术参考 > 正文

主流大数据系统在后台的层次角色及数据流向2015-04-09 09:44:30 | 编辑:hely | 查看: | 评论:0

最近有不少质疑大数据的声音,这些质疑有一定的道理,但结论有些以偏概全,应该具体问题具体分析。对大数据的疑问和抗拒往往是因为对其不了解,需要真正了解之后才能得出比较客观的结论。

\


最近有不少质疑大数据的声音,这些质疑有一定的道理,但结论有些以偏概全,应该具体问题具体分析。对大数据的疑问和抗拒往往是因为对其不了解,需要真正了解之后才能得出比较客观的结论。

大数据是一个比较宽泛的概念,它包含大数据存储和大数据计算,其中大数据计算可大致分为计算逻辑相对简单的大数据统计,以及计算逻辑相对复杂的大数据预测。下面分别就以上三个领域简要分析一下:

第一,大数据存储解决了大数据技术中的首要问题,即海量数据首先要能保存下来,才能有后续的处理。因此大数据存储的重要性是毫无疑问的。

第二,大数据统计是对海量数据的分析统计和轻度挖掘,例如统计海量用户产品的日/月活跃度、用户基于地区的分布、用户历史操作、运营侧数据指标等,这些需要大数据计算平台的支持才能实现,对于拥有海量用户的互联网公司来说是不可或缺的技术。

第三,大数据预测领域才是争议最多的领域。事实上,预测必有误差、必有小概率事件,大数据预测的背后是各种机器学习/模式识别等深度挖掘算法,这些算法只是工具而已,用得好不好、恰不恰当还是要看应用的领域和使用者本身的能力。就像C++语言这个工具,适合做后台开发,不适合做网页前端,有C++编程很牛的程序员,也有编程很差的程序员,不能因为存在编程差的程序员而否定C++。

此外,大数据预测想要做到精准,门槛非常高,所以有很多声称使用大数据预测的产品,实际效果往往不佳,给人们造成了大数据预测普遍不行的印象。由于门槛高,真正能掌握大数据预测能力,做到精准的,目前只有很少数产品。

综上所述,大数据存储和大数据统计是海量用户产品不可或缺的技术,而对于大数据预测技术,小概率事件必然出现,且并不是每个人都能运用得好。所以不能笼统地说大数据没有用处,要看具体领域,以及产品背后的团队。

大数据经过最近几年的发展,它的基础设施——各个大数据存储和计算平台已经比较成熟,业界主流的大数据平台在后台的层次角色一般如下图所示:

 

\

 

上一篇:京东私有云三大技术方向解析 浅谈数据可视化那些可用的工具和示例下一篇:

公众平台

搜索"raincent"或扫描下面的二维码