大数据技术的发展方向与应用

2017-01-02 14:49 来源:译见大数据 点击数: 加入收藏
导读

  种种迹象显示,从最初的大数据定义之争,到挖掘大数据应用价值、协商合作方向,大数据产业已经进入务实发展阶段,人们对大数据的思考也日趋冷静。今天译见带你一起探究大数据的技术发展与应用。 Hadoop相关的大数据技术在最近两年中出现了一些新的进展和变化,一些过时技术被淘汰,例如Flume等,同时也涌现了一些新的技术和进展,例如Flink等。 

交互式数据分析

  交互式分析过去一直是Hadoop技术的主要应用之一,一度有25%的Hadoop用户用于建设数据集市和数据探索类应用。研发人员也一直致力于提高交互式分析计算技术的性能。交互式数据分析技术可以帮助用户根据特定数据从浅入深的挖掘问题,还可以对数据进行智能识别、过滤、 排序、统计等处理,从而发现数据中蕴含的价值点。与非交互式数据处理相比较,交互式数据处理灵活、直观、便于控制。 

    交互式数据处理系统在BI中,可以对于数据进行切片和多粒度的聚合,从而通过多维分析技术实现数据的钻取。在互联网领域中,诞生了各种互联网交互式数据处理平台,如搜索引擎、电子邮件、即时通讯工具、社交网络、微博、博客以及电子商务等。用户可以在这些平台上获取或分享各种信息,此外还有各种交互式问答平台,如百度的知道、新浪的爱问以及Yahoo!的知识堂等。 交互式数据处理系统的典型代表系统是Berkeley的Spark系统和Google的Dremel系统。 

机器学习

    机器学习技术的关注点从计算框架、算法的分布式实现,开始转向提高算法/模型的准确度、模型选择和特征工程的自动化,以及最近的深度学习。

   过去两年,机器学习直接且普遍地在我们的生活中体现价值:客服机器人、垃圾邮件过滤、人脸识别、语音识别、个性化推荐等等。未来,机器学习将成为“数据准备与预测分析工作的必要前提”。许多企业已将先进机器学习技术视为最重要的未来战略趋势。 

实时流处理技术

    实时流处理技术过于一直在Lambda和Kappa架构上争论,一直致力于实现一个融合真正事件驱动的流计算引擎和批处理引擎的融合计算引擎。 

    实时流处理技术应用场景主要是两类:一类是互联网、另一类是移动互联网,移动互联网和互联网的个性服务,不断提升用户体验对实时要求是非常高的。一般要样本性的相应,而互联网的传感数据,通过智能分析来经营决策。其次该技术在金融、电信、交通、公安、海关、互联网等领域都可以应用。

    大河奔涌,泥沙俱下,大数据时代的到来必将引起一系列的连锁反应。企业需要独具慧眼,明确大数据技术发展方向和应用趋势,找到适合企业的最佳商业智能决策数据服务技术,才能脱颖而出。大数据技术,依靠的不仅仅是天马行空的想象,还有脚踏实地的探索和研究。只有通过强大的大数据技术才能使我们看到未来翻天覆地的大变化!加入大数据,永远都不迟!

<