BOB半岛体育最近几年，到处都能听到大数据这个词，比如大数据推荐，大数据分析，大数据挖掘等；仿佛用大数据这个词就能解释很多没有关联的事；但是大数据到底有哪些应用价值，却没有清晰认识。 一些企业和部门怀着对大数据的期盼，引入了大数据技术开发解决应用场景，发现带来的价值不如预期；大数据的核心特性，是对大数据量的处理能力。什么场景需要，处理能力能干什么？对于很多单位或者企业，会有这样的疑惑。笔身深耕在大数据应用一线，从使用者的角度去总结和分析大数据带来的价值，如果无法分析到尽善尽美，希望大家谅解和补充。上一章基于企业和大数据应用做了详细分析。大数据企业应用场景分析-CSDN博客大数据技术就像个新的土地，如何基于新土地优化原有或者构建新东西，大体方向从这两个维度去思考。对于原有技术场景的优化，数据分析、高并发数据处理属于这类；智能推荐、产品/流程优化、异常检测、智能管理、人工智能和机器学习属于第二类，通过大数据技术构建新东西。在大数据技术出现以前，数据分析通常在OLTP数据库之上，写SQL用数据库自带引擎做数据分析BOB半岛体育，数据存储瓶颈分表分库解决，计算性能也得不到保障；大数据技术出现以后，对于业务的分析，可以统一通过数仓产出，且可以跨业务关联分析；除此之外，由于大数据本身的处理能力，以前无法做到的，比如通过日志，或者更细节的埋点分析，都可以通过大数据技术做到业务支持。在大数据技术出现以前，对于提高业务性能的需求，基本是通过多线程高并发的方式实现BOB半岛体育，大数据技术将许多高并发的业务场景，简化成几个配置选项，对于一些数据采集、数据处理、数据分析，多数数据驱动的场景，使用大数据技术，能极大的提升业务的性能。对于数据处理的应用需求，用牺牲部分灵活性的代价，极大的提升了数据处理的性能。在大数据技术出现以前，受限于技术性能，许多需求是不合理；得益于大数据技术的出现，可以在高性能的基础上构建一些有价值的新需求，比如产品智能推荐、广告系统、产品/流程优化、异常检测、智能管理、人工智能和机器学习等。对于面向市场的产品BOB半岛体育，内容媒体定制化推荐，能实现更好的用户体验，比如新闻媒体、视屏号等；这些需求要在极快的时间做到人群划分和媒体内容划分，使用大数据技术，实现快速的搜索和准确的推荐功能，交互性能往往在秒级；这样的产品，能在应用市场占据很大的份额。在巨大的市场用户面前，广告需要满足推荐的精准分析和高效推荐；这需要对产品用户数据的智能管理和分析提出很高的技术要求，和智能推荐的技术架构场景类似，需求场景不同。这里优化有两个过程，第一个是发现需要优化的部分，第二个是使用大数据技术优化局部性能；比如对于高QPS、快速搜索、快速计算的数据库，使用大数据技术，可以提高业务性能，最简单的场景，将Mysql的详情数据写入ES，使用ES的API提供数据支撑，数据量越大，性能对比效果越好。得益于大数据技术的数据处理能力，实时性和TPS，对于业务、物联网设备、中间件、产品安全等多种场景，可以使用大数据技术作为核心架构，构建起高效的异常检测系统，为多种场景的安全和运维护航，这对于业务和系统的安全与稳定有很好的作用。笔者所在的公司，面向市场有上百万的PC电脑，对电脑资产的监控和管理一直是个痛点问题；在APP上埋点SDK工具，使用大数据技术作为采集和分析驱动，定时采集PC状态，将资产信息实时同步到业务系统，很快和稳定的构建起资产管理。对于多数公司，这个应用都是没有落地场景的，但是还是要提一下，大数据和算法的交互：数据特征工程；大数据数据采集、存储和治理是人工智能和机器学习的基石，这个价值按照业界的话来说，价值巨大但落地周期长，在一些基础算法分类、预测、决策的场景经常配合大数据能力一同使用。对于数据分析，第一指标的价值，能体现出来的决策支持有效性就是其价值；这需要深入理解业务，并提取出第一性重要性指标，从这个角度，数据开发只是提供大数据的能力支撑，核心是数据分析对业务的理解和指标重要性的评估。有些人觉得大数据是业务支持岗位，缺少业务价值，没有岗位安全感；这可能需要从指标的价值上去呈现，大数据应该比业务更理解业务，从中提取出有价值的信息，而不是单独的计算PV、UV这种状态指标，分析指标的变化关系和原因，这是更深一层的价值。对于传统后端中间件的性能，已经无法服务大业务场景的需求，引入大数据组件，可以如同之前操作OLTP数据库一样一样，写简单的DSL语句完成业务需求；这依赖了大数据产品的高性能，这一层价值是产品赋予的，是大数据工作者的大数据解决方案。大数据除了数据分析，还能基于大数据技术栈的特新，构建新需求，这些需求的价值，有增加用户体验的智能推荐，或者广告系统，或可以减轻运维压力，或智能异常检查，或安全工程师的风险管理，资产运维等。从大数据技术的视角，这些只能通过大数据技术性能实现的需求，才是大数据工作岗的护城河。比如智能推荐：需要实现对大量用户的精细化管理，对人群和内容标签分类BOB半岛体育，对标签人群的快速搜索BOB半岛体育，对标签内容的快速推荐，这需要极高的接口QPS和搜索推荐性能；这些都是大数据技术擅长的；比如智能运维：需要实时捕捉大量业务系统、中间件、主机、终端、移动端、供应商等运行的实时日志，实时监控各种系统的稳定性，并对各个模块做到智能检测管理，这是用到了大数据实时吞吐和快速计算检测的能力特性。比如风险检测：对系统或者终端网络等的安全管理，需要实时监测捕捉大量运行数据，且面对实时变换的风险特征持续更新和增加，这些也依赖大数据技术的高吞吐性能和实时计算能力。人工智能和机器学习：这些需要依靠大数据的处理能力，替算法构建特征模型，使用算法的能力做分析、决策和预测等应用。时常在想，为什么大数据岗位有安全感担忧。可能和领导对大数据的期盼有关；在引入大数据岗位的时候，往往希望大数据能带来有价值的决策支撑，然后落地之后才发现常规的PV/UV计算只能计算指标状态，BI等对决策支撑力度不够，这需要数据分析师赋能；并且大数据数据库可以直接给后端使用，对应的数据库提供了API接口，可以跳过大数据开发，后端开发者可以直接使用，大数据岗位在中间只做了集成需求，这种岗位需求也不高；除此之外，数据中台、应用中台的开发，偏向于后端开发，对大数据技术的需求并没有那么大；这些场景，小数据量的维度计算、对大数据产品的应用、数据中台产品的开发，这些都是对大数据技术的要求没有那么强的要求。大数据是新的技术生态，技术就是工具，工具就是用来解决问题；对于已有的应用场景，大数据技术提供新的解决方案；对于大数据技术优秀的性能，可以构建新的业务需求；上文提到的应用和应用价值只是思考方向，对于更多的可能性，需要从真实应用需求中挖掘。