BOB半岛体育在这个生产水平高速发展的今天，互联网每刻都会产生庞大的数据，我们将这类有意义的数据统称为大数据，为了将这类大数据用于各种行业里BOB半岛体育，我们就出现了大数据工程师，很多人都想了解有关于大数据工程师的内容，所以今天就来讲讲大数据的概念是什么。

　　一旦数据可用，系统就可以开始处理数据以显示实际信息。计算层可能是系统中最多样化的部分，因为需求和最佳方法可能会根据所需的洞察类型而有很大差异。数据通常由一个工具迭代地重复处理，或者通过使用许多工具来表示不同类型的见解。

　　批处理是一种计算大型数据集的方法。该过程包括将工作分成更小的部分BOB半岛体育，在单个机器上安排每个部件，根据中间结果重新调整数据，然后计算和组装最终结果。这些步骤通常分别称为分裂，映射，改组，缩减和组装，或统称为分布式地图缩减算法。这是 Apache Hadoop 的 MapReduce 使用的策略。在处理需要大量计算的非常大的数据集时，批处理最有用。

　　虽然批处理非常适合某些类型的数据和计算，但其他工作负载需要更多的实时处理。实时处理要求立即处理和准备信息，并要求系统在新信息可用时作出反应。实现此目的的一种方式是流处理，其对由各个项组成的连续数据流进行操作。实时处理器的另一个共同特征是内存计算，它与集群内存中数据的表示一起使用，以避免必须写回磁盘。

　　Apache StormBOB半岛体育，Apache Flink 和 Apache Spark 提供了实现实时或近实时处理的不同方法。这些技术中的每一种都存在权衡，这可能会影响哪种方法最适合任何个别问题。通常，实时处理最适合分析正在快速更改或添加到系统的较小数据块。

　　以上示例表示计算框架。但是，在大数据系统中还有许多其他计算或分析数据的方法。这些工具经常插入上述框架，并提供额外的接口以与底层进行交互。例如，Apache Hive 为 Hadoop 提供了一个数据仓库接口，Apache Pig 提供了一个高级查询接口，而与数据类似的 SQL 交互可以通过 Apache Drill，Apache Impala，Apache Spark SQL 和 Presto 等项目实现。对于机器学习，Apache SystemML，Apache Mahout 和 Apache Spark 的 MLlib 非常有用。对于在大数据生态系统中得到广泛支持的直接分析编程，R 和 Python 都是受欢迎的选择。

　　由于在大数据系统中处理的信息类型，随着时间的推移识别数据的趋势或变化通常比值本身更重要。可视化数据是发现趋势和理解大量数据点的最有用方法之一。

　　实时处理经常用于可视化应用程序和服务器度量标准。数据经常变化，指标中的大量增量通常表明对系统或组织的健康状况产生重大影响。在这些情况下，像 Prometheus 这样的项目可用于将数据流作为时间序列数据库处理并可视化该信息BOB半岛体育。

　　一种流行的数据可视化方法是使用 Elastic Stack，以前称为 ELK 堆栈BOB半岛体育。由用于数据收集的 Logstash，用于索引数据的 Elasticsearch 和用于可视化的 Kibana 组成，Elastic 堆栈可以与大数据系统一起使用，以便与计算结果或原始指标进行可视化交互。使用 Apache Solr 进行索引并使用名为 Banana 的 Kibana fork 进行可视化，可以实现类似的堆栈。由这些创建的堆栈称为 Silk。