Hadoop大数据技术复习题

更新时间：试题数量：购买人数：提供作者：

有效期：个月

章节介绍：共有个章节

收藏

我的练习

我的错题
(0道)

我的收藏
(0道)

我的斩题
(0道)

我的笔记
(0道)

专项练习

顺序练习 练习进度 0 / 0

随机练习 自定义设置练习量

模拟考试 仿真模拟

题型练习 按题型分类练习

易错题 精选高频易错题

学习资料 考试学习相关信息

搜索

题库预览

数据挖掘的目标明确，先做假设，然后通过数据分析来验证假设是否正确，从而得到相应的结论。

关联规则挖掘过程是发现满足最小支持度的所有项集代表的规则。

MLlib组件是Spark中的机器学习算法库。

UserCF算法是给目标用户推荐那些和他们之前喜欢的物品相似的物品。

Pregel属于图计算技术。

序列数据没有时间戳。

数据分析一般都是得到一个指标统计量结果，如总和、平均值等。

离群点可以是合法的数据对象或者值。

谷歌开发了分布式文件系统GFS。

用于分类的离散化方法之间的根本区别在于是否使用类信息。五、简答题

简述大数据预处理的目的是什么？参考答案：大数据预处理的目的就是为了保证数据的质量，数据挖掘的基石是质量良好的数据集合。在真实世界中，数据通常是不完整的(　　)、不一致的(　　)、极易受到噪声(　　)的侵扰的。因为数据库太大，而且数据集经常来自多个异种数据源，低质量的数据将导致低质量的挖掘结果。数据预处理就是解决这些数据问题的可靠方法。

简述 YARN 在 Hadoop 生态系统中的作用？参考答案：YARN（Yet Another Resource Negotiator）在 Hadoop 生态系统中主要负责集群资源的管理和调度。它将计算资源（如 CPU、内存等）从 Hadoop 中分离出来，使得多种计算框架（如 MapReduce、Spark 等）可以共享集群资源。YARN 为应用程序提供了统一的资源管理接口，根据应用程序的需求分配资源，并监控资源的使用情况。它包括 ResourceManager(　　)和 NodeManager(　　)等组件，ResourceManager 负责整个集群资源的管理和分配决策，NodeManager 负责管理单个节点上的资源，并与 ResourceManager 协作执行资源分配任务。

简述 Spark 与 Hadoop 的区别与联系？参考答案：区别：计算模型方面，Spark 采用弹性分布式数据集(　　)的抽象概念，支持更灵活的迭代式计算和内存计算，而 Hadoop 的 MapReduce 模型相对较为固定，主要用于批处理任务；数据处理速度上，Spark 在内存计算时速度优势明显，对于迭代算法等性能表现较好，Hadoop 的 MapReduce 在处理大规模磁盘数据时效率较高；编程接口上，Spark 提供了丰富的 API（如 Scala、Java、Python 等），编程方式更加简洁直观，Hadoop 的 MapReduce 编程相对较为繁琐。联系：Spark 可以与 Hadoop 集成，它可以读取和处理存储在 Hadoop HDFS 中的数据，也可以利用 Hadoop 的 YARN 进行资源管理和调度，两者在大数据生态系统中相互补充，共同为处理大规模数据提供解决方案。

简述 Hadoop中任务调度器的类型及其工作原理(　　)？参考答案： FIFO Scheduler(　　)：这是 Hadoop 中最简单的任务调度器。工作原理是按照作业提交的先后顺序将任务放入一个队列中，先提交的作业先获得资源并执行。当一个作业执行完成后，才会为下一个作业分配资源。这种调度器的优点是简单易懂，但缺点是不能充分利用集群资源，可能导致短作业等待长作业执行完成，影响整体的执行效率。 Capacity Scheduler(　　)：它允许多个组织或用户共享集群资源。通过为每个组织或用户分配一定的资源容量（如 CPU、内存等），可以保证每个用户或组织都能获得一定比例的集群资源。在每个用户或组织内部，作业按照 FIFO 的顺序执行。当某个用户或组织的资源有剩余时，可以将剩余资源分配给其他用户或组织的作业，提高资源利用率。它还支持资源抢占等功能，以确保重要作业能够及时获得足够的资源。 Fair Scheduler(　　)：其目标是为每个作业提供公平的资源分配机会。它将资源平均分配给每个作业，使每个作业都能在一定时间内获得大致相同的资源份额。如果一个作业没有充分利用分配的资源，剩余资源会被分配给其他正在等待资源的作业。它也支持资源池的概念，可以为不同类型的作业或用户设置不同的资源池，每个资源池内的作业按照公平原则分配资源。

SPARK的主要特点有____、____、____、____。

Scrapy网络爬虫系统由____、____、____、爬虫、数据项管道、下载中间件和爬虫中间件构成，俗称“5+2”结构。

常见的数据可视化图表有____、____、____、散点图和雷达图。

常见的数据存储介质有____、____和____。

常见的日志采集工具有____、____、____。

数据预处理主要有____、____、____和____四种基本处理方法。

1 6 7 8 9 10 11