Hadoop

更新时间：试题数量：购买人数：提供作者：

有效期：个月

章节介绍：共有个章节

收藏

我的练习

我的错题
(0道)

我的收藏
(0道)

我的斩题
(0道)

我的笔记
(0道)

专项练习

顺序练习 练习进度 0 / 0

随机练习 自定义设置练习量

模拟考试 仿真模拟

题型练习 按题型分类练习

易错题 精选高频易错题

学习资料 考试学习相关信息

搜索

题库预览

Sqoop是关系型数据库与Hadoop之间的数据桥梁，这个桥梁的重要组件是Sqoop连接器。

Sqoop从Hive表导出MySQL表时，首先需要在MySQL中创建表结构。

--target-dir参数是指定HDFS目标目录地址，因此需要提前创建目标文件。简答题：五、简答题（共4题，30分）

Watcher对ZNode的监听是永久性的。

在MapReduce 中,所有的数据类型都必须实现 Writable 接口。( )

MapReduce 中的 Map 函数用于数据聚合。( )

（）是一款分析历史数据的利器，只有在结构化数据的情况下才能大显神威。

（）是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(MySQL等）间进行数据的传递。（2.0）

yarn框架第一版是（）年发布。（2.0）

以MapReduce统计学员的平均成绩,如果输出结果的格式为"学生姓名平均成绩",例如“Alice 89.5”,那么通过( )选用输出键值对格式。（1.0）

由InputFormat源码可知，InputFormat有两个方法：getSplits()和。

简述大数据的4V特征。(　　) Volume(　　)Variety(　　)Velocity(　　)Value(　　)

简述什么是SSH，并写出免密登录的过程。(　　) SSH是一种网络协议，主要用于提供安全的远程登录和其他网络服务。它通过加密数据传输，可以有效防止信息泄露，如DNS欺骗和IP欺骗，同时保护用户登录时的密码等敏感信息。SSH最初是为UNIX 系统设计的，但现在已经支持多种操作系统平台。SSH客户端和服务器可以运行在多种操作系统上，提供了一种安全的方式来远程管理计算机。下面分步骤实现虚拟机Hadoopl的SSH免密登录。 (　　)实现SSH免密登录的首要任务是在虚拟机中生成密钥。执行“ssh-keygen-t rsa”命令生成密钥，并根据提示连续按4次Enter键进行确认。 (　　)默认情况下,密钥文件存储在/root/.ssh/目录。执行“cd/root/.ssh/”命令进入存储密钥文件的目录,在该目录下执行“ll”命令查看ssh目录下的文件。 (　　)将虚拟机 Hadoop1生成的公钥文件复制到集群中相关联的所有虚拟机从图2-51从而实现通过虚拟机Hadoop1免密登录虚拟机Hadoop1、Hadoop2和Hadoop3的功能，具体命令如下 $$ ssh-copy-id hadoop1 $$ ssh-copy-id hadoop2 $ ssh-copy-id hadoop3需要注意的是，上述命令在执行过程中需要读者输入两部分内容，一是输入yes并按Enter键，表示同意连接指定虚拟机；二是输入当前连接虚拟机中root用户的密码，这里以复制公钥文件到虚拟机Hadoop1为例进行说明，在虚拟机Hadoopl上输入“ssh-copy-id hadoop2”“ssh-copy-id hadoop3”，执行同样的操在作，可将公钥文件复制到虚拟机Hadoop2和Hadoop3。 (　　)在虚拟机 Hadoopl上执行“ssh hadoop2”命令访问虚拟机Hadoop2，验证虚拟机到此命Hadoop1是否可以免密登录虚拟机Hadoop2，虚拟机Hadoop1在访问虚拟机Hadoop2时无须输入密码，说明已成功为虚拟机配置了SSH免密登录。若想在虚拟机Hadoopl上退出对虚拟机Hadoop2的访问，执行“exit”命令即可。

简述大数据应用场景。(　　) 一、医疗行业的应用：

Hadoop集群主要配置文件有哪些，各自有什么作用？(　　) 配置文件功能描述 hadoop-env.sh 配置Hadoop运行所需的环境变量 yarn-env.sh 配置Yarn运行所需的环境变量 core-site.xml Hadoop核心全局配置文件，可在其他配置文件中引用 hdfs-site.xml HDFS配置文件，继承core-site.xml配置文件 mapred-site.xml MapReduce配置文件，继承core-site.xml配置文件 yarn-site.xml Yarn配置文件，继承core-site.xml配置文件

简述Shuffle的工作流程一、Map阶段 (　　) MapTask处理的结果会暂且放人一个内存缓冲区中,当缓冲区快要溢出时,会在本地文件系统创建个溢出文件,将该缓冲区的数据写入这个文件。 (　　)写人磁盘前,线程会根据reduceTask的的数量,将数据分区,一个Reduce任务对应一个分区的数据。这样做的目的是为了避免有些reduce任务分配到大量数据,而有些reduce任务分到很少的数据,甚至没有分到数据的尴尬局面。 (　　)分完数据后,会对每个分区的数据进行排序,如果此时设置了Combiner，将排序后的结果进行Combine操作，这样做的目的是尽可能少执行数据写入磁盘的操作。 (　　)当 Map任务输出最后一个记录时,可能有很多溢出文件,这时需要将这些文件合并，合并的过程中会不断地进行排序和Combine操作,其目的有两个:一是尽量减少每次写入磁盘的数据量,二是尽量减少下一复制阶段网络传输的数据量。最后合并成了一个已分区且已排序的文件。二、Reduce阶段 (　　) Reduce会接收到不同map任务传来的数据,并且每个map传来的数据都是有序的。如果Reduce阶段接收的数据量相当小,则直接存储在内存中,如果数据量超过了该缓冲区大小的一定比例，则对数据合并后溢写到磁盘中。 (　　)随着溢写文件的增多,后台线程会将它们合并成一个更大的有序的文件,这样做是为了给后面的合并节省时间。 (　　)合并的过程中会产生许多的中间文件,但 MapReduce会让写入磁盘的数据尽可能地少,并且最后一次合开的结果并没有与人磁盘,而是直接输入到 reduce函数。

什么是Zookeeper？具有哪些特性？在Hadoop中扮演什么角色？(　　) 一、Zookeeper是一个开源的分布式协调服务，它可以为大规模分布式系统提供一致性服务，如配置管理、命名服务、分布式锁、组服务等。二、特性：

Hive 是什么？它与关系型数据库有哪些相同以及不同之处？(　　) 一、Hive 是一个基于 Hadoop 的数据仓库工具，它可以将结构化或半结构化数据映射为一张或多张表，并提供类 SQL 的查询语言 HiveQL 来查询和分析数据。二、它与关系型数据库有以下几点异同：相同点：都支持表、列、行等概念；都支持 SQL 或类 SQL 的语法；都支持建表、查询、聚合等操作。不同点：Hive 基于 Hadoop 存储和计算数据，而关系型数据库基于自身存储引擎和优化器存储和计算数据；Hive 不支持事务、索引、约束等特性，而关系型数据库支持；Hive 不支持更新和删除操作，而关系型数据库支持；Hive 查询结果不是实时返回的，而关系型数据库查询结果是实时返回的；Hive 支持多种数据格式和 SerDe(　　)，而关系型数据库只支持固定格式。

简述Yarn集群的工作流程。(　　)

Flume是一种可配置、高可用的（）。窗体底端窗体底端

1 6 7 8 9 10 11

更多题库