数据工程师培训题库一.docx
- 文档编号:28724478
- 上传时间:2023-07-19
- 格式:DOCX
- 页数:9
- 大小:19.09KB
数据工程师培训题库一.docx
《数据工程师培训题库一.docx》由会员分享,可在线阅读,更多相关《数据工程师培训题库一.docx(9页珍藏版)》请在冰豆网上搜索。
数据工程师培训题库一
【说明】
a)客观题30题,每题2分,总计60分
b)主观题4题,每题10分,总计40分
c)总分值100分。
【不定项选择题〔每题2分共60分〕】
1、在HDFS效劳中,为了保证NameNode高可用性的角色不包括〔〕
A.DataNode
B.JournalNode
C.ZKFC
D.Zookeeper
2、Namenode在启动时自动进入平安模式,在平安模式阶段,说法错误的选项是〔〕
A.平安模式目的是在系统启动时对数据有效性进行检查
B.根据策略对数据块进行必要的复制或删除
C.当数据块的上报数到达阈值时,会自动退出平安模式
D.允许用户对文件系统进行读写操作
3、在集群中配置HDFS的副本数为3,设置数据块大小为128M,此时我们上传一份64M的数据文件,该数据文件占用HDFS空间大小为〔〕
A.64M
B.128M
C.384M
D.192M
4、以下对YARN角色在集群中的作用描述正确的选项是〔〕
A.集群资源管理
B.集群任务调度与管理
C.存储局部HDFS上的数据块
D.以上都正确
5、在Yarn效劳中,不包含以下哪种角色〔〕
A.ResourceManager
B.NodeManager
C.ApplicationMaster
D.Contianer
TDH数据平台认证工程师试题
姓名:
_______________分数:
____________
6、以下计算框架中不属于分布式计算框架的是〔〕
A.MapReduce
B.MATLAB
C.SPARK
D.Tez
7、以下关于外表和托管表描述正确的选项是〔〕
A、外表的数据存储在本地,托管表的数据存储在hdfs上
B、删除托管表只会删除Inceptor上的元数据不会删除数据文件,删除外表两者都会被删除
C、删除外表只会删除Inceptor上的元数据不会删除数据文件,删除托管表两者都会被删除
D、删除托管表或外表,incepotr上的元数据和数据文件都会被删除
8、以下对分桶表的描述正确的选项是〔〕
A、分桶表通过改变数据的存储分布,对查询起到一定的优化作用
B、分桶键不能是表中的列
C、分桶数应为素数
D、事物表必须制定分桶,分桶字段可以被更新
9、以下关于inceptorexcutor资源配置的说法正确的有〔〕
A、Excutor资源配置fixed和ratio两种模式
B、Excutor内核数配置的是每个excutor所使用的逻辑core数量
C、Excutor内核数和内存配置比例一般为1core:
2Gmemory
D、Excutor分布可以指定每个节点运行的excutor数量或executor在集群上运行的总数量,但是不能指定运行的节点
10、假设使用场景中有如下查询语句
SELECTSex,Region,COUNT(ID),AVG(Salary)
FROMEmployee
WHEREDepartment='IT'
GROUPBYSex,Region
ORDERBYSex,Region;
通过holodesk的cube和index手段对这种过滤率和聚合率高的业务进行优化,以下建表正确的选项是〔〕
A.CREATETABLEEmployee
TBLPROPERTIES(
'cache'='RAM',
''='Department',
''='Sex,Region'
)
B.CREATETABLEEmployee
TBLPROPERTIES(
'cache'='RAM',
''='Sex,Region'
''='Department'
)
C.CREATETABLEEmployee
TBLPROPERTIES(
'cache'=''Department'',
''='Department',
''='Sex,Region'
)
D.CREATETABLEEmployee
TBLPROPERTIES(
'cache'='RAM',
''='Department',
''='Sex'
)
11、关于Hyperbase全局索引的描述,哪些是正确的?
〔〕
A.核心是倒排表
B.全局索引概念是对应Rowkey这个“一级〞索引
C.全局索引使用平衡二叉树
D.全局索引使用B+树检索数据
12、以下为Hyperbase分布式存储的最小单元的是〔〕
A、Regionserver
B、Region
C、StoreFile
D、Store
13、以下有关Hyperbase说法正确的选项是〔〕
A、数据类型丰富,支持String、Int、Char等类型
B、Key/value系统,key由Row,ColumnFamily,ColumnQualifier组成
C、Hyperbase表中rowkey有序,按字典序降序排列
D、以上说法都不正确
14、以下关于StreamSQL的概念描述正确的选项是〔〕
A.Stream是数据流
B.Streamjob是对一个或多个stream进行计算并将结果写进一个流的任务
C.Application是一个或多个streamjob的集合
D.以上说法都不正确
15、某交通部门通过使用流监控全市过往24小时各个卡口数据,要求每分钟更新一次,原始流为org_stream,以下实现正确的选项是〔〕
A.CREATESTREAMWINDOWtraffic_streamASSELECT*FROMoriginal_streamSTREAMw1AS(length'1'minuteslide'24'hour);
B.CREATESTREAMtraffic_streamASSELECT*FROMoriginal_streamSTREAMWINDOWw1AS(length'1'minuteslide'24'hour);
C.CREATESTREAMtraffic_streamASSELECT*FROMoriginal_streamSTREAMWINDOWw1AS(length'24'hourslide'1'minute);
D.CREATESTREAMtraffic_streamASSELECT*FROMoriginal_streamAS(length'24'secondslide'1'minute);
16、以下不是Zookeeper的功能是〔〕
A.配置管理
B.集群管理
C.分布式锁
D.存储大量数据
17、以下效劳需要与zookeeper进行通信的是〔〕
A.HMaster
B.ActiveNameNode
C.InceptorSQL
D.ActiveResourceManager
18、以下是关于flume和sqoop比照的描述,不正确的选项是〔〕
A.flume主要用来采集日志而sqoop主要用来做数据迁移
B.flume主要采集流式数据而sqoop主要用来迁移标准化数据
C.flume和sqoop都是分布式处理任务
D.flume主要用于采集多数据源小数据而sqoop用来迁移单数据源数据
19、有关使用sqoop抽取数据的原理的描述不正确的选项是〔〕
A.sqoop在抽取数据的时候可以指定map的个数,map的个数决定在hdfs生成的数据文件的个数
B.sqoop抽取数据是个多节点并行抽取的过程,因此map的个数设置的越多性能越好
C.sqoop任务的切分是根据split字段的〔最大值-最小值〕/map数
D.sqoop抽取数据的时候需要保证执行当前用户有权限执行相应的操作
20、sqoop抽取数据时需要做一些数据转换的工作,下面说法不正确的选项是〔〕
A.--fields-terminated-by‘\\01’用来设置在hdfs生成的文件的分割符
B. --hive-drop-import-delims 用来设置在hdfs生成的文件的存储形式为列存储
C.--null-string'\\N' 用来把所有的String类型的空值转换成hive的NULL值
D.--null-non-string'\\N'用来把非String类型的空值转换成hive的NULL值
21、以下有关flume的描述不正确的选项是〔〕
A.flume是Apache的一个子工程
B.flume主要是一个日志采集,传输系统
C.flume和sqoop功能相似,因此可以相互替代
D.flume可以同时采集集群内部和集群外部的日志数据
22、以下sink中哪些是flume不支持的sink〔〕
A.HDFSsink
B.kafkasink
C.memorysink
D.filerollsink
23、以下对ElasticSearch描述不正确的选项是〔〕
A.ElasticSearch是分布式全文搜索引擎
B.ElasticSearch集群中分master和data节点
C.ElasticSearch数据存储在HDFS上
D.ElasticSearch数据可以按Shard分布在不同的节点上
24、以下不属于kafka应用场景的是〔〕
A.常规的消息收集
B.网站活动性跟踪
C.日志收集
D.关系型数据库和大数据平台之间的数据迁移
25、TDH提供哪几种认证模式?
〔〕
A.所有效劳使用简单认证模式——所有效劳都无需认证即可互相访问
B.所有效劳都启用Kerberos认证,用户要提供Kerberosprincipal和密码〔或者keytab〕来访问各个效劳
C.所有效劳都启用Kerberos同时Inceptor启用LDAP认证
D.所有效劳都启用LDAP认证
26、以下对各组件的运维页面描述不正确的选项是〔〕
A.通过NameNode的50070页面对HDFS进行监控
B.通过ResourceManager的8180对YARN上运行的任务进行监控
C.通过HMaster的60010对HBase进行监控
D.通过HueServer的8888页面登入Hue
27、Inceptorserver效劳无法启动时,该如何查看日志是〔〕
A.查看TDHmanager所在节点/var/log/inceptorsql*/目录下的hive日志
B.查看Inceptorserver所在节点/var/log/inceptorsql*/目录下的hive日志
C.查看ResourceManager所在节点/var/log/Yarn*/目录下的日志
D.查看任意节点/var/log/inceptorsql*/目录下的hive日志
28、以下对Hadoop组件的应用场景描述正确的选项是〔〕
A.Hive主要用于构建大数据数仓,主要做批处理、统计分析型业务
B.Hbase主要用于检索查询的OLTP业务
C.ElasticSearch主要用于全文检索的关键字查询业务
D.SparkStreaming主要用于实时数据的业务场景
29、以下不属于管理角色的是〔〕
A.NameNode
B.HMaster
C.ResourceManager
D.NodeManager
30、下面哪些工作不属于集群预安装工作〔〕
A.为集群中每个节点的安装操作系统
B.选一个节点作为管理节点,修改其/etc/hosts文件
C.安装TranswarpManager管理界面
D.配置集群平安模式
【客观简答题〔每题10分,共40分〕】
1、集群有8个节点,每个节点有8块硬盘〔默认3副本〕。
如果某个节点有3块盘损坏,是否可能存在数据块丧失情况;如果有3个节点发生故障,是否可能存在数据块丧失情况;并简述原因。
答:
2、请描述TDH平台中在Yarn上可以使用哪几种调度策略,并分别阐述各调度策略的特点。
3、请简述bulkload的作用和操作步骤〔包括原理的步骤和使用sqlbulkload的步骤〕。
4、请列出TDH下的4大组件〔Inceptor、Hyperbase、StreamSQL、Discover〕的特性以及适用场景。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 工程师 培训 题库
![提示](https://static.bdocx.com/images/bang_tan.gif)