复习题库-自然语言处理

更新时间：试题数量：购买人数：提供作者：

有效期：个月

章节介绍：共有个章节

收藏

我的练习

我的错题
(0道)

我的收藏
(0道)

我的斩题
(0道)

我的笔记
(0道)

专项练习

顺序练习 练习进度 0 / 0

随机练习 自定义设置练习量

模拟考试 仿真模拟

题型练习 按题型分类练习

易错题 精选高频易错题

学习资料 考试学习相关信息

搜索

题库预览

在自然语言处理中，解释文档（document）、语料库（corpus）、词汇表（vocabulary）三个概念，并举例说明。

请解释词干提取和词形还原的含义，并举例说明，请进一步解释两者区别？

解释词袋模型（BOW）的定义、工作原理，并阐述其进行语义建模的优点和局限。

请解释分词（tokenization）及其类型。什么是停用词（stop words）？为什么在自然语言处理中要删除它们？

Word2Vec 的 CBOW 模型的原理可以用下图表示，请按图中示意解释 CBOW 模型原理。上图中语料为“①”。 CBOW 首先对语料进行分词处理，提取出词典，在上图示例中词典的 Token 数量有 ② 个。图中语料“我的祖国”上面 W=3 的含义是 ③。训练 CBOW 模型的过程是根据设定的 W 参数，从原始语料以滑动窗口的方式每次取 W 个词元，用上下文推理中间词。在图中的示例为 ④ 这两个词元对应的向量最后要推理得到“的”词元。图中左侧词元“我”用（1，0，0，0，0，0，0，0，0，0）表示，这种表示的方法称为“⑤”编码。图中的 Win 的作用是⑥。输入向量经过 Win 变换后，经过 ⑦ ，再通过 Wout 变换，后经过 ⑧ ，转化为词典中某个预测词元的概率。通过训练，让模型推理得到的最大概率的目标词元与对应训练语料的目标词元一致，则这样训练得到的 ⑨ ，即可作为 CBOW 模型的词向量矩阵。（含图）

下面代码调用大语言模型，完成一定的功能，请阅读和理解代码的功能，在此基础上，请回答具体问题。【Python 源代码文件 t_regular_expression.py 文件如下】上表中的代码实现了什么功能。（含图）（含图）（含图）

UTF-8 是对 Unicode 码点进行变长编码的方式。请根据 UTF-8 的编码规则，将字符串 “YN 云南”的所有字符转换为 UTF-8 编码（十六进制形式，每个字节之间空格分隔）。请写出： 1）每个字符的 Unicode 码点（请从下表查找）（含图）

UTF-8 编码步骤（写出二进制分析过程）和编码结果为多少只需要说明 YN 中一个的编码过程和云南中一个的编码过程即可。（含图）

你看到学长在命令行中飞快的输入如下的命令，请解释他输入这些命令的作用，注意把①②③④⑤⑥⑦⑧⑨⑩的答案填到答题卡的对应表格中。 1）>conda create -n modelscope python=3.12 2）>conda activate modelscope 3）>pip install modelscope, qwen-tts, qwen-asr -i https://mirrors.aliyun.com/pypi/simple/ 4）>modelscope download --model Qwen/Qwen3-ASR-0.6B --local_dir Qwen3-ASR-0.6B 5）>modelscope download --model Qwen/Qwen3-ForcedAligner-0.6B --local_dir Qwen3-ForcedAligner-0.6B 6）>modelscope download --model Qwen/Qwen3-TTS-12Hz-0.6B-Base --local_dir Qwen3-TTS-12Hz-0.6B-Base 行号1输入命令的作用是______。行号2输入命令的作用是______。行号3输入命令的作用是______。行号4、5、6输入命令的作用是______。（含图）

你看到学长运行如下代码。代码 t_qwen_asr.py 1）import torch 2）from qwen_asr import Qwen3ASRModel 3） 4）if __name__ == '__main__': 5） model = Qwen3ASRModel.from_pretrained( 6） ".Qwen3-ASR-0.6B", 7） dtype=torch.bfloat16, 8） device_map="cuda:0", 9） max_inference_batch_size=32, 10） max_new_tokens=256, 11） forced_aligner=".Qwen3-ForcedAligner-0.6B", 12） forced_aligner_kwargs=dict( 13） dtype=torch.bfloat16, 14） device_map="cuda:0", 15） ), 16） ) 17） 18） results = model.transcribe( 19） audio=[ 20） "assets/life.mp3", 21） "assets/city.mp3", 22） ], 23） language=None, # can also be set to None for automatic language detection 24） return_time_stamps=True, 26） ) 26） 27） for r in results: 28） print(r.language, r.text, r.time_stamps[0]) 当学长在命令行终端运行上表代码，屏幕输出的内容如下。 Chinese 我见过在小城市，依然埋头奋斗的人。也见过在大城市混吃等死的人。见过在大城市朋友爱人都不是的人。也见过在小城市中迷失自我的人。所以生活会变成什么样子，灵魂会变成什么样，跟你所在的城市大小一点关系都没有。 ForcedAlignItem(text='我',start_time=0.72,end_time=0.88) Chinese 广西祖国南疆明珠，属亚热带季风气候，长期面临着旱涝灾害的双重夹击。一日东风三日雨，三日东风无米煮，正是这种情况的真实写照。防汛抗旱任务艰巨，责任重于泰山。广西认真贯彻落实习近平总书记重要指示精神，为人民至上竭尽所能，为生命至上倾尽全力，全力打赢打好防汛抗旱主动仗。广西祖国南疆明珠，属亚热带季风气候，长期面临着旱涝灾害的双重夹击。一日东风三日雨，三日东风无米煮，正是这种情况的真实写照。防汛抗旱任务艰巨，责任重于泰山。广西认真贯彻落实习近平总书记重要指示精神，为人民至上竭尽所能，为生命至上倾尽全力，全力打赢打好防汛抗旱主动仗。 ForcedAlignItem(text='广',start_time=3.84,end_time=4.16) 请解释 assets/life.mp3 的文件内容是______。请解释 assets/city.mp3 的文件内容是______。（含图）（含图）

你准备给你的自然语言老师写一些你上课后的建议，并让 AI 念给老师听，请补全下面表中的标号部分的代码内容。代码 t_qwen_tts.py 1）import torch 2）import soundfile as sf 3）from qwen_tts import Qwen3TTSModel 4） 5）# Load the model 6）model = Qwen3TTSModel.from_pretrained( 7） "__________", 8） device_map="cuda:0", 9） dtype=torch.bfloat16, 10）) 11） 12）ref_audio = "./assets/life.mp3" 13）ref_text = "我见过在小城市，依然埋头奋斗的人。也见过在大城市混吃等死的人。见过在大城市朋友爱人都不是的人。也见过在小城市中迷失自我的人。所以生活会变成什么样子，灵魂会变成什么样，跟你所在的城市大小一点关系都没有。" 14）# Generate speech 15）wavs, sr = model.generate_voice_clone( 16） text="________________________________________", 17） language="Chinese", 18） ref_audio=__________, 19） ref_text=__________, 20）) 21） 22）# Save the resulting audio 23）sf.write("output_voice_clone.wav", wavs[0], sr)（含图）（含图）

请问上述代码输出结果是什么？

代码第10行的函数tokenizer作用是什么？

代码49行使用的CountVectorizer是来自哪个包③，它的作用是④，在使用它的fit_transform转化文本语料的时候，用到的分词器是⑤。

模型训练的时候，损失函数使用的是BCELoss，这个损失函数中文翻译为⑥。BCELoss要求标签的类型必须是⑦类型，因此代码中将labels转成了该类型。在训练过程中调用optimizer.zero_grad()的作用是⑧，否则每次循环计算的梯度会累加导致训练失败；loss.backward()重新根据损失值计算梯度；optimizer.step()则根据计算的梯度更新一次模型参数值，使模型计算结果沿着让损失函数值减小方向调整。

模型推理的时候，代码使用torch.with_nograd的作用是禁止模型计算梯度，这样的好处是⑨。推理时用vectorizer.transform([test_sent])将句子转换为向量，再用模型输出一个介于0和1的⑩值。

请解释代码入口处的如下代码中的4个变量的含义。（2分） batch = 1 seq_len = 10 d_model = 512 num_heads = 8

代码的 forward 函数将输入 x 运算得到 y，请写出计算过程的主要公式。（3分）

早期的自然语言处理系统 ELIZA，用什么基本技术来模拟与用户的对话？

根据赫普斯定律（Heaps' Law，$$|V| = kN^b$$），当一个语料库的规模（总词数 N）不断增大时，其词汇量（不同单词的数量|V|）会如何变化？

为什么像中文这样的语言进行自动分词（tokenization）比英语更具挑战性？

字节对编码（Byte-Pair Encoding, BPE）训练算法是如何从原始文本中学习并构建其词汇表的？

在正则表达式中，表达式 `\r\b[tT]he\b` 和 `\r'[tT]he` 之间的主要区别是什么？

在处理文本时，“词形”（word types）和“词例”（word instances）这两个概念有何不同？

UTF-8 是一种可变长度的编码方案。这意味着什么？