判断题 使用正则表达式\w+对文本分词时,会保留标点符号。

A、 正确
B、 错误
下载APP答题
由4l***5c提供 分享 举报 纠错

相关试题

单选题 子词分词(如BPE)的核心步骤是:

A、将单词按字母顺序重新排列
B、统计词频并迭代合并高频子词单元
C、随机拆分单词为固定长度片段
D、仅保留单词的前缀部分

单选题 子词分词(Subword Tokenization)的核心优势是:

A、完全消除分词歧义
B、减少词汇表大小,处理未登录词
C、显著提升分词速度
D、仅适用于英文,不适用于中文

单选题 词目还原(Lemmatization)与词干提取(Stemming)的本质区别是:

A、词目还原依赖词典,词干提取仅靠规则
B、词目还原只处理动词,词干提取处理所有词性
C、词干提取结果一定是合法单词,词目还原可能产生非词干
D、两者完全等价,只是术语不同

单选题 以下哪种语言的分词通常无需依赖显式分词算法?

A、中文
B、英文
C、日语
D、泰语

单选题 对文本"The Quick Brown Foxes JUMPED over the lazy dogs"进行词规范化,以下哪种处理顺序最优?

A、大小写折叠→词目还原→词干提取
B、词干提取→大小写折叠→词目还原
C、词目还原→词干提取→大小写折叠
D、大小写折叠→词干提取→词目还原

单选题 对文本"Kites FLY HIGH in the SKY!"进行规范化,正确的词形还原结果是:

A、["kite", "fly", "high", "in", "the", "sky"]
B、["kites", "fly", "high", "in", "the", "sky"]
C、["kite", "flies", "high", "in", "the", "sky"]
D、["kites", "flies", "high", "in", "the", "sky"]

单选题 使用jieba分词处理中文文本"研究生命科学",默认模式下的结果是:

A、["研究生", "命", "科学"]
B、["研究", "生命", "科学"]
C、["研究", "生命科学"]
D、["研究生", "命科学"]

单选题 使用正则表达式\W+对文本"Hello, world! How are you?"进行分词,结果是:

A、["Hello", "world", "How", "are", "you"]
B、["Hello", "world!", "How", "are", "you?"]
C、["Hello", "world", "How are you"]
D、["Hello, world!", "How are you?"]