单选题
下列哪个函数可以实现判断网页是否可以爬取？（）

A、

set_url()

B、

read()

C、

can_fetch()

D、

modified()

由4l***hx提供分享举报纠错

相关试题

单选题通过设置HTTP请求的哪个参数可以实现伪装成浏览器访问网页？（）

A、headers

B、params

C、timeout

D、data

单选题下列哪个函数可以检测字符的编码类型？（）

A、

decode()

B、

encode()

C、

detect()

D、

Request()

单选题下列不属于Response对象属性的是（）

A、

Text

B、

Content

C、

Encoding

D、

txt

单选题下列不属于HTML标签的是（）。

A、Class

B、a

C、title

D、Head

单选题下列哪项不属于解析网页的库？（）

A、正则表达式

B、beautifulsoup4

C、lxml

D、requests

单选题下列哪个函数可以实现合并URL？（）

A、

urljoin()

B、

urlpase()

C、

urlencode()

D、

quote()

单选题下列不属于常见爬虫类型的是

A、增量式网络爬虫

B、浅层网络爬虫

C、通用网络爬虫

D、聚焦网络爬虫

单选题下列哪项表示禁止爬取ABC文件夹下的文件？（）

A、

Disallow: /ABC/

B、

Disallow: /ABC

C、

Disallow: /*?ABC

D、

Disallow: /ABC/*.htm