单选题 下列选项中,用于在调用get()函数发送GET请求时设置传递查询字符串参数的是( )。
A、params
B、data
C、proxies
D、verify
单选题 下列选项中,表示Robots协议禁止网络爬虫访问目录的是( )。
A、User-Agent
B、Disallow
C、Allow
D、Sitemap
单选题 下列选项中,关于网络爬虫工作流程的描述错误的是( )。
A、种子URL会被存储在待抓取URL队列中
B、网页下载器会将相应网页的内容下载到本地
C、在待抓取URL队列中会随机读取URL,并通过DNS解析URL
D、当待抓取URL队列为空时,表明数据抓取完成
单选题 下列哪项是表示请求成功的响应状态码( )。
单选题 下列选项中,关于通用网络爬虫的描述错误的是( )。
B、
通用网络爬虫的采集目标是整个互联网上的所有网页
D、
通用网络爬虫会从网页数据中抽取新的URL并放到URL队列中
单选题 下列选项中标识浏览器身份的请求头字段是( )。
A、User-Agent
B、Host
C、Accept
D、Referer
单选题 下列选项中,表示匹配前导字符0次或1次的是( )。