1.Universal Scraper Api 输入参数查询
参数 | 类型 | 默认值 | 说明 |
source | string | - | 爬虫id |
context
|
map[string]interface | - | 特定参数,用户自定义的额外信息 |
string | - | 链接到某一页面 | |
number | - | 选择截图类型(仅适用于png格式)(1:完整页长截图,2:视窗截图) | |
geo | string | - | 地区 |
callback | string | - | 回调地址 |
js_render | bool | FALSE | 是否开启js渲染 false:禁用 true:启动 |
locale | string | - | 语言 |
format | []string | - | 需要的返回格式 |
这些参数帮助实现从简单 HTML 抓取,到 JS 渲染、自动解析、截图甚至会话模拟等复杂需求
2.输出查询参数
字段名称 | 类型 | 说明 |
created_at | string | 请求创建时间,格式为 YYYY-MM-DD HH:MM:SS |
id | string | 唯一标识符,格式为 s_XXXXXXXXXXXX_XXXX |
request | interface{} | 请求的详细信息,包括回调、上下文、格式等 |
callback | string | 回调地址,表示请求完成后的通知地址(如果有的话) |
context
|
map[string]interface | 上下文,包含特定的请求参数 |
string | 请求的 URL,表示要抓取或处理的网址 | |
number | 截图类型,表示截图格式或选择的截图类型(1表示某种类型) | |
format | []string | 请求所需的返回格式,可以是多个格式的数组(例如 html 和 png) |
geo | string | 地理位置代码,表示请求来源的地理区域(例如 AE 表示阿联酋) |
js_render | boolean | 是否开启 JavaScript 渲染,true 表示启用,false 表示禁用 |
locale | string | 请求的语言环境,格式为 语言-地区(例如 af-ZA 代表南非的阿非利堪语) |
source | string | 爬虫的来源标识,表示该请求来自哪个爬虫(例如 uni-scraper) |
status | string | 当前请求的状态,表示任务的当前进度或状态(pending待定 done完成 faulted有缺点的) |