mapreduce bmr-奇异果体育app竞彩官网下载
更新时间:2021-06-10
以准备web日志数据为例,您可以直接使用百度智能云提供的样例数据,也可根据说明构造自己的输入数据:
-
使用百度智能云提供的样例数据,路径如下:
- 存储在“华北-北京”区域的样例数据路径为:bos://datamart-bj/web-log-10k/,仅华北区域的bmr集群可用。
- 存储在“华南-广州”区域的样例数据路径为:bos://datamart-gz/web-log-10k/,仅华南区域的bmr集群可用。
-
根据如下说明构造自己的输入数据,并上传到对象存储bos(具体操作详见)或您本地的hdfs中。
由nginx产生的web访问日志具备如下格式:
$remote_addr - [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_cookie" $remote_user "$http_user_agent" $request_time $host $msec
例如:
10.81.78.220 - [04/oct/2015:21:31:22 0800] "get /u2bmp.html?dm=37no6.com/003&ac=1510042131161237772&v=y88j6-1.0&rnd=1510042131161237772&ext_y88j6_tid=003&ext_y88j6_uid=1510042131161237772 http/1.1" 200 54 "-" "-" 9ca13069cb4d7b836dc0b8f8fd06f8af "imgotv-iphone/4.5.3.150815 cfnetwork/672.1.13 darwin/14.0.0" 0.004 test.com.org 1443965482.737