Http负载均衡的日志保护很多内容，目前包括这些字段：

logName,
Resource.type,
Resource.labels.url_map_name,
Resource.labels.forwarding_rule_name,
Resource.labels.backend_service_name,
Resource.labels.target_proxy_name,
Resource.labels.zone,
Resource.labels.project_id,
textPayload,
Jsonpayload_type_loadbalancerlogentry._type,
Jsonpayload_type_loadbalancerlogentry.statusdetails,
Timestamp,
receiveTimestamp,
Severity,
insertId,
httpRequest.requestMethod,
httpRequest.requestUrl,
httpRequest.requestSize,
httpRequest.status,
httpRequest.responseSize,
httpRequest.userAgent,
httpRequest.remoteIp,
httpRequest.serverIp,
httpRequest.referer,
httpRequest.cacheLookup,
httpRequest.cacheHit,
httpRequest.cacheValidatedWithOriginServer,
httpRequest.cacheFillBytes,
httpRequest.protocol,
Operation.id,
Operation.producer,
Operation.first,
Operation.last,
trace,spanId,
traceSampled,
sourceLocation.file,
sourceLocation.line,
sourceLocation.function

通过这些字段，可以查询Http负载均衡的流量、CDN Cache的流量、http status等各种信息。

本文将介绍如何实现把http负载均衡的日志导入到BigQuery，并实现查询。

一创建http负载均衡

通过Google的console或命令行创建一个http的负载均衡：

二把http负载均衡的日志导入BigQuery

创建好后，把负载均衡的日志通过stackdriver导入到BigQuery中。

1 logging export
在STACKDRIVER中选择logging，选择exports：

2 Edit Export

选择Cloud HTTP Load Balancer，
在Edit Export中起一个export的名字，tobigquery
Sink Service选BigQuery
Sind Destination选择创建一个新的BigQuery dataset

3 new BigQuery dataset
给新的dataset起一个名字，并创建

4 update Export
对创建好的Export，可以修改内容，比如指定具体的http负载均衡：

这里指定了hw-http-lb-01-forwarding-rule这个负载均衡规则的logging。选择好后，点击update sink：

三 BigQuery中查询

1 查询准备

过一段时间，在BigQuery中(https://bigquery.cloud.google.com)可以看到创建的DataSet已经有数据进来：

点击compose Query：

点击show options：

去掉Use Legacy SQL后点击hide Options：

2 查询

具体查询：

查询http status是大于200，小于400的访问（正常访问）

或者>400的非正常访问。

3 统计流量

通过SQL中的sum功能统计流量：

统计了http status大于等于200，小于400的下行流量为1.7M。

四总结

通过把http负载均衡的日志导入BigQuery，可以方便的在BigQuery中对Http的各种属性通过SQL语句进行统计和分析。

文章版权归作者所有，未经许可不得转载。

创作场景

通过 BigQuery 查询 Http 负载均衡流量信息的实现方法