Google cloud的Binary Authorization可以帮助用户在部署container时采用信任的image。可以通过配置信任的repository，也可以通过Key认证的方式实现image的认证。

本文将介绍，如何采用Binary Authorization实现容器的Image的安全部署。

一创建相关服务

1、开启相关的API

首先打开cloud shell，在cloud shell中检查相关的配置：

hengwei@cloudshell:~ (wh-service01)$ gcloud config list

[component_manager]
disable_update_check = True
[compute]
gce_metadata_read_timeout_sec = 5
[core]
account = hengwei@google.com
disable_usage_reporting = False
project = wh-service01
[metrics]
environment = devshell

定义参数：

PROJECT_ID=wh-service01
echo $PROJECT_ID
Wh-service01

ZONE=us-central1-a
echo $ZONE
us-central1-a

开启API：

gcloud services enable \
>     container.googleapis.com \
>     containeranalysis.googleapis.com \
>     binaryauthorization.googleapis.com
Operation "operations/acf.0587658c-ebed-42a4-ac53-5f68b3b3bb3f" finished successfully.

可以看到，此时Binary Authorization的API已经enable了：

2、创建GKE cluster

采用命令行模式创建GKE Cluster：

gcloud container clusters create \
     --enable-binauthz \
     --zone $ZONE \
     gkecluster01

NAME          LOCATION       MASTER_VERSION  MASTER_IP      
gkecluster01  us-central1-a  1.13.11-gke.23  35.222.79.234 
 
MACHINE_TYPE   NODE_VERSION    NUM_NODES  STATUS
n1-standard-1  1.13.11-gke.23  3          RUNNING

gcloud container clusters get-credentials --zone $ZONE gkecluster01

Fetching cluster endpoint and auth data.
kubeconfig entry generated for gkecluster01.

kubectl get node
NAME                                          STATUS   ROLES    AGE   VERSION
gke-gkecluster01-default-pool-5ecb124a-520n   Ready    <none>   15m   v1.13.11-gke.23
gke-gkecluster01-default-pool-5ecb124a-b314   Ready    <none>   16m   v1.13.11-gke.23
gke-gkecluster01-default-pool-5ecb124a-vn7p   Ready    <none>   15m   v1.13.11-gke.23

3、创建Container Image

查看Binauthz的策略：

gcloud container binauthz policy export

admissionWhitelistPatterns:
- namePattern: gcr.io/google_containers/*
- namePattern: gcr.io/google-containers/*
- namePattern: k8s.gcr.io/*
- namePattern: gke.gcr.io/*
- namePattern: gcr.io/stackdriver-agents/*
defaultAdmissionRule:
  enforcementMode: ENFORCED_BLOCK_AND_AUDIT_LOG
  evaluationMode: ALWAYS_ALLOW
name: projects/wh-service01/policy

Console中的配置：

创建docker image，并push到Google Container Registry（GCR）中。

image的Dockerfile：

cat << EOF > Dockerfile
   FROM alpine
   CMD tail -f /dev/null
EOF

Build和push：

export CONTAINER_PATH=us.gcr.io/$PROJECT_ID/hello-world
docker build -t $CONTAINER_PATH ./
gcloud auth configure-docker --quiet
docker push $CONTAINER_PATH

此时可以看到GCR中已经有image上传上来：

使用这个image创建deployment：

kubectl create deployment hello-world --image=$CONTAINER_PATH

可以看到已经创建成功：

kubectl get pod
NAME                           READY   STATUS    RESTARTS   AGE
hello-world-55b45c79cd-bwvgl   1/1     Running   0          13s

二配置Binary Authorization策略

根据前文的描述，Binary Authorization的策略有三种：

Allow All Image
Disallow All Image
Allow only images that have been approved by all the following attestors

我们在第一节中，测试Allow all image和Disallow all image两个策略，在第二节中，测试attestor相关的策略。

1、Binary Authorization Policy

创建policy.yaml文件：

cat > ./policy.yaml << EOF
    globalPolicyEvaluationMode: ENABLE
    defaultAdmissionRule:
      evaluationMode: ALWAYS_DENY
      enforcementMode: ENFORCED_BLOCK_AND_AUDIT_LOG
EOF

可以看到，这里把Adminission Rule改成了Always Deny，除白名单内的image，是不能创建pod的。

部署此策略：

gcloud container binauthz policy import policy.yaml

此时中console中可以看到策略如下：

重新部署deployment：

kubectl delete deployment --all
kubectl delete event --all
kubectl create deployment hello-world --image=$CONTAINER_PATH

可以看到，pod因为image policy，不能创建：

手工添加白名单：

保存后，deployment部署成功：

2、Attestor策略

GKE的Binary Authorization功能通过调用Container Analysis功能中的container image的metadata，来确定是否是认证过的image。具体实现方式如下：

在Container Analysis中定义Note，通过手工或自动的方式在创建image时，metadata中加入数字签名。
Binary Authorization中设置Attestor，调用Note，确认image的metadata中的数字签名。如果数字签名通过，可以把image部署到container中，否则不允许。从而实现对container Image的授权。

如下是container build的pipline：

在Build/Test以及Artifact阶段实现Attest：

在部署阶段，实现enforce：

A 创建Container Analysis Note

创建note配置文件：

cat > ./create_note_request.json << EOM
{
  "attestation": {
    "hint": {
      "human_readable_name": "This note represents an attestation authority"
    }
  }
}
EOM

创建note-01:

export NOTE_ID=attestor-note-01

curl -vvv -X POST \
    -H "Content-Type: application/json"  \
    -H "Authorization: Bearer $(gcloud auth print-access-token)"  \
    --data-binary @./create_note_request.json  \
    "https://containeranalysis.googleapis.com/v1/projects/${PROJECT_ID}/notes/?noteId=${NOTE_ID}"

查看note：

B 创建Attestor

用命令行：

export ATTESTOR_ID=binauthz-attestor-01

gcloud container binauthz attestors create $ATTESTOR_ID \
    --attestation-authority-note=$NOTE_ID \
    --attestation-authority-note-project=${PROJECT_ID}

查看Attestor：

gcloud container binauthz attestors list

C 添加key

Enable KMS服务：

gcloud services enable cloudkms.googleapis.com

采用Google Cloud KMS创建Key，并添加到attestor中。

创建Key-ring、Key：

export KEY_LOCATION=global
export KEYRING=key-ring-01
export KEY_NAME=key-01
export KEY_VERSION=1

gcloud kms keyrings create "${KEYRING}" --location="${KEY_LOCATION}"

gcloud kms keys create "${KEY_NAME}" \
    --keyring="${KEYRING}" --location="${KEY_LOCATION}" \
    --purpose asymmetric-signing  --default-algorithm="ec-sign-p256-sha256"

查看key的情况：

Attestor中添加Key：

gcloud beta container binauthz attestors public-keys add  \
    --attestor="${ATTESTOR_ID}"  \
    --keyversion-project="${PROJECT_ID}"  \
    --keyversion-location="${KEY_LOCATION}" \
    --keyversion-keyring="${KEYRING}" \
    --keyversion-key="${KEY_NAME}" \
    --keyversion="${KEY_VERSION}"

此时，Attestor中添加了Public Key：

D 对container Image进行签名

先获取Image对Digest：

export DIGEST=$(gcloud container images describe ${CONTAINER_PATH}:latest \
    --format='get(image_summary.digest)')

是一串hash值：

echo $DIGEST
sha256:e4551a5ded95740f0be38b37dbcebac081a9f5c717d223e1998c871d6a8a79dd

手工对Image进行签名：

gcloud beta container binauthz attestations sign-and-create  \
    --artifact-url="${CONTAINER_PATH}@${DIGEST}" \
    --attestor="${ATTESTOR_ID}" \
    --attestor-project="${PROJECT_ID}" \
    --keyversion-project="${PROJECT_ID}" \
    --keyversion-location="${KEY_LOCATION}" \
    --keyversion-keyring="${KEYRING}" \
    --keyversion-key="${KEY_NAME}" \
    --keyversion="${KEY_VERSION}"

可以查看签名对情况：

gcloud container binauthz attestations list \
>    --attestor=$ATTESTOR_ID --attestor-project=${PROJECT_ID}
---
attestation:
  attestation:
    genericSignedAttestation:
      contentType: SIMPLE_SIGNING_JSON
      serializedPayload: ewogICJjc……=
      signatures:
      - publicKeyId: //cloudkms.googleapis.com/v1/projects/wh-service01/locations/global/keyRings/key-ring-01/cryptoKeys/key-01/cryptoKeyVersions/1
        signature: MEUCIQCh_SIeuAoAzuGl7dymtgrFFclJk6EJ-u5Jeg_x3xU2gQIgKFyG__OGBdMVgVC21iIqBIa_ETeHHKJ7MrM0tB7LICo=
createTime: '2020-02-04T08:01:19.206181Z'
kind: ATTESTATION
name: projects/wh-service01/occurrences/9b462272-33bb-46de-ad6a-61312223cf05
noteName: projects/wh-service01/notes/attestor-note-01
resource:
  uri: https://us.gcr.io/wh-service01/hello-world@sha256:e4551a5ded95740f0be38b37dbcebac081a9f5c717d223e1998c871d6a8a79dd
updateTime: '2020-02-04T08:01:19.206181Z'

E 更新Binary Authorization的策略

将策略改成，只允许Attestor方式的Image。此时Binary Authorization的策略如下：

两张模式的Image都可以部署到Container中。

F 部署Container

kubectl create deployment hello-world-signed      
        --image="${CONTAINER_PATH}@${DIGEST}"

查看部署情况：

三总结

通过Google Cloud的Binary Authorization，可以方便的对Container的Image进行管理。可以通过简单的镜像源进行粗略的管理，也可以通过Attestor的方式对镜像签名进行验证，从而实现相对严格的验证和授权。

创作场景

使用 Google Cloud Binary Authorization 实现 Container Image 的安全控制