Header重写 #55

zhugelianglongming · 2022-02-10T10:18:51Z

背景

BFE 支持对流量进行Header重写，希望 bfe-ingress-controller 实现该功能。

配置方式

Ingress 资源内

spec.rules 定义路由规则
metadata.annotations 定义对符合路由规则的流量，修改 Header 的行为
- 定义修改覆盖的流量范围
- 定位修改 Header 的行为

参考格式：

metadata:
    annotations:
        bfe.ingress.kubernetes.io/rewrite-header.actions: '[{}]'
spec:
  rules:
  - ...

重写请求 Header

通过设置 bfe.ingress.kubernetes.io/rewrite-header.actions ，配置请求 Header 修改规则。
支持：

REQ_HEADER_ADD：添加指定 Header
REQ_HEADER_SET：修改指定 Header
REQ_HEADER_DEL：删除指定 Header

添加

bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "REQ_HEADER_ADD", "params": ["key", "value"]}]'

修改

bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "REQ_HEADER_SET", "params": ["key", "value"]}]'

删除

bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "REQ_HEADER_DEL", "params": ["key"]}]'

重写响应 Header

通过设置 bfe.ingress.kubernetes.io/rewrite-header.actions ，配置响应 Header 修改规则。
支持：

RSP_HEADER_ADD：添加指定 Header
RSP_HEADER_SET：修改指定 Header
RSP_HEADER_DEL：删除指定 Header

添加

bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "RSP_HEADER_ADD", "params": ["key", "value"]}]'

修改

bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "RSP_HEADER_SET", "params": ["key", "value"]}]'

删除

bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "RSP_HEADER_DEL", "params": ["key"]}]'

https://www.bfe-networks.net/en_us/modules/mod_header/mod_header/

QingyanMu · 2023-02-01T03:12:52Z

Header重写需求

需求简介

BFE 支持对流量的Header重写，通过添加、删除制定header定义修改覆盖的流量范围，通过修改指定header定位修改header的行为。

将租户的配置文件通过annotations解析后转换为BFE引擎的相关配置文件，再经BFE引擎热加载实现流量的Header重写。

需求分析

在mod_header中，提供对请求和响应增加其他信息的能力，对流量的Header重写只需关注定位修改Header的行为。

可以对每个租户提供包含cond、Actions、Last的配置表来让租户自定义需要透传的信息。

重写请求 Header request
- 添加指定header：可添加在已有header中的值的末尾。
- 修改指定header：添加header信息可以添加透传mod_header中支持的所有内置变量，如客户端IP、请求Host等，也可以添加希望向服务器告知的额外信息。
- 删除指定header：可用于向服务器隐藏header的某些值。
重写响应header response
- 添加指定header：可添加在已有header中的值的末尾。
- 修改指定header：加入自定义的希望向客户端告知的额外信息。
- 删除指定header：可用于向客户端隐藏header的某些值。

Annotation设计

需求描述	BFE 引擎实现	BFE Ingress实现	示例
为请求添加指定 Header	REQ_HEADER_ADD	`bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "REQ_HEADER_ADD", "params": ["key", "value"]}]'`	`bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "REQ_HEADER_ADD", "params": ["example", "_1"]}]'` 在`Header`中`example`的值的末尾拼接`_1`
修改请求的Header	REQ_HEADER_SET	`bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "REQ_HEADER_SET", "params": ["key", "value"]}]'`	`bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "REQ_HEADER_SET", "params": ["example", "example"]}]'` 在`Header`中`example`的值为`example`
删除请求的 Header	REQ_HEADER_DEL	`bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "REQ_HEADER_DEL", "params": ["key"]}]`	`bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "REQ_HEADER_DEL", "params": ["example"]}]` 删除Header中`example`的值
为响应添加指定 Header	RSP_HEADER_ADD	`bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "RSP_HEADER_ADD", "params": ["key", "value"]}]'`	`bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "RSP_HEADER_ADD", "params": ["X-Proxied-By", "system"]}]'` 在`Header`中`X-Proxied-By`的值的末尾拼接`system`
修改响应的Header	RSP_HEADER_SET	`bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "RSP_HEADER_SET", "params": ["key", "value"]}]'`	`bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "RSP_HEADER_SET", "params": ["X-Proxied-By", "bfe"]}]'` 设置`Header`中`X-Proxied-By`的值为`bfe`
删除响应的 Header	RSP_HEADER_DEL	`bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "RSP_HEADER_DEL", "params": ["key"]}]'`	`bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "RSP_HEADER_DEL", "params": ["X-Proxied-By"]}]'` 删除Header中`X-Proxied-By`的值

设计方案

主要任务

将Ingress配置文件翻译成BFE Engine的配置文件中的 mod_header/header_rule.data。

Ingress配置

根据Ingress涉及的两个方面展开：

spec.rules 对路由规则的定义
- 设置路由的Host和Path
- Annotation方式设置对Header的高级匹配条件：bfe.ingress.kubernetes.io/router.header
修改header行为的相关设置
- 修改请求Header
  - bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "REQ_HEADER_ADD", "params": ["key", "value"]}]'
  - bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "REQ_HEADER_SET", "params": ["key", "value"]}]'
  - bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "REQ_HEADER_DEL", "params": ["key"]}]'
- 修改响应Header
  - bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "RSP_HEADER_ADD", "params": ["key", "value"]}]'
  - bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "RSP_HEADER_SET", "params": ["key", "value"]}]'
  - bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "RSP_HEADER_DEL", "params": ["key"]}]'

实现方案

租户给出的Ingress配置：

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: simple-ingress
  namespace: ingress-bfe
  annotations:
    kubernetes.io/ingress.class: bfe  
    bfe.ingress.kubernetes.io/router.cookie: "Session: 123"
    bfe.ingress.kubernetes.io/router.header: "Content-Language: zh-cn"
    bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "REQ_HEADER_SET", "params": ["X-Bfe-Log-Id", "%bfe_log_id"]}]'
    bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "REQ_HEADER_SET", "params": ["X-Bfe-Vip", "%bfe_vip"]}]'
    bfe.ingress.kubernetes.io/rewrite-header.actions: '[{"cmd": "RSP_HEADER_SET", "params": ["X-Proxied-By", "bfe"]}]'
    
spec:
  rules:
  - host: whoami.com
    http:
      paths:
      - path: /testpath
        pathType: Prefix
        backend:
          service:
            name: whoami
            port:
              number: 80

Ingress配置文件中，共有四个字段。kind、apiVersion、metadata、spec。

kind：服务类型
apiVersion：版本信息
metadata：服务元信息，包含名称、命名空间及用户自定义注解等。
spec：包含http rules，每条rule包含可选的host、路径列表、后端等信息。

Header重写配置

{
    "Version": "20230201000000",
    "Config": {
        "example_product": [
            {
                "cond": "req_path_prefix_in(\"/header\", false)",
                "actions": [
                    {
                        "cmd": "REQ_HEADER_SET",
                        "params": [
                            "X-Bfe-Log-Id",
                            "%bfe_log_id"
                        ]
                    },
                    {
                        "cmd": "REQ_HEADER_SET",
                        "params": [
                            "X-Bfe-Vip",
                            "%bfe_vip"
                        ]
                    },
                    {
                        "cmd": "RSP_HEADER_SET",
                        "params": [
                            "X-Proxied-By",
                            "bfe"
                        ]
                    }
                ],
                "last": true
            }
        ]
    }
}

example_product：流量的header重写方法
Cond：基于BFE路由转发机制的条件原语表达式
Actions：执行的动作列表，命中匹配条件后可执行1至多个动作，列表中每个Action又包括：
- Cmd：header重写指令，可选REQ_HEADER_ADD、REQ_HEADER_SET、REQ_HEADER_DEL、RSP_HEADER_ADD、RSP_HEADER_SET、RSP_HEADER_DEL
- Params：Cmd的参数，为字符串

ps1976 · 2023-02-01T05:06:50Z

请确认Ingress的rewrite-header.actions有多个时，annotation是一行还是多行
rewrite-header.actions的参数是json数组，因此多个action时一行annotation更加合理，如下所示
bfe.ingress.kubernetes.io/rewrite-header.actions: |-
[
{"cmd": "REQ_HEADER_ADD", "params": ["key", "value"]},
{"cmd": "REQ_HEADER_SET", "params": ["key", "value"]},
{"cmd": "REQ_HEADER_DEL", "params": ["key"]}
]

zhugelianglongming · 2023-02-01T06:51:03Z

Annotation设计

@QingyanMu Rewrite 的 hook 点是一个很可能需要扩展的配置点，设计的时候建议考虑兼容

zhugelianglongming added the enhancement New feature or request label Feb 10, 2022

zhugelianglongming assigned mileszhang2016 and daimg Feb 10, 2022

mileszhang2016 assigned ps1976 and unassigned mileszhang2016 and daimg Jan 18, 2023

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Header重写 #55

Header重写 #55

zhugelianglongming commented Feb 10, 2022 •

edited

Loading

QingyanMu commented Feb 1, 2023

ps1976 commented Feb 1, 2023

zhugelianglongming commented Feb 1, 2023 •

edited

Loading

Annotation设计

Header重写 #55

Header重写 #55

Comments

zhugelianglongming commented Feb 10, 2022 • edited Loading

背景

配置方式

重写请求 Header

添加

修改

删除

重写响应 Header

添加

修改

删除

QingyanMu commented Feb 1, 2023

Header重写需求

需求简介

同类汇总

需求分析

Annotation设计

设计方案

主要任务

Ingress配置

实现方案

租户给出的Ingress配置：

Header重写配置

ps1976 commented Feb 1, 2023

zhugelianglongming commented Feb 1, 2023 • edited Loading

Annotation设计

zhugelianglongming commented Feb 10, 2022 •

edited

Loading

zhugelianglongming commented Feb 1, 2023 •

edited

Loading