EnvoyProxy AI Gateway 项目安装与使用教程

EnvoyProxy AI Gateway 项目安装与使用教程

ai-gateway Envoy AI Gateway is an open source project for using Envoy Gateway to handle request traffic from application clients to Generative AI services. 项目地址: https://gitcode.com/gh_mirrors/aiga/ai-gateway

1. 项目目录结构及介绍

EnvoyProxy AI Gateway 项目的目录结构如下：

ai-gateway/
├── bin/                   # 存放编译后的可执行文件
├── build/                 # 构建目录，存放编译脚本和构建产物
├── ci/                    # 持续集成脚本和配置文件
├── docs/                  # 文档目录
├── examples/              # 示例配置文件和示例代码
├── include/               # 头文件目录
├── libraries/             # 存放依赖的库文件
├── test/                  # 测试目录，包含单元测试和集成测试
├── tools/                 # 辅助工具目录
├── envoy/                 # Envoy 代码主目录，包含核心功能实现
│   ├── api/               # API 定义目录
│   ├── common/            # 公共模块
│   ├── config/            # 配置处理模块
│   ├── server/            # 服务端模块
│   └── test/              # 测试代码
├── NOTICE                 # 法律声明文件
└── README.md              # 项目说明文件

• bin/: 存放编译后生成的可执行文件。
• build/: 构建目录，用于存放编译脚本和编译产物。
• ci/: 持续集成相关脚本和配置文件。
• docs/: 文档目录，包含项目文档和相关说明。
• examples/: 示例配置文件和代码，用于展示如何使用和配置项目。
• include/: 头文件目录，用于存放项目所需的头文件。
• libraries/: 依赖库目录，存放项目依赖的第三方库。
• test/: 测试目录，包含单元测试和集成测试代码。
• tools/: 辅助工具目录，存放一些辅助工具和脚本。
• envoy/: Envoy 代码主目录，包含Envoy的核心功能实现。

2. 项目的启动文件介绍

项目的启动文件通常位于 bin/ 目录下，文件名为 envoy（或类似的名称）。这个文件是项目的入口点，用于启动Envoy服务。

启动命令如下：

./bin/envoy -c path/to/config/file.json

其中 -c 参数用于指定配置文件的路径。

3. 项目的配置文件介绍

项目的配置文件通常为JSON格式，位于 examples/ 目录下，可以作为一个配置模板。配置文件定义了Envoy服务的运行参数，包括监听端口、路由规则、服务发现机制等。

配置文件的基本结构如下：

{
  "listeners": [
    {
      "address": "tcp://0.0.0.0:80",
      "filters": [
        {
          "name": "envoy.http_connection_manager",
          "config": {
            "codec_type": "http1",
            "route_config": {
              "name": "local_route",
              "virtual_hosts": [
                {
                  "name": "local_service",
                  "domains": ["*"],
                  "routes": [
                    {
                      "match": {
                        "prefix": "/"
                      },
                      "route": {
                        "cluster": "service cluster"
                      }
                    }
                  ]
                }
              ]
            },
            "http_filters": [
              {
                "name": "envoy.router"
              }
            ]
          }
        }
      ]
    }
  ],
  "clusters": [
    {
      "name": "service cluster",
      "connect_timeout": "1s",
      "type": "strict_dns",
      "lb_policy": "round_robin",
      "hosts": [
        {
          "url": "tcp://localhost:8080"
        }
      ]
    }
  ]
}

• listeners: 定义Envoy监听的端口和地址。
• filters: 定义应用在连接上的过滤器，例如HTTP连接管理器。
• route_config: 定义路由规则，用于决定请求如何转发。
• clusters: 定义后端服务集群，包括服务地址、负载均衡策略等。

ai-gateway Envoy AI Gateway is an open source project for using Envoy Gateway to handle request traffic from application clients to Generative AI services. 项目地址: https://gitcode.com/gh_mirrors/aiga/ai-gateway