Envoy Proxy AI Gateway 安装与配置指南

Envoy Proxy AI Gateway 安装与配置指南

ai-gateway Envoy AI Gateway is an open source project for using Envoy Gateway to handle request traffic from application clients to Generative AI services. 项目地址: https://gitcode.com/gh_mirrors/aiga/ai-gateway

1. 项目基础介绍

Envoy Proxy AI Gateway 是一个基于 Envoy Proxy 的开源项目，旨在提供一个高性能、可扩展的微服务网关解决方案。该项目使用 C++ 编写，同时包含了部分 Python 代码，用于自动化测试和配置。

2. 项目使用的关键技术和框架

• Envoy Proxy：一个由 C++ 编写的高性能 C/S 网络代理，用于处理服务网格中的服务通信。
• Nginx：作为反向代理和负载均衡器，用于处理 HTTP 请求。
• Consul：服务发现和配置管理工具，用于服务的注册和发现。
• Prometheus：监控系统，用于收集和存储指标数据，并提供查询接口。

3. 项目安装和配置的准备工作及详细步骤

准备工作

• 确保你的操作系统支持以下环境：
  • GCC 5.4 或更高版本
  • CMake 3.10 或更高版本
  • Python 2.7 或 Python 3.x
• 安装依赖：
  • libevent：使用包管理器安装（如 apt-get install libevent-dev）
  • Bazel：构建工具，可以从官方文档获取安装指南
  • Protobuf：谷歌的序列化库，需要安装编译器和库
  • cmake：构建工具，确保安装了最新版本
  • ninja：构建系统，可从官方网站下载安装
  • consul：服务发现工具，从官方网站下载并安装
  • prometheus：监控系统，从官方网站下载并安装

安装步骤

1. 克隆项目

   克隆项目到本地目录：

   git clone https://github.com/envoyproxy/ai-gateway.git
   cd ai-gateway
   

2. 安装依赖

   根据你的操作系统，使用相应的包管理器安装上述依赖。

3. 编译项目

   使用 Bazel 编译项目：

   bazel build //:ai_gateway
   

4. 配置 Nginx

   根据项目文档，配置 Nginx 作为反向代理。

5. 配置 Consul

   启动 Consul 服务，并在 Consul 中注册你的服务。

6. 配置 Prometheus

   配置 Prometheus 监控你的服务，并设置适当的指标。

7. 启动网关

   运行编译后的程序启动网关：

   ./bazel-bin/ai_gateway
   

8. 验证安装

   访问你的服务，确保网关正常运行。

以上步骤为简要概述，具体操作可能需要根据你的环境进行调整。请参考项目的官方文档以获取更多详细的安装和配置信息。

ai-gateway Envoy AI Gateway is an open source project for using Envoy Gateway to handle request traffic from application clients to Generative AI services. 项目地址: https://gitcode.com/gh_mirrors/aiga/ai-gateway