大漠帝国的博客

本文介绍了如何使用Python3的Sanic框架构建异步流式HTTP接口服务来调用大模型。主要内容包括：1) Sanic框架简介，它是一个支持async/await的高性能Python Web框架；2) 实现异步流式接口的代码示例，通过HTTPMethodView创建支持POST/GET请求的流式接口；3) 演示了如何通过yield实现数据流式返回，使用response.ResponseStream构建流式响应；4) 提供了接口测试方法和参数示例。该方案特别适合处理I/O密集型操作，尤其是调用大模型等长时间

本文介绍了如何使用Python3和Sanic框架构建异步HTTP接口服务，特别适合调用耗时较长的大模型场景。Sanic是基于async/await语法的异步Web框架，安装简单。文章提供了完整的代码实现，包括异步处理函数add_ab和AddView视图类，支持POST/GET请求。服务启动后可通过http://127.0.0.1:8032/v1/add访问，传入参数a和b，返回两者之和c。示例还展示了如何配置超时时间和处理异常，适合处理I/O密集型操作。

近年来异步web服务器比较火热，例如falcon/bottle/sanic/aiohttp，今天也来玩玩sanic。Sanic是一个支持Python 3.7+的web服务器和web框架，速度很快。它允许使用Python 3.5中添加的async/await语法，无阻塞且快。Sanic也符合ASGI，目标是提供一种简单的方法来建立和运行一个高性能的HTTP服务器，该服务器易于构建、扩展。

接口限流(rate-limit)，笔者最近工作中，遇到提供给客户的算法微服务，遇到大量请求挂掉了，除了扩容负载均衡外，也采取了限流的方式。一般来说，常见的接口限流，我们可以采用。

还尝试了一下pywebio,好像是国内的个人项目,github上有3.2star。

首先推荐streamlit,streamlit是一种低代码方案,即快速构建和共享数据应用程序。说人话就是傻瓜式构建UI界面,做个人demo很方便。在github上star已经超过20k了。美国云计服务商雪花-Snowflake在2022年8亿美元收购了sreamlit公司。只是没想到有一天也会用上低代码工具。...

一、python3写一个http接口服务，给别人调用3这次选择fastapi，FastAPI是一个现代的、快速（高性能）的web框架，用于基于标准Python类型提示使用Python 3.6+构建api。具有快速、快速编码、更少的错误、直观、简单、简便、健壮。简易而且本地win10能够跑起来。二、FastAPI的get接口代码实现1.安装:pip...

一、python3.6写一个http接口服务，给别人调用1首先推荐tornado，Tornado是一个Python web框架和异步网络库，最初在FriendFeed开发。通过使用无阻塞网络I/O，Tornado可以扩展到数万个开放连接，使其成为长轮询、WebSocket和其他需要与每个用户建立长时间连接的应用程序的理想选择。简易而且本地win10能够跑起来。二、Torna...

一、python3写一个http接口服务，给别人调用2 这次选择flask，Flask是一个用于构建web应用程序的Python微框架，是一个轻量级的WSGI web应用程序框架。它的目的是使web入门变得快速和容易，并能够扩展到复杂的应用程序。它最初是一个围绕Werkzeug和Jinja的简单包装器，现在已经成为最流行的Python web应用程序框架之一。简易而且本地win1...