探索高性能的多语言序列化框架——Apache Fury（incubating）

探索高性能的多语言序列化框架——Apache Fury（incubating）

项目地址:https://gitcode.com/gh_mirrors/fu/fury

当你在处理大数据传输、高并发RPC调用或高效对象持久化时，性能和易用性是你选择序列化库的关键因素。这就是Apache Fury（incubating）出现的原因，它是一个由JIT（即时编译）和零拷贝技术驱动的多语言序列化框架，为你提供高达170倍的性能提升。

项目简介

Apache Fury（incubating）不仅仅是一个序列化库，而是一种全新的数据交换方式。它支持多种编程语言，包括Java、Python、C++、Golang、JavaScript、Rust和Scala，并且采用了零拷贝技术，实现了跨语言的高效数据序列化。这个项目还特别强调了性能优化，利用JIT框架在运行时动态生成序列化代码，以减少内存访问、虚拟方法调用、条件分支和哈希查找，从而大幅提升速度。

该项目正处于Apache孵化器阶段，意味着它正在积极地接受社区的指导和评估，期待成为Apache顶级项目的一部分。

技术剖析

• 多语言支持：无需繁琐的IDL定义、schema编译以及协议转换，Fury让你能够轻松地在不同语言间进行数据交换。
• 零拷贝：受到pickle5的启发，Fury实现在进程间的无损数据传递，减少了不必要的内存复制，提高效率。
• 高性能JIT框架：通过动态生成代码，优化内存访问和方法调用，极大地提升了序列化速度。
• 多种二进制协议：提供如对象图、行格式等多种协议，适应不同的应用场景。

此外，Fury完全兼容JDK序列化API，支持Java 8到21，并且对Java 17+的记录类型也提供了支持。对于Golang，它处理共享和循环引用对象的序列化，同时自动完成对象序列化。

应用场景

• 高并发RPC：在需要大量数据快速传输的远程过程调用中，Fury可以显著减少网络延迟。
• 大数据存储与检索：零拷贝特性使得数据存取更高效，节省资源。
• 对象持久化：与其他序列化框架相比，Fury在存储和恢复Java对象时速度更快。
• 跨平台通信：无论是在微服务架构还是分布式系统中，Fury都能简化多语言环境下的数据交互。

项目特点

1. 全面的语言支持：一次编码，多语言可用，节省开发时间和维护成本。
2. 卓越性能：JIT技术和零拷贝实现超高速度，最高可提升170倍。
3. 无缝集成：无需修改现有代码，即可替换如JDK、Kryo、Hessian等传统序列化库。
4. 自动序列化：在许多语言中，Fury能自动处理对象的序列化和反序列化。
5. AOT编译支持：对于GraalVM原生图像，Fury支持预编译，简化配置。

安装与使用

Fury提供了针对各种语言的安装包，包括Maven依赖、SBT设置、Python pip包和Go import。你可以直接在你的项目中添加相关依赖开始使用。对于Java，简单示例如下：

<dependency>
  <groupId>org.apache.fury</groupId>
  <artifactId>fury-core</artifactId>
  <version>0.7.0</version>
</dependency>

而其他语言也有相应的安装指令，请参照项目的文档进行操作。

结论

Apache Fury（incubating）以其高效的性能、广泛的语言支持和友好的API，为开发者提供了一个强大的工具来处理数据序列化挑战。无论是需要在多语言环境中进行数据交换，还是追求极致的性能表现，Fury都是值得尝试的优秀选择。立即加入Apache Fury，释放数据传输的新潜力吧！

fury A blazing fast multi-language serialization framework powered by jit and zero-copy 项目地址: https://gitcode.com/gh_mirrors/fu/fury