怎么导出服务器的系统日志,分布式系统中如何记录日志的?

博主分享了在分布式环境中处理日志的两种方案:每日增量同步至分析服务器和使用消息队列实现实时持久化。同时,提出了利用服务器标识记录日志以便于定位错误的思路,但也指出这种方法在某些情况下可能需要遍历所有服务器日志的不足。博客反映了初涉分布式架构所面临的挑战和学习过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Quote: 引用 2 楼 ygycomon 的回复:

日志不需要同步,分布式节点自己写自己的日志。

有几种方案做解析:

1. 每天把当天的日志增量拿到分析服务器上,内网批量同步的效率很高,几百G都不在话下。要留档要解析都可以。

2. 如果要实时持久,就写日志的时候写进消息队列,由分析服务器异步从消息队列里读(kafka就是这么个东西)

多谢你的回答。

我们用的负载均衡器分发策略是使用cookie来保证一个用户自始至终访问同一台服务器的,因此我一开始有个想法是这样的,每台服务器自己记录自己的日志,每条日志都带着各个服务器的标识,在日志之前加上一个[服务器:ipxxxxx]之类的标识,并将这个错误提示展现到用户看到的错误界面上,如果用户在使用过程中报错了,只需把这个错误提示发给我,我就知道去哪个服务器上查看日志了。但是这样做的好处是我不用考虑日志同步的问题,但缺点就是,如果错误只出现了一次,而用户又没有截取到服务器的标识,那么我就得把每台服务器的日志挨个看一遍。不知道我的想法对不对,请指教啊,哈哈。

以前只听说过有分布式,集群这个东西,真到有机会碰到了真是一头雾水啊,最细小的地方都得想半天。上司忙,没时间管我的事儿,让我自己搭建环境,还要分布式、集群的架构,我也就刚工作两年,以前从未接触过这些,说实话,真的有点力不从心啊,不过不管怎样,对我都是一个大的考验和提升,继续查资料,继续工作。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值