中等
技术面试0 次浏览

SHEIN 的业务数据量巨大,如何设计一个高效的分布式日志采集系统,将各个服务的日志统一收集和存储?

SHEIN后端工程师
分布式系统日志采集数据存储

答题要点

可使用 STAR 法则。S 是 SHEIN 业务数据量大,需要统一收集和存储日志的情景;T 是设计高效的分布式日志采集系统;A 和 R 结合说明。关键要点:一是采集器选择,选择合适的日志采集器,如 Filebeat,它轻量级且能高效采集日志。二是传输协议,使用 Kafka 等消息队列作为传输层,保证日志数据的可靠传输。三是存储方案,采用 Elasticsearch 进行日志的存储和检索,它具有强大的搜索和分析能力。四是监控和管理,对日志采集系统进行监控,及时发现和解决问题。示例思路:针对 SHEIN 业务数据量大的情况,我会选用 Filebeat 作为日志采集器,将采集到的日志通过 Kafka 传输到 Elasticsearch 进行存储。同时,对整个日志采集系统进行监控管理,确保系统高效稳定运行,实现各个服务日志的统一收集和存储。