设计一个分布式日志收集系统，用于收集和分析大规模服务器产生的日志数据。请详细描述系统架构、组件功能和数据处理流程。

答题要点

推荐答题框架：采用整体架构分层分析法，先介绍整体架构层次，再分别阐述各组件功能，最后说明数据在系统中的处理流程。关键要点：1. 系统架构：分为日志产生层、日志收集层、日志存储层和日志分析层。2. 组件功能：日志收集组件（如 Logstash）负责从服务器收集日志；消息队列（如 Kafka）用于缓存和传输日志数据；分布式文件系统（如 HDFS）存储大量日志；分析工具（如 Elasticsearch）进行日志搜索和分析；可视化工具（如 Kibana）展示分析结果。3. 数据处理流程：日志在服务器产生后，被收集组件收集并发送到消息队列，消息队列按规则将数据分发到存储层，存储层存储日志数据，分析层对数据进行处理和挖掘，最后可视化层展示结果。示例话术：我们的分布式日志收集系统采用分层架构。日志产生层由各服务器生成日志，收集层用 Logstash 收集日志并发送到 Kafka，Kafka 缓存和传输数据。存储层用 HDFS 存储日志，分析层用 Elasticsearch 挖掘数据，可视化层用 Kibana 展示结果。数据从产生到展示，依次经过收集、传输、存储、分析和可视化流程。