百度的云平台需要处理大规模的分布式数据，假设要设计一个分布式数据处理系统，实现对海量数据的排序功能。请详细阐述系统的整体架构、主要模块、数据流转过程以及可能遇到的挑战和解决方案。

答题要点

推荐答题框架：采用 STAR 法则，即 Situation（背景情况）、Task（任务目标）、Action（采取行动）、Result（预期结果）。关键要点：1. 整体架构，采用分布式架构，包括数据存储节点、计算节点和调度节点。2. 主要模块，数据划分模块将海量数据划分到不同节点，排序模块在各节点进行局部排序，合并模块将局部排序结果合并。3. 数据流转过程，数据从存储节点到计算节点进行局部排序，再将结果汇总到合并节点。4. 挑战与解决方案，可能遇到网络延迟、数据倾斜等问题，可通过优化网络拓扑、数据预处理来解决。示例话术：在这个背景下，我们的任务是设计一个分布式数据排序系统。整体架构上，有存储、计算和调度节点。数据先由划分模块分到计算节点排序，再到合并节点合并。可能遇到网络延迟，我们可以优化网络。最终要实现高效的大规模数据排序。