商汤科技在多个领域有复杂的业务系统，假设要设计一个跨部门、跨业务的分布式系统，用于实时处理海量的业务数据，同时要保证系统的高可用性和可扩展性。请详细阐述系统的整体架构设计和关键技术选型，并说明如何应对可能出现的挑战。

答题要点

推荐使用 STAR 法则。Situation：商汤科技业务复杂，需要处理海量数据，对系统的高可用性和可扩展性要求高。Task：设计一个跨部门、跨业务的分布式系统。Action：整体架构可采用分层设计，包括数据采集层、数据传输层、数据处理层和数据存储层。数据采集层使用消息队列如 Kafka 收集数据；数据传输层使用 RPC 框架如 gRPC 进行通信；数据处理层采用分布式计算框架如 Spark 进行实时处理；数据存储层使用分布式数据库如 HBase 存储数据。同时，使用负载均衡、备份恢复等技术保证系统的高可用性和可扩展性。Result：通过合理的架构设计和技术选型，系统能够有效处理海量数据，满足业务需求。应对挑战方面，可通过监控和自动化运维及时发现和解决问题。示例思路：按照分层架构设计，选择合适的技术，通过监控和运维应对挑战。