百度搜索会处理海量的网页数据，请简要描述一种快速判断一个网页 URL 是否已经被收录过的方法。

答题要点

推荐使用分层分析法答题。第一步分析基础需求，第二步考虑实现方法，第三步关注特殊情况与优化。关键要点如下：1. 数据结构选择：可使用哈希表，它能实现快速的查找操作，时间复杂度接近 O(1)。2. 哈希函数：设计合适的哈希函数对 URL 进行处理，将 URL 映射到哈希表的某个位置。3. 冲突处理：当出现哈希冲突时，可采用链地址法等方式解决。4. 内存管理：考虑到海量数据，要合理管理内存，可使用布隆过滤器初步过滤，减少存储压力。示例思路：可以先使用布隆过滤器对 URL 进行初步判断，若判断未收录则可直接认为未被收录；若判断已收录，再到哈希表中精确查找，这样能提高效率。