Python爬虫数据去重方案_hash与集合应用【指导】_网络技术

Python爬虫数据去重方案_hash与集合应用【指导】

发布时间 - 2025-12-26 00:00:00 点击率：次

用 hash 而不是原始字符串去重，因 URL 等字段存在空格、换行、编码差异等问题，直接比较易漏判；hash 可归一化处理，提升稳定性，但需注意碰撞风险及内存管理、标准化、去重时机和分布式适配。

为什么用 `hash` 而不是直接存原始字符串去重？

爬虫抓取的 URL、标题、正文等字段常含空格、换行、编码差异（如 %20 和空格），直接字符串比较容易漏判重复。用 hash 统一归一化后再比对，更稳定。
但注意：hash 不是万能的——不同内容可能产生相同哈希值（碰撞），不过在单机爬虫场景下，用 hashlib.md5() 或 hashlib.sha256() 几乎可忽略该风险。

`set` 存哈希值时内存爆了怎么办？

高频爬虫（如每秒百条）持续往 set 里加 bytes 哈希值，几小时后可能吃光几 GB 内存。这不是算法问题，是数据生命周期没管好。
实操建议：

按时间窗口滚动清理：比如只保留最近 24 小时的哈希值，用 deque + 时间戳配合 set 实现

改用布隆过滤器（bloomfilter 库）：内存占用低一个数量级，支持百万级去重，但有极小误判率（不漏判，可能把新数据当重复）
落地到轻量数据库：如 sqlite 的 UNIQUE 索引列存 md5(url)，重启不丢，还支持查重历史

URL 去重必须先标准化再哈希

同一个页面可能有无数种 URL 表达：https://a.com/?x=1&y=2、https://a.com/?y=2&x=1、https://A.COM/x/，直接哈希会当成不同项。
标准化步骤不能少：

from urllib.parse import urlparse, urlunparse, parse_qs, urlencode
def normalize_url(url):
parsed = urlparse(url.lower())  # 协议和域名转小写
query_dict = parse_qs(parsed.query)  # 自动去重参数顺序、合并同名参数
normalized_query = urlencode(query_dict, doseq=True)
return urlunparse((
parsed.scheme,
parsed.netloc,
parsed.path.rstrip('/'),  # 去除末尾斜杠
'', '', normalized_query
))

之后再对 normalize_url(url) 的结果做 hashlib.md5(...).hexdigest()。

去重逻辑放在哪一层最稳妥？

别在解析完就立刻去重，也别拖到入库前才做——中间环节（如管道、中间件、存储前钩子）都可能出错或跳过。
推荐位置：

Requests 发起前：检查待请求 URL 是否已爬过（适合广度优先）
Response 解析后、提取 item 前：对响应体做 hashlib.sha256(response.body).hexdigest()，防镜像站/缓存页重复
Item Pipeline 最末端：用 item['url_hash'] = hashlib.md5(item['url'].encode()).hexdigest()，再查库或集合

真正难的是多进程/分布式场景——这时单机 set 失效，得换 Redis 的 SET 或 BF.ADD，且哈希值必须带业务前缀避免冲突。

# python # redis # 编码 # 爬虫 # 内存占用 # .net # 为什么 # red

相关栏目：【网站优化151355 】【网络推广146373 】【网络技术251813 】【 AI营销90571 】

上一篇：Android 短信验证码自动填写

下一篇：CentOS Minimal如何编译内核

相关栏目网站优化
网络推广
网络技术
AI营销

最新文章 Sublime怎么一键压缩JS代码 Su sublime如何在搜索中使用正则表达式 Sublime如何设置透明窗口效果 Su mysql如何设计商品表结构_mysql css属性背景图不显示怎么办_通过检查路如何使用Golang实现排序_Golan 农历闰月是怎么回事_为合回归年加一月调整塑造《刺客信条》艾吉奥传奇的编剧离开育碧 1英里等于多少公里 1mile和km的换 css grid布局中行和列是如何定义的 PS批量旋转和翻转图片，快速校正图片方向 C# Swagger UI自定义方法 C OPPO手机九宫格和全键盘怎么切换_OP Go语言如何实现用户登录注册_Golan 1节飞行速度多少公里每小时 1节是多少公纸嫁衣8千子树第五章庙门怎么开启庙门 Laravel 多行数据编辑表单中实现逐明日之后如何提升钓鱼等级明日之后提升钓支付宝怎样查年度账单_支付宝年度账单查看 C# 多线程UI更新Dispatcher

上一篇：Android 短信验证码自动填写

下一篇：CentOS Minimal如何编译内核