python序列化的原理和作用_数据存储、传输与状态保存机制详解_网络技术

Python序列化本质是对象到字节流的保真映射，依赖__reduce__等钩子生成指令流；pickle支持复杂类型但仅限Python环境，json跨语言但类型受限；反序列化不可信pickle存在远程代码执行风险。

Python序列化本质是对象到字节流的映射规则

Python本身不直接“存储对象”，而是把内存中的对象结构（类型、属性、引用关系）按约定规则转成一串可保存或传输的bytes。核心不是压缩或加密，而是**保真还原**：反序列化后得到的对象行为和原对象一致（除部分不可序列化对象外）。这依赖于每个类型注册的__reduce__或__getstate__等钩子函数，pickle模块据此生成操作指令流（如“新建一个dict”“往第0个位置塞key='a'”“调用datetime.datetime构造器”）。

常见误区是认为序列化=转成JSON。其实json只支持有限类型（dict、list、str、int、float、bool、None），而pickle能处理lambda、类实例、文件句柄（虽不推荐）、自定义__slots

__类等——代价是只能在Python环境间安全使用。

选`pickle`还是`json`取决于数据用途和信任边界

跨语言传输（如Python服务给JS前端发数据）必须用json；内部微服务间状态同步、任务队列参数传递、缓存计算结果，则优先用pickle（尤其v5协议支持共享内存和大对象零拷贝）。

json.dumps(obj)失败时会报TypeError: Object of type X is not JSON serializable，需手动实现default参数或继承json.JSONEncoder
pickle.dumps(obj)遇到文件对象、线程锁、数据库连接等会抛AttributeError或TypeError，因为这些对象无法脱离当前进程存活
pickle协议版本差异大：v0-v2不支持新语法（如带__slots__的类）；v4起支持bytearray；v5新增out_of_band数据分离机制，适合大数据集

自定义类序列化要显式控制状态边界

默认情况下pickle会尝试保存整个__dict__，但很多字段不该持久化（如临时缓存、外部连接、GUI句柄）。正确做法是实现__getstate__和__setstate__：

class CacheManager: def __init__(self): self.data = {} self._cache = {} # 不该被序列化 self._lock = threading.Lock() # 不可序列化

def __getstate__(self):
    state = self.__dict__.copy()
    state.pop('_cache', None)
    state.pop('_lock', None)
    return state

def __setstate__(self, state):
    self.__dict__.update(state)
    self._cache = {}
    self._lock = threading.Lock()

注意：__slots__类必须在__getstate__中显式构造字典，否则pickle可能因找不到__dict__而失败；若类有C扩展属性（如NumPy数组），通常无需干预——它们已内置序列化逻辑。

反序列化是执行风险点，永远别加载不可信来源的`pickle`数据

pickle流本质是Python字节码指令，pickle.loads()会执行其中的类构造、方法调用甚至os.system()。攻击者可构造恶意流触发任意代码执行。生产环境必须遵守：

仅从可信路径加载.pkl文件（如本地配置目录，且文件权限为600）
网络传输场景改用json或msgpack（需确认其反序列化不执行代码）
万不得已需用pickle时，用RestrictedUnpickler白名单机制限制可实例化的类

真正难处理的是“半可信”场景：比如用户上传的分析脚本附带预训练模型（.pkl）。此时不能只靠文件后缀判断，得结合签名验证+沙箱执行+资源限额——序列化本身不提供安全隔离，它只是数据载体。

# python # js # 前端 # json # 大数据 # 字节 # red # numpy # Float # Object # bool # int # Lambda # 继承 # 线程

相关栏目：【网站优化151355 】【网络推广146373 】【网络技术251813 】【 AI营销90571 】