只是这里我放到了最后。PPO 总的联合损失函数（Total Loss）。策略梯度损失（policy_gradient_loss，优化 Actor） + 价值网络损失（优化 Critic）+ 熵损失（entropy_loss，鼓励探索，带负号）。
歌名：问情 所属专辑：真的让我爱你吗 发行时间：1991年 歌曲原唱：蔡幸娟 填 词：陈乐融 谱 曲：iskandar ismail 歌词： 山川载不动太多悲哀 .
container/ring 的 Next()/Prev() 都是 O(1) 的，因为它本质是双循环链表。
iter_content(chunk_size=4096): if not chunk: break # 确保 chunk 长度为偶数（2字节一个样本） if len(chunk) % 2 !