离线-在线强化学习旨在使用少量在线微调来提高预训练模型的性能。现有方法主要包括无约束微调与约束微调。前者往往由于分布偏移过大而导致严重的策略崩溃；后者由于保留离线约束导致性能提升缓慢，影响训练效率。为了改善上述问题，可视化对比分析两类方法的微调过程，发现不准确的Q值估计是影响性能的主要原因，并提出了一种动态策略约束的双Q值强化学习算法(DPC-DQRL)。首先，该算法设计了遵循记忆遗忘规律的动态行为克隆约束，在微调过程中动态调整约束强度；其次，构建离线-在线双Q值网络，引入离线动作价值网络参与Q值估计，提高微调过程中Q值的准确性。在Gym仿真平台使用MuJoCo物理引擎进行了Halfcheetah、Hopper、Walker2D三个经典仿真任务，使用DPC-DQRL算法微调后性能比原预训练模型分别提升47%、63%、20%,所有任务的平均归一化得分比最优基线算法提升10%。实验结果表明，DPC-DQRL在提升模型性能的同时保证了模型的稳定，与其他算法相比具有一定的优越性。