ARTICLE · INTELLIGENCE

战地情报 · 详情页

来自尧图项目组的一线实战观察与深度解析

首页 › 新闻资讯 › 文章详情

RL-10-TD算法-ActorCritic02-离线算法03-赵：Off-Policy Policy Gradient

发布时间：2026/10/2 13:55:12 阅读：1,248 作者：尧图研究院
RL-10-TD算法-ActorCritic02-离线算法03-赵：Off-Policy Policy Gradient 3、off-policy Policy Gradient有了刚刚的重要性采样，我们就把这个技术应用到policy gradient当中，去实现off-policy的学习。下面其实我们有两个步骤，第一个步骤就是要得到gradient它的表达式是什么，在得到这个gradient表达式之后，我们就可以把它应用到梯度上升的方法当中去进行优化。就像上面的on-policy的情况，我们需要将policy gradient推导到off-policy的情
SEO优化 网站运营 关键词排名 推广干货
RELATED READING

延伸阅读

更多一线实战笔记与深度复盘，助您持续精进

【Agent系列 (一) 】初识智能体

【Agent系列 (一) 】初识智能体

⭐️在这个怀疑的年代，我们依然需要信仰。 个人主页 ：YYYing. ⭐️Agent系列专栏：从零开始的agent学习 系列下期内容：暂无 前言： 欢迎来到智能体的世界！在人工智能浪潮席卷全球的今天，智能体…

2026/10/2 13:55:12 阅读全文 →
论文的结论与建议怎么区分层次？一篇讲透

论文的结论与建议怎么区分层次？一篇讲透

不少研究生写论文，正文熬出来了，却卡在收尾：结论写了几段，发现建议没地方放，又补一段进去，结果导师的批注是「结论和建议写成一个层次了」。问题通常不在内容量，而在没分清这两类文字各自的职能…

2026/10/2 13:55:12 阅读全文 →
GitHub周榜实战解读：开发效率工具、AI智能体框架与镜像加速方案

GitHub周榜实战解读：开发效率工具、AI智能体框架与镜像加速方案

1. 周榜项目的筛选逻辑与本期看点每周刷 GitHub Trending 榜单，已经成了我这些年保持技术嗅觉的一个固定动作。2026 年 9 月 27 日这一期的周榜，整体看下来有几个很明显的信号：AI 工具链项目依然占据半壁江山，但和前两年那种“套壳…

2026/10/2 13:55:12 阅读全文 →
共享充电宝小程序开发复盘：LBS+扫码租借全栈实践

共享充电宝小程序开发复盘：LBS+扫码租借全栈实践

不做主标题，直接进入正文。“扫码、借宝、走人”——这个动作链听起来很短，真落到一个微信小程序项目里，牵涉到的东西远比想象得多。我做过一个共享充电宝小程序，从需求调研到上线差不多跑了一个完整周期，中间踩过不少…

2026/10/2 19:19:45 阅读全文 →
自然语言+无代码：普通人也能轻松搭建AI应用

自然语言+无代码：普通人也能轻松搭建AI应用

1. 为什么自然语言 无代码能火起来过去几年我接触过不少想搭AI应用的人，有做运营的、做产品设计的、做数据分析的，也有纯粹想玩AI的企业老板。他们有个共同点：脑子里想法很清晰，工具上却卡住。传统的开发方式需要懂代码、懂接口、…

2026/10/2 19:19:45 阅读全文 →
二叉树递归深搜：剪枝与验证BST的两种核心设计

二叉树递归深搜：剪枝与验证BST的两种核心设计

递归、深搜、回溯、二叉树——这几个词放在一起，刷题的人基本都能脑补出一整套套路：先画递归树，再想出口，再决定把当前节点放到哪一步处理。我自己在带新人和写博客时发现，很多人卡在“递归函数到底要不要返回值、返回…

2026/10/2 19:19:45 阅读全文 →
SNMP+MQTT双协议组合：工业设备接入与上云全栈实践

SNMP+MQTT双协议组合：工业设备接入与上云全栈实践

干工业设备管理这行，你迟早会同时撞上两套协议：一边是机房、网络设备里无处不在的SNMP，另一边是物联网平台、消息链路里几乎成为事实标准的MQTT。很多工程师会陷入一种纠结：底层设备明明能通过SNMP采集了，为什么还要多…

2026/10/2 19:19:45 阅读全文 →
HomeAssistant接入KNX：稳定有线智能家居从布线到自动化全实践

HomeAssistant接入KNX：稳定有线智能家居从布线到自动化全实践

如果你跟我一样，家里已经积攒了七八个 WiFi 智能插座、一排 zigbee 网关，却还是经常在夜晚面对“灯怎么又离线了”的尴尬，那你大概率会走到这一步：搜“HomeAssistant 有线智能家居”，然后看到 KNX 这个词。我在 DIY 这…

2026/10/2 19:19:45 阅读全文 →
工业在线红外测温仪选型指南：避开低质陷阱，认准三大专业品牌

工业在线红外测温仪选型指南：避开低质陷阱，认准三大专业品牌

上周去一个汽车零部件厂调研，厂长老李拍着大腿叹气：“去年贪便宜买了台‘网红款’在线测温仪，装在中频感应加热工位上，头一个月看着还行，第二个月温度读数就开始‘跳舞’，波动十几度，工艺跟着乱…

2026/10/2 19:17:45 阅读全文 →
共享充电宝小程序开发复盘：LBS+扫码租借全栈实践

共享充电宝小程序开发复盘：LBS+扫码租借全栈实践

不做主标题，直接进入正文。“扫码、借宝、走人”——这个动作链听起来很短，真落到一个微信小程序项目里，牵涉到的东西远比想象得多。我做过一个共享充电宝小程序，从需求调研到上线差不多跑了一个完整周期，中间踩过不少…

2026/10/2 19:19:45 阅读全文 →
自然语言+无代码：普通人也能轻松搭建AI应用

自然语言+无代码：普通人也能轻松搭建AI应用

1. 为什么自然语言 无代码能火起来过去几年我接触过不少想搭AI应用的人，有做运营的、做产品设计的、做数据分析的，也有纯粹想玩AI的企业老板。他们有个共同点：脑子里想法很清晰，工具上却卡住。传统的开发方式需要懂代码、懂接口、…

2026/10/2 19:19:45 阅读全文 →
二叉树递归深搜：剪枝与验证BST的两种核心设计

二叉树递归深搜：剪枝与验证BST的两种核心设计

递归、深搜、回溯、二叉树——这几个词放在一起，刷题的人基本都能脑补出一整套套路：先画递归树，再想出口，再决定把当前节点放到哪一步处理。我自己在带新人和写博客时发现，很多人卡在“递归函数到底要不要返回值、返回…

2026/10/2 19:19:45 阅读全文 →
SNMP+MQTT双协议组合：工业设备接入与上云全栈实践

SNMP+MQTT双协议组合：工业设备接入与上云全栈实践

干工业设备管理这行，你迟早会同时撞上两套协议：一边是机房、网络设备里无处不在的SNMP，另一边是物联网平台、消息链路里几乎成为事实标准的MQTT。很多工程师会陷入一种纠结：底层设备明明能通过SNMP采集了，为什么还要多…

2026/10/2 19:19:45 阅读全文 →
HomeAssistant接入KNX：稳定有线智能家居从布线到自动化全实践

HomeAssistant接入KNX：稳定有线智能家居从布线到自动化全实践

如果你跟我一样，家里已经积攒了七八个 WiFi 智能插座、一排 zigbee 网关，却还是经常在夜晚面对“灯怎么又离线了”的尴尬，那你大概率会走到这一步：搜“HomeAssistant 有线智能家居”，然后看到 KNX 这个词。我在 DIY 这…

2026/10/2 19:19:45 阅读全文 →
工业在线红外测温仪选型指南：避开低质陷阱，认准三大专业品牌

工业在线红外测温仪选型指南：避开低质陷阱，认准三大专业品牌

上周去一个汽车零部件厂调研，厂长老李拍着大腿叹气：“去年贪便宜买了台‘网红款’在线测温仪，装在中频感应加热工位上，头一个月看着还行，第二个月温度读数就开始‘跳舞’，波动十几度，工艺跟着乱…

2026/10/2 19:17:45 阅读全文 →
免费网站空间申请教程详细步骤

免费网站空间申请教程详细步骤

3步搞定免费空间申请：新手建站避坑指南详解 域名买好了，服务器却像天书？别慌，很多创业团队负责人第一步就卡在这里。其实免费网站空间申请教程并非高深理论，而是实操细节的堆砌。今天这篇避坑指南，专为搞不懂域名与服务器关系的新手准备，咱们不整虚的…

2026/10/1 22:49:01 阅读全文 →
哪个网站生鲜配送做的好处免费工具推荐

哪个网站生鲜配送做的好处免费工具推荐

3个坑避开备案迷雾:生鲜配送网站最佳实践 备案流程一头雾水？别慌。刚做生鲜配送站时，我因域名后缀选错被退回3次，损失2周上线时间。后来摸索出 最佳实践…

2026/10/2 15:51:07 阅读全文 →
不会代码选南昌企业网站设计公司，3个坑位看怎么选

不会代码选南昌企业网站设计公司，3个坑位看怎么选

不会代码选南昌企业网站设计公司，3个坑位看怎么选 自己不会代码想做网站，这是很多老板和初创团队最头疼的事。你不懂前端后端，不懂服务器配置，但公司又急需一个能展示形象、能接询盘的官网。这时候去找南昌本地企业网站设计公司，心里肯定打鼓：怎么选才…

2026/10/2 15:51:03 阅读全文 →
免费网站空间申请教程详细步骤

免费网站空间申请教程详细步骤

3步搞定免费空间申请：新手建站避坑指南详解 域名买好了，服务器却像天书？别慌，很多创业团队负责人第一步就卡在这里。其实免费网站空间申请教程并非高深理论，而是实操细节的堆砌。今天这篇避坑指南，专为搞不懂域名与服务器关系的新手准备，咱们不整虚的…

2026/10/1 22:49:01 阅读全文 →
哪个网站生鲜配送做的好处免费工具推荐

哪个网站生鲜配送做的好处免费工具推荐

3个坑避开备案迷雾:生鲜配送网站最佳实践 备案流程一头雾水？别慌。刚做生鲜配送站时，我因域名后缀选错被退回3次，损失2周上线时间。后来摸索出 最佳实践…

2026/10/2 15:51:07 阅读全文 →
不会代码选南昌企业网站设计公司，3个坑位看怎么选

不会代码选南昌企业网站设计公司，3个坑位看怎么选

不会代码选南昌企业网站设计公司，3个坑位看怎么选 自己不会代码想做网站，这是很多老板和初创团队最头疼的事。你不懂前端后端，不懂服务器配置，但公司又急需一个能展示形象、能接询盘的官网。这时候去找南昌本地企业网站设计公司，心里肯定打鼓：怎么选才…

2026/10/2 15:51:03 阅读全文 →
GPT API接入四要素：base_url配置、模型标识、倍率规划与稳定性兜底

GPT API接入四要素：base_url配置、模型标识、倍率规划与稳定性兜底

前阵子帮团队梳理 AI 功能接入方案，发现好多项目卡住的地方居然不在提示词工程，也不在模型效果调优，而是最前面的接入配置。其实接入 GPT API 说穿了就四件事：API 地址、模型标识、倍率规划、稳定性兜底。把这几件事在动手前确认清…

2026/10/2 0:00:02 阅读全文 →
科研AI平替：LabFlow零配置本地化AI协作方案

科研AI平替：LabFlow零配置本地化AI协作方案

1. Codex不是“装了就能用”的工具，而是科研流程的智能协作者Codex这个词最近在学术圈里反复刷屏，但很多人点开官网、下载安装包、配置API密钥、折腾VS Code插件之后，发现它根本不像宣传里说的那样“写个注释就能生成论文级代码”——反而卡在…

2026/10/2 0:00:02 阅读全文 →
Windows下安装CTeX环境全攻略：概念、步骤与报错排查

Windows下安装CTeX环境全攻略：概念、步骤与报错排查

作为常年帮实验室新人配环境的“老工具人”，我几乎每年都要在 Windows 上装几遍 CTeX 相关的排版环境，也见过太多人卡在第一步：装完之后打开 WinEdt 写两行中文，编译报错、乱码、找不到 ctex.sty、或者 PDF 里全是黑方块。其实绝大…

2026/10/2 0:00:02 阅读全文 →
我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/2 15:50:43 阅读全文 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/2 0:02:17 阅读全文 →
2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/2 6:08:13 阅读全文 →