1. 为什么我要做这个每日ArXiv CV论文追踪项目
做计算机视觉方向的研究或者工程落地，最怕的不是没想法，而是想法刚冒出来，去ArXiv一搜，发现上周已经有人把几乎一样的事情做完了。这种“被抢跑”的挫败感，我相信每个在CV领域摸爬滚打过的人都经历过。更麻烦的是，ArXiv每天新增的CV相关论文数量相当可观，光靠手动刷列表，既费时间又容易漏掉真正重要的那几篇。我从几年前开始就养成了一个习惯：每天早上花二十分钟把当天的CV论文过一遍，把值得细看的挑出来。但手动做这件事的效率实在太低，于是就有了这个每日更新的ArXiv CV论文追踪项目。
这个项目的核心目标很朴素：把ArXiv上每天新出的计算机视觉论文自动抓取、筛选、归类，然后以一份结构清晰的清单形式呈现出来。它解决的是信息过载和筛选成本的问题，适合三类人参考：一是做CV研究的研究生和科研人员，需要快速掌握领域动态；二是做算法落地的工程师，想看看工业界和学术界最近在关注什么；三是刚入门CV、想通过读论文建立感觉的新手。整个项目不依赖任何复杂的基础设施，一台能跑Python的机器加上定时任务就能运转起来。
我把它命名为“每日更新”系列，日期标记到2026年9月30日，是因为这个项目本身是持续迭代的，每天的抓取结果会按日期归档，方便回溯。下面我会把整个项目的设计思路、实现细节、踩过的坑以及实际运行中的经验完整地拆开讲一遍。你如果也想搭一套类似的追踪系统，照着做基本能跑通。
2. ArXiv CV论文抓取的核心机制与接口选择
2.1 ArXiv官方API的能力边界
ArXiv提供了公开的查询接口，这是整个项目的数据源头。它的API支持按分类、关键词、作者、时间范围等条件检索，返回格式可以是Atom XML或者JSON。对于CV方向，最常用的分类是cs.CV，但实际使用中你会发现，很多相关论文也会挂在cs.LG、cs.AI甚至eess.IV下面。如果只抓cs.CV，会漏掉一部分跨领域的工作。
我最初的做法是只查cs.CV，结果有一次一个做医学图像分割的论文挂在了eess.IV下面，我过了三天才从别人的分享里看到。从那以后，我就把抓取范围扩展到了cs.CV、cs.LG、cs.AI、eess.IV这几个分类的并集，然后用关键词做二次过滤。关键词列表包括：image、vision、detection、segmentation、recognition、diffusion、transformer、nerf、gaussian splatting等。这个列表需要根据领域热点的变化定期更新，比如2023年之后diffusion和gaussian splatting的权重明显上升。
API的调用频率需要注意。ArXiv官方建议不要过于频繁地请求，我实测下来，每次请求之间间隔3秒以上比较稳妥。如果一天抓一次，完全不需要担心限流问题。返回的结果默认是按提交时间倒序排列的，但要注意时区问题——ArXiv用的是东部时间，而我们在国内看到的“当天”论文，实际上可能对应的是前一天的时间戳。
2.2 抓取策略：全量拉取还是增量更新
这里有一个关键的设计选择：是每天把符合条件的论文全量拉一遍，还是只拉取新增的部分。全量拉取的好处是实现简单，不需要维护状态；坏处是随着时间推移，请求的数据量会越来越大，而且很多论文是重复的。
我采用的是增量更新的策略。具体做法是：在本地维护一个已处理论文的ID集合，每次抓取时只处理ID不在集合中的新论文。ArXiv的论文ID格式是arXiv:XXXX.XXXXX，这个ID是唯一的，非常适合用来做去重。增量更新的实现依赖一个本地存储，我用的是SQLite，轻量且不需要额外部署。表结构很简单，就三个字段：论文ID、抓取日期、是否已推送。每次抓取前先查一下当天是否已经跑过，避免重复执行。
注意：ArXiv的API在返回结果时，同一个论文可能会因为更新版本而出现多次。比如一篇论文先提交了v1，过两天又提交了v2，API会返回两条记录。如果不做处理，你的清单里就会出现重复条目。我的做法是只保留最新版本，通过论文ID去掉版本号后缀来合并。
2.3 请求参数的具体配置
下面是我实际使用的请求参数配置，用Python的requests库来发请求：
import requests import time BASE_URL = "http://export.arxiv.org/api/query" params = { "search_query": "cat:cs.CV OR cat:cs.LG OR cat:cs.AI OR cat:eess.IV", "start": 0, "max_results": 200, "sortBy": "submittedDate", "sortOrder": "descending" } response = requests.get(BASE_URL, params=params) time.sleep(3)max_results设成200是一个经验值。CV相关的论文每天新增大概在100到300篇之间，设成200基本能覆盖大部分情况。如果某天特别多，可以分页拉取，通过调整start参数来实现。sortBy用submittedDate确保拿到的是最新的，sortOrder用descending让最新的排在前面。
这里有一个细节：search_query里的分类条件用OR连接时，ArXiv的API是支持的，但返回的结果可能会包含一些边缘分类的论文。所以我在拿到结果后，还会用关键词做一次本地过滤，把明显不相关的剔除掉。比如有些论文虽然挂在cs.LG下面，但做的是纯理论推导，跟视觉没关系，这种就会被过滤掉。
3. 从原始数据到可读清单的加工流程
3.1 解析Atom XML的坑与处理方式
ArXiv API默认返回的是Atom XML格式，虽然可以请求JSON，但XML的字段更全。解析XML我一开始用的是xml.etree.ElementTree，后来换成了feedparser，因为后者对Atom格式的支持更友好，能直接拿到标题、作者、摘要、链接等字段。
解析过程中有几个容易出问题的地方。第一是命名空间，Atom XML里的标签都带命名空间前缀，比如<entry>实际上是{http://www.w3.org/2005/Atom}entry。用ElementTree查找时必须带上完整的命名空间，否则什么都找不到。feedparser帮我们处理了这层，省了不少事。
第二是摘要字段的换行符。ArXiv的摘要里经常包含换行和多余空格，直接展示会很难看。我的处理方式是先用正则把连续空白字符替换成单个空格，再按句子切分，取前两句作为简短描述。这样在清单里展示时既保留了核心信息，又不会太长。
第三是作者字段。有些论文作者很多，全部列出来会占很大篇幅。我的做法是只显示前三位作者，后面用“等”代替。如果是单人作者，就正常显示。这个细节虽然小，但直接影响清单的可读性。
3.2 关键词过滤与相关性打分
拿到原始论文列表后，下一步是过滤和排序。过滤的目的是去掉不相关的论文，排序的目的是让最值得看的论文排在前面。我设计了一个简单的相关性打分机制，核心思路是：论文标题和摘要中命中关键词的次数越多、命中的关键词越重要，得分越高。
关键词分成三档：核心词（如detection、segmentation、diffusion）权重为3，扩展词（如transformer、attention、contrastive）权重为2，泛化词（如image、visual、recognition）权重为1。标题中命中的权重乘以2，摘要中命中的权重乘以1。最后把所有命中词的加权得分加起来，就是这篇论文的相关性得分。
这个打分机制不是完美的，但实测下来比单纯按时间排序要好得多。它能把那些标题里就带着核心关键词的论文排到前面，减少你翻清单的时间。当然，打分只是辅助，最终还是要靠人眼判断。我一般会看前20篇，后面的快速扫一眼标题。
3.3 生成Markdown格式的每日清单
清单的格式我改过好几版，最终定下来的是Markdown格式，因为它在各种编辑器里都能直接预览，也方便复制到其他地方。每篇论文的条目包含以下信息：
- 论文标题（加粗）
- 作者（前三位）
- 一句话摘要（从摘要中提取的前两句）
- 相关性得分
- ArXiv链接
清单按相关性得分从高到低排列，同分的按提交时间倒序。每天生成一个独立的Markdown文件，文件名格式是arxiv_cv_YYYYMMDD.md，放在按月份分的文件夹里。这样一年下来，文件夹结构清晰，回溯起来很方便。
生成清单的代码逻辑不复杂，核心就是字符串拼接。但有一个细节要注意：Markdown里的特殊字符需要转义，比如标题里如果有*或_，不转义的话会破坏格式。我写了一个简单的转义函数，把*、_、[、]这些字符前面加上反斜杠。
4. 自动化调度与推送的落地细节
4.1 定时任务的选择：cron还是Python调度库
让整个流程每天自动跑起来，最直接的方式是用系统的cron。在Linux上，cron的配置很简单，一行就能搞定：
0 9 * * * /usr/bin/python3 /path/to/arxiv_tracker.py >> /path/to/log.txt 2>&1这行配置的意思是每天早上9点执行一次抓取脚本，并把输出追加到日志文件里。cron的优点是稳定、不依赖额外的Python库，缺点是调试不太方便，出错了只能看日志。
如果你不想用cron，也可以用Python的schedule库或者APScheduler。schedule的用法很直观：
import schedule import time def job(): run_tracker() schedule.every().day.at("09:00").do(job) while True: schedule.run_pending() time.sleep(60)这种方式的好处是调度逻辑和业务逻辑在同一个进程里，调试方便。但缺点是这个进程必须一直挂着，如果机器重启了，需要手动重新启动。我最终选择了cron，因为它更省心，机器重启后任务会自动恢复。
4.2 推送渠道的对比与选择
清单生成后，需要推送到我能看到的地方。我试过几种方式：邮件、即时通讯工具的机器人、以及直接写入本地文件。邮件的好处是正式、有存档，但缺点是容易被淹没在收件箱里。即时通讯工具机器人的好处是实时提醒，打开手机就能看，但需要配置webhook。
我目前用的是“本地文件+即时通讯工具机器人”的组合。本地文件作为完整存档，机器人推送只发前10篇的标题和链接，作为快速浏览的入口。这样既不会错过重要论文，又不会被大量信息轰炸。
配置机器人推送时有一个坑：消息长度限制。有些平台对单条消息的字符数有限制，如果清单太长，需要分多条发送。我的做法是只推送前10篇，每篇一行，这样一条消息就能放下。如果当天有特别重要的论文（相关性得分超过某个阈值），会在消息开头单独标注出来。
4.3 异常处理与日志记录
自动化流程最怕的是静默失败。如果某天抓取脚本因为网络问题挂了，而你又不知道，就会漏掉一整天的论文。所以异常处理和日志记录是必须的。
我的做法是在脚本的关键节点加上try-except，捕获异常后把错误信息写入日志文件，同时通过机器人发一条告警消息。日志文件按天滚动，保留最近30天的记录。这样即使出了问题，也能快速定位。
常见的异常包括：网络超时、API返回格式变化、解析失败、推送失败。网络超时可以通过重试机制来缓解，我设置了最多重试3次，每次间隔5秒。API返回格式变化比较少见，但一旦发生，解析代码就会报错，这时候需要人工介入调整。推送失败通常是webhook配置问题，检查一下URL和token就能解决。
提示：建议在脚本开头加一个“心跳”检查，如果连续两天没有成功执行，就发一条告警。这样可以避免因为机器关机或者cron配置丢失导致的长期静默失败。
5. 实际运行中踩过的坑与优化经验
5.1 时区问题导致的日期错位
这个问题我踩过两次，第一次的时候排查了很久。ArXiv的提交时间用的是东部时间，而我的脚本在生成文件名时用的是本地时间。结果就是，某天早上跑出来的清单，文件名是今天的日期，但里面的论文实际上是昨天提交的。这本身不算大问题，但如果你按日期回溯，就会对不上。
解决办法很简单：在生成文件名和记录抓取日期时，统一用东部时间。Python的pytz库可以方便地处理时区转换：
from datetime import datetime import pytz eastern = pytz.timezone('US/Eastern') now_eastern = datetime.now(eastern) date_str = now_eastern.strftime('%Y%m%d')这样生成的日期就和ArXiv的提交日期一致了。虽然只是一个小改动，但避免了后续回溯时的困惑。
5.2 重复论文与版本更新的处理
前面提到过，同一篇论文可能会有多个版本。我最初的处理方式是只按论文ID去重，但后来发现，有些论文在更新版本后，标题和摘要会有变化，如果只保留最早抓到的版本，可能会错过重要的更新。
我的改进方案是：在数据库中记录论文ID和最新版本号，每次抓取时如果发现同一ID的新版本，就更新数据库中的记录，并在清单中标注“已更新”。这样既能去重，又不会错过版本变化。版本号可以从ArXiv返回的链接中提取，格式是v1、v2这样的后缀。
另一个相关的问题是，有些论文会在不同分类下重复出现。比如一篇论文同时挂在cs.CV和cs.LG下面，API会返回两条记录。这种情况用论文ID去重就能解决，因为ID是一样的。
5.3 关键词列表的动态维护
关键词列表不是一成不变的。CV领域的热点变化很快，前两年大家都在做transformer和self-supervised，现在diffusion和3D gaussian splatting的论文明显增多。如果关键词列表不更新，就会漏掉新兴方向的重要论文。
我的做法是每个月回顾一次关键词列表，看看有没有新的热词需要加进去，有没有过时的词可以降权。回顾的依据主要是两个：一是自己读论文时遇到的新术语，二是清单里被标记为“不相关”的论文中反复出现的词。后者说明这个词可能代表了一个我没关注到的方向。
关键词的权重也需要调整。比如diffusion这个词，两年前权重是2，现在应该调到3，因为相关论文的数量和质量都在上升。这种调整没有绝对的标准，主要靠对领域的直觉判断。
5.4 清单可读性的持续优化
清单是给人看的，可读性直接影响使用体验。我在这方面做过几次优化。最初清单里每篇论文只显示标题和链接，后来加了作者和摘要，再后来加了相关性得分和分类标签。每次加东西都会让清单变长，所以需要在信息量和简洁性之间找平衡。
目前的版本是：标题加粗显示，下面一行是作者和得分，再下面是一句话摘要，最后是链接。每篇论文之间用空行隔开。这样的格式在手机和电脑上看起来都比较舒服。如果你觉得还是太长，可以只保留标题和链接，把其他信息折叠起来。
还有一个细节是链接的处理。ArXiv的链接有几种形式：摘要页、PDF页、HTML页。我默认用摘要页，因为打开速度快，而且能看到完整的摘要和引用信息。如果你习惯直接看PDF，可以把链接换成PDF页的地址。
6. 这套追踪系统还能怎么扩展
6.1 加入论文摘要的自动翻译
对于非英语母语的人来说，读英文摘要需要额外的时间。我试过在清单里加入中文翻译，用的是开源的翻译接口。效果还可以，但翻译质量参差不齐，尤其是专业术语，经常翻得不准。后来我的做法是只翻译标题，摘要保持英文，这样既能快速了解论文主题，又不会被低质量的翻译误导。
如果你也想加翻译功能，建议用专门的学术翻译工具，或者自己维护一个术语对照表。通用翻译接口在CV领域的表现不太稳定，比如transformer有时候会被翻成“变压器”，diffusion有时候会被翻成“扩散作用”，这些都需要后处理修正。
6.2 按主题分类而不是按时间排序
目前的清单是按相关性得分排序的，好处是重要的论文排在前面，坏处是同一主题的论文可能分散在不同位置。如果你对某个特定方向特别关注，比如3D reconstruction或者medical image segmentation，按主题分类会更方便。
实现方式是在关键词列表里给每个词打上主题标签，然后根据论文命中的关键词把它归到对应的主题下。一篇论文可能命中多个主题，那就归到得分最高的那个主题下。这样清单就变成了按主题分组的格式，每个主题下面再按得分排序。
6.3 与文献管理工具的联动
如果你用Zotero或者Mendeley管理文献，可以把清单里的论文自动导入进去。Zotero支持通过API添加条目，只要提供ArXiv ID，它就能自动抓取元数据。这样你看到感兴趣的论文，一键就能加入文献库，不用手动复制粘贴。
这个功能的实现需要申请Zotero的API key，然后调用它的添加接口。代码不复杂，但需要处理认证和错误重试。我目前是手动导入的，因为每天值得细看的论文其实不多，手动操作也就几分钟的事。如果你每天要处理几十篇，自动化导入会省不少时间。
6.4 历史数据的分析与趋势发现
跑了一段时间后，本地数据库里就积累了不少数据。这些数据可以用来做趋势分析，比如某个关键词的出现频率随时间的变化，某个研究方向的论文数量是上升还是下降。这种分析对判断领域热点很有帮助。
我用pandas和matplotlib做过简单的可视化，把每个月diffusion相关论文的数量画成折线图，能明显看到上升趋势。这种图如果定期生成，可以作为自己判断方向的参考。当然，这属于锦上添花的功能，核心的抓取和推送流程才是最重要的。
我个人在实际操作中的体会是，这套系统的价值不在于技术有多复杂，而在于它帮你养成了一个持续跟踪领域动态的习惯。工具只是辅助，真正重要的是你每天花那十几分钟去读、去思考。我坚持跑了两年多，最大的收获不是知道了多少篇论文，而是对CV领域的发展脉络有了更清晰的感知。哪个方向在升温，哪个方向在降温，哪些方法是昙花一现，哪些是真正有生命力的，这些判断都是在日复一日的积累中慢慢形成的。
