这周的新闻有好有坏：四家 AI 大公司约好用同一个办法，让网站决定内容能不能拿去训练 AI；ChatGPT 开始能做动图。但美国中期选举之后，AI 股票迎来了一年多来最惨的一天。另外，据报道，Anthropic 第一次付钱给新闻机构用它们的内容。
1. 一行 robots.txt，对四家 AI 公司说"别拿我训练"
10 月 30 日，谷歌、微软、OpenAI 和 Anthropic 一起支持一个新办法：网站在 robots.txt 文件里写上同一个名字 __usage_ai-training，就能告诉这几家公司"我的内容不要用来训练 AI"。以前要给每家公司的爬虫分别写规则，现在一条就够了：
User-Agent: __usage_ai-training
Disallow: /这个办法来自 Anthropic 一位工程师提交给互联网标准组织 IETF 的草案，目前还只是个人草案，不是正式标准。各家开始执行的时间也不一样：微软说从 2027 年 2 月 1 日起遵守，谷歌说 2027 年支持，Anthropic 已经开始接入，OpenAI 据报道会在未来几个月内跟上。
为什么值得关注： robots.txt 是放在网站根目录的一个小文件，告诉爬虫哪些地方可以抓、哪些不行，我们的爬虫课也会专门讲到它。这次的新变化是：它不光管"能不能抓"，还开始管"抓了能拿来做什么"。不过要记住，这仍然靠公司自觉遵守，没有强制执行的机制。
来源：谷歌官方博客、微软 Bing 官方博客、IETF 草案原文
2. ChatGPT 会做动图了
11 月 4 日，据 The Verge 等媒体报道，OpenAI 推出了 ChatGPT Images 2.6。最大的新功能是做 GIF 动图：输入一句话，或者上传一张照片，ChatGPT 就能把它变成会动的图，还能调播放速度、单独修改某一帧。OpenAI 说，现在 ChatGPT 和它的接口每周生成的图片超过 40 亿张，比 9 月多了 10 亿。
为什么值得关注： 动图其实就是很多张图片连起来播放，难点是每一张里的人物要长得一样，不然看起来就像在"变脸"。能做到这一点，说明图像模型在"前后一致"上又进了一步。不过别急着找：有媒体测试时还没拿到这个功能，看来是分批开放的。
3. 选举之后，AI 股票一天大跌
11 月 5 日，美国股市大跌：以科技股为主的纳斯达克指数下跌 5.52%，标普 500 下跌 4.36%，道琼斯下跌 1833 点。芯片股跌得最惨，费城半导体指数跌了超过 12%，英伟达跌了约 8% 到 9%（不同媒体给的数字不一样）。这是纳斯达克自 2025 年 4 月以来最糟糕的一天。
原因要从两天前说起：11 月 3 日美国中期选举，民主党大胜。因为数据中心太耗电、推高了居民电费，一些民主党人提出要限制或暂停新建数据中心。投资者担心，AI 需要的数据中心以后会建得更慢、更贵。
为什么值得关注： AI 不只是软件，它背后需要大量的电和机房。电费、选票、政策这些看起来和代码无关的东西，也会影响 AI 的发展速度。至于这是 AI 泡沫开始破裂，还是一次过度反应，分析师们的看法并不一致。
来源：Fox Business、澳联社 / CommBank 新闻室
4. 据报道，Anthropic 第一次付钱买新闻内容
据美国媒体 Adweek 报道，开发 Claude 的 Anthropic 在中期选举前和美联社（AP）签了一份内容授权协议。选举当晚，用户在 Claude 里问最新的选举情况，看到的就是美联社提供、并注明来源的实时数据。报道说，这是 Anthropic 第一次付钱给新闻机构用它们的内容；而 OpenAI 已经和十几家媒体签过类似的协议。
为什么值得关注： AI 回答"刚刚发生的事"时，信息从哪里来、准不准，是个大问题。付钱给专业新闻机构、并在回答里注明来源，是一种解决办法。但要注意，Anthropic 和美联社都没有公开确认，金额和期限也没有透露，目前只是一家媒体根据知情人士的报道。
来源：Adweek
本周值得一试
第一条新闻说的 robots.txt，用 Python 自带的工具就能读懂。把下面这段代码复制到电脑上运行，看看三个问题的答案：
from urllib.robotparser import RobotFileParser
rules = """
User-Agent: *
Disallow: /admin/
User-Agent: __usage_ai-training
Disallow: /
"""
rp = RobotFileParser()
rp.parse(rules.splitlines())
url = "https://example.com/articles/python-01"
print("普通爬虫能抓吗？", rp.can_fetch("MyLemonBot", url))
print("后台页面能抓吗？", rp.can_fetch("MyLemonBot", "https://example.com/admin/"))
print("能拿来训练 AI 吗？", rp.can_fetch("__usage_ai-training", url))答案应该是 True、False、False。然后在浏览器里打开你常去的网站，在网址后面加上 /robots.txt，比如 https://zh.wikipedia.org/robots.txt，看看它都禁止了哪些爬虫。