使用这种方法，推理成本没有明显提升，但是模型性能更好了。

　　这么好用的模型，为啥不发布？

　　不划算。

　　semianalysis分析，相较于直接发布，Anthropic更倾向于用最好的模型来做内部训练，发布Claude 3.5 Sonnet就够了。

　　这多少让人不敢相信。

　　但是文章作者之一Dylan Patel也曾是最早揭秘GPT-4架构的人。

　　除此之外，文章还分析了最新发布的o1 Pro、神秘Orion的架构以及这些先进模型中蕴藏的新规律。

　　比如它还指出，搜索是Scaling的另一维度，o1没有利用这个维度，但是o1 Pro用了。

　　网友：它暗示了o1和o1 Pro之间的区别，这也是之前没有被披露过的。

　　新旧范式交迭，大模型还在加速

　　总体来看，semianalysis的最新文章分析了当前大模型开发在算力、数据、算法上面临的挑战与现状。

　　核心观点简单粗暴总结，就是新范式还在不断涌现，AI进程没有减速。

　　文章开篇即点明，Scaling law依旧有效。

　　尽管有诸多声音认为，随着新模型在基准测试上的提升不够明显，现有训练数据几乎用尽以及摩尔定律放缓，大模型的Scaling Law要失效了。

　　但是顶尖AI实验室、计算公司还在加速建设数据中心，并向底层硬件砸更多钱。

　　比如AWS斥巨资自研了Trainium2芯片，花费65亿美元为Anthropic准备40万块芯片。

　　Meta也计划在2026年建成耗电功率200万千瓦的数据中心。

　　很明显，最能深刻影响AI进程的人们，依旧相信Scaling Law。

　　为什么呢？

　　因为新范式在不断形成，并且有效。这使得AI开发还在继续加速。

　　首先在底层计算硬件上，摩尔定律的确在放缓，但是英伟达正在引领新的计算定律。

　　8年时间，英伟达的AI芯片计算性能已经提升了1000倍。

　　同时，通过芯片内部和芯片之间的并行计算，以及构建更大规模的高带宽网络域可以使得芯片更好在网络集群内协同工作，特别是推理方面。

　　其次在数据方面也出现了新的范式。

　　已有公开数据消耗殆尽后，合成数据提供了新的解决途径。

　　比如用GPT-4合成数据训练其他模型是很多实验团队都在使用的技术方案。

　　而且模型越好，合成数据质量就越高。

　　也就是在这里，Claude 3.5 Opus不发布的内幕被曝光。

　　它承担了为Claude 3.5 Sonnet合成训练数据、替代人类反馈的工作。

　　事实证明，合成数据越多，模型就越好。更好的模型能提供更好的合成数据，也能提供更好的偏好反馈，这能推动人类开发出更好的模型。

　　具体来看，semianalysisi还举了更多使用综合数据的例子。

　　包括拒绝采样、模式判断、长上下文数据集几种情况。

　　比如Meta将Python代码翻译成PHP，并通过语法解析和执行来确保数据质量，将这些额外的数据输入SFT数据集，解释为何缺少公共PHP代码。

　　比如Meta还使用Llama 3作为拒绝采样器，判断伪代码，并给代码进行评级。一些时候，拒绝抽样和模式判断一起使用。这种方式成本更低，不过很难实现完全自动化。

　　在所有拒绝抽样方法中，“判官”模型越好，得到数据集的质量就越高。

　　这种模式，Meta今年刚刚开始用，而OpenAI、Anthropic已经用了一两年。

　　在长上下文方面，人类很难提供高质量的注释，AI处理成为一种更有效的方法。

　　然后在RLHF方面，专门收集大量的偏好数据难且贵。

　　对于Llama 3，DPO（直接偏好优化）比PPO（最近策略优化）更有效且稳定，使用的计算也少。但是使用DPO就意味着偏好数据集是非常关键的。

　　如OpenAI等大型公司想到的一种办法是从用户侧收集，有时ChatGPT会给出2个回答并要求用户选出更喜欢的一个，因此免费收集了很多反馈。

　　还有一种新的范式是让AI替人类进行反馈——RLAIF。

　　它主要分为两个阶段。第一阶段模型先根据人类编写的标准对自己的输出进行修改，然后创建出一个修订-提示对的数据集，使用这些数据集通过SFT进行微调。

　　第二阶段类似于RLHF，但是这一步完全没有人类偏好数据。

　　这种方法最值得关注的一点是，它可以在许多不同领域扩展。

　　最后，值得重点关注的一个新范式是通过搜索来扩展推理计算。

　　文章中表明，搜索是扩展的另一个维度。OpenAI o1没有利用这个维度，但是o1 Pro用了。

　　o1在测试时阶段不评估多条推理路径，也不进行任何搜索。

　　Self-Consistency / Majority Vote就是一种搜索方法。

　　这种方法中，只需在模型中多次运行提示词，产生多个相应，根据给定的样本数量，从相应中选出出现频率最高的来作为正确答案。

　　除此之外，文章还进一步分析了为什么说OpenAI的Orion训练失败也是不准确的。

　　本文作者：量子位，来源：量子位，原文标题：《反转！Claude 3.5超大杯没有训练失败，最新爆料：内部自留，用于合成数据和RL训练》

　　风险提示及免责条款

　　市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。

　　资料显示，周富裕于1997年在武汉创立“周记怪味鸭”店，2005年改名为周黑鸭。随着全国直营门店陆续铺开，周黑鸭在全国成立多个加工厂、物流中心，并于2016年11月上市港股。

　　上市后，周黑鸭股价几度起伏，近期受困于业绩持续下滑、门店收缩，公司股价处于历史低谷。

　　公司历史营收数据显示，2021年至2023年公司营收分别为28.7亿元、23.43亿元和27.44亿元，同期归母净利润分别为3.42亿元、0.25亿元和1.16亿元。2024上半年，周黑鸭半年实现营收12.6亿元，同比下滑10.95亿元；同期归母净利润为0.33亿元，同比下滑67.75%。截至今年6月末，周黑鸭旗下门店总数为3456家，同比减少360家。

　　2024年6月，周富裕回归公司CEO岗位，推动公司重要战略变革，优化运营效率、提升经营质量。目前，作为创始人的周富裕身兼周黑鸭董事长、执行董事、CEO等多个职位。

　　今年以来周黑鸭持续在门店销售模式调整、直播带货领域发力，创始人周富裕也频繁现身带货。在伤势初愈后，12月10日周富裕现身周黑鸭官方直播间继续带货，出场时间超1小时，积极安抚网友抱怨周黑鸭售价偏高等不满。

　　据悉，周富裕、唐建芳夫妇曾以50亿人民币财富位列《2023年·胡润百富榜》第1179名。

　　截至发稿，周黑鸭港股单日涨幅为0.58%，总市值39.46亿港元。

　　“科技七姐妹”普涨。特斯拉收涨3.69%，报345.16美元，市值1.1万亿美元，11月份累涨38.15%，创2023年1月份以来最佳单月表现；

　　英伟达涨2.15%，11月份累涨4.14%，年内迄今累涨179.23%；亚马逊涨1.05%，11月份累涨11.53%；

　　苹果涨1.02%，刷新收盘历史最高位至237.33美元，收盘市值3.59万亿美元，11月累涨5.18%；

　　“元宇宙”Meta涨0.9%，11月累计反弹1.19%；微软涨0.11%，11月累涨4.14%；谷歌A则收跌0.17%，11月累跌1.26%。

　　芯片股周五普涨，阿斯麦涨逾2%，台积电、英特尔涨近2%。

　　比特币盘中最高至98619美元。区块链概念股走强，嘉楠科技涨超16%，Bit Digital涨逾4%，Riot Platforms涨超2%。

　　国际贵金属期货普遍收涨，COMEX黄金期货涨0.34%报2673.9美元/盎司；COMEX白银期货涨1.78%报31.1美元/盎司。

　　WTI 1月原油期货收跌0.72美元，跌幅1.05%报68.00美元/桶，11月份累跌1.18%。布伦特1月原油期货收跌0.34美元，跌幅0.46%报72.94美元/桶，11月份累涨0.18%。NYMEX 1月天然气期货收涨4.96%，报3.3630美元/百万英热，11月累涨13.31%。

　　纳斯达克中国金龙指数收涨0.60%，热门中概股多数上涨，蔚来涨超2%，网易、小鹏汽车、理想汽车、哔哩哔哩、网易涨超1%。跌幅方面，好未来跌超4%，拼多多跌超2%。

　　截至发稿，富时中国A50期货涨0.45%。

　　分析认为，11月上旬“特朗普在2024年总统选举中获胜”的消息给股市带来了强劲的利好，市场对其第二任期潜在的减税政策充满想象空间，令小盘股表现尤为优异。

　　小盘股罗素2000指数本月累涨10.84%，跑赢美股大盘。Baird Private Wealth Management投资策略师Ross Mayfield表示，“11月最普遍的结论就是，选举前的情况在选举后依然适用。”

　　Mayfield补充道：“随着我们进入12月，这里牛市的状况依然很难消退，因为所有事情都进展顺利，季节性顺风能让股市还有一些发展空间。”

　　本周早些时候，美联储公布的11月货币政策会议纪要显示，FOMC官员们认为，如果经济表现符合预期，那么逐步降息、转向较为中性的政策立场可能是适当的。

　　芝商所的“美联储观察”工具显示，市场预计该行12月降息25个基点的概率为66%，维持利率不变为34%。除此以外，特朗普提名的财政部长人选斯科特·贝森特也获得了华尔街的赞誉。

　　据证券时报11月29日消息，对于美股，曾成功预测三次市场泡沫的传奇投资人杰里米・格兰瑟姆（Jeremy Grantham）再次警告称，市场对人工智能（AI）无休止的炒作是一个经典的泡沫，沿袭了历史上其他泡沫的轨迹。

　　此外，被誉为环球投资大师、量化基金创始人吉姆・罗杰斯（Jim Rogers）在一场媒体连线采访中警告称，全球市场的狂欢将以危机告终，自己已于近期大幅减持头寸。

　　每日经济新闻综合证券时报、市场公开资料

　　免责声明：本文内容与数据仅供参考，不构成投资建议，使用前请核实。据此操作，风险自担。

　　封面图片来源：：视觉中国