使用这种方法，推理成本没有明显提升，但是模型性能更好了。

　　这么好用的模型，为啥不发布？

　　不划算。

　　semianalysis分析，相较于直接发布，Anthropic更倾向于用最好的模型来做内部训练，发布Claude 3.5 Sonnet就够了。

　　这多少让人不敢相信。

　　但是文章作者之一Dylan Patel也曾是最早揭秘GPT-4架构的人。

　　除此之外，文章还分析了最新发布的o1 Pro、神秘Orion的架构以及这些先进模型中蕴藏的新规律。

　　比如它还指出，搜索是Scaling的另一维度，o1没有利用这个维度，但是o1 Pro用了。

　　网友：它暗示了o1和o1 Pro之间的区别，这也是之前没有被披露过的。

　　新旧范式交迭，大模型还在加速

　　总体来看，semianalysis的最新文章分析了当前大模型开发在算力、数据、算法上面临的挑战与现状。

　　核心观点简单粗暴总结，就是新范式还在不断涌现，AI进程没有减速。

　　文章开篇即点明，Scaling law依旧有效。

　　尽管有诸多声音认为，随着新模型在基准测试上的提升不够明显，现有训练数据几乎用尽以及摩尔定律放缓，大模型的Scaling Law要失效了。

　　但是顶尖AI实验室、计算公司还在加速建设数据中心，并向底层硬件砸更多钱。

　　比如AWS斥巨资自研了Trainium2芯片，花费65亿美元为Anthropic准备40万块芯片。

　　Meta也计划在2026年建成耗电功率200万千瓦的数据中心。

　　很明显，最能深刻影响AI进程的人们，依旧相信Scaling Law。

　　为什么呢？

　　因为新范式在不断形成，并且有效。这使得AI开发还在继续加速。

　　首先在底层计算硬件上，摩尔定律的确在放缓，但是英伟达正在引领新的计算定律。

　　8年时间，英伟达的AI芯片计算性能已经提升了1000倍。

　　同时，通过芯片内部和芯片之间的并行计算，以及构建更大规模的高带宽网络域可以使得芯片更好在网络集群内协同工作，特别是推理方面。

　　其次在数据方面也出现了新的范式。

　　已有公开数据消耗殆尽后，合成数据提供了新的解决途径。

　　比如用GPT-4合成数据训练其他模型是很多实验团队都在使用的技术方案。

　　而且模型越好，合成数据质量就越高。

　　也就是在这里，Claude 3.5 Opus不发布的内幕被曝光。

　　它承担了为Claude 3.5 Sonnet合成训练数据、替代人类反馈的工作。

　　事实证明，合成数据越多，模型就越好。更好的模型能提供更好的合成数据，也能提供更好的偏好反馈，这能推动人类开发出更好的模型。

　　具体来看，semianalysisi还举了更多使用综合数据的例子。

　　包括拒绝采样、模式判断、长上下文数据集几种情况。

　　比如Meta将Python代码翻译成PHP，并通过语法解析和执行来确保数据质量，将这些额外的数据输入SFT数据集，解释为何缺少公共PHP代码。

　　比如Meta还使用Llama 3作为拒绝采样器，判断伪代码，并给代码进行评级。一些时候，拒绝抽样和模式判断一起使用。这种方式成本更低，不过很难实现完全自动化。

　　在所有拒绝抽样方法中，“判官”模型越好，得到数据集的质量就越高。

　　这种模式，Meta今年刚刚开始用，而OpenAI、Anthropic已经用了一两年。

　　在长上下文方面，人类很难提供高质量的注释，AI处理成为一种更有效的方法。

　　然后在RLHF方面，专门收集大量的偏好数据难且贵。

　　对于Llama 3，DPO（直接偏好优化）比PPO（最近策略优化）更有效且稳定，使用的计算也少。但是使用DPO就意味着偏好数据集是非常关键的。

　　如OpenAI等大型公司想到的一种办法是从用户侧收集，有时ChatGPT会给出2个回答并要求用户选出更喜欢的一个，因此免费收集了很多反馈。

　　还有一种新的范式是让AI替人类进行反馈——RLAIF。

　　它主要分为两个阶段。第一阶段模型先根据人类编写的标准对自己的输出进行修改，然后创建出一个修订-提示对的数据集，使用这些数据集通过SFT进行微调。

　　第二阶段类似于RLHF，但是这一步完全没有人类偏好数据。

　　这种方法最值得关注的一点是，它可以在许多不同领域扩展。

　　最后，值得重点关注的一个新范式是通过搜索来扩展推理计算。

　　文章中表明，搜索是扩展的另一个维度。OpenAI o1没有利用这个维度，但是o1 Pro用了。

　　o1在测试时阶段不评估多条推理路径，也不进行任何搜索。

　　Self-Consistency / Majority Vote就是一种搜索方法。

　　这种方法中，只需在模型中多次运行提示词，产生多个相应，根据给定的样本数量，从相应中选出出现频率最高的来作为正确答案。

　　除此之外，文章还进一步分析了为什么说OpenAI的Orion训练失败也是不准确的。

　　本文作者：量子位，来源：量子位，原文标题：《反转！Claude 3.5超大杯没有训练失败，最新爆料：内部自留，用于合成数据和RL训练》

　　风险提示及免责条款

　　市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。

外资青睐银行与中型股

摩根大通驻东京的日本现货股票销售联席主管小川慎二（Shinji Ogawa）表示：“市场对日本央行的敏感度显著提高。这种影响体现在多种资产类别上，包括OIS和金融股，后者目前是价格波动较大的领域之一。”

在美国大选结束后的两周内，东京银行类股（TOPIX银行板块）累计上涨约13%，显著跑赢大盘。与此同时，工业、机械等周期性板块表现同样亮眼。

富达国际（Fidelity International）旗下管理1.02亿美元全球多元资产基金的经理乔治·埃夫斯塔索普洛斯（George Efstathopoulos）表示：“我们的投资重点始终是日本的中型股和银行股。前者可从工资增长中受益，后者则直接受益于利率上升。”

他进一步表示，随着全球经济增速加快，日元疲软将转化为企业盈利能力的增强，外资对日本大型股的投资兴趣也在上升。

汇率压力

日元汇率在日本经济与市场中举足轻重，其波动不仅影响企业进口成本，也对货币政策形成制约。

日本央行行长植田和男在周一的政策讲话中仅简要提及日元。然而，市场认为，随着交易员继续加码日元空头押注，汇率贬值压力将促使日本央行尽早采取行动。

花旗银行驻新加坡的亚太区货币交易主管斯瓦米（Nathan Swami）表示：“鉴于日元的近期表现，日本央行可能需要重新考虑是否在下次会议上采取更鹰派的立场。”

美国商品期货交易委员会（CFTC）数据显示，汇市投机者近期持续增加日元空头仓位。不过，利率市场上的押注仍显保守。当前，两年期美债与两年期日本国债之间超过375个基点的利差，仍是导致日元疲软的重要基本面因素。

法国巴黎银行财富管理部门的亚洲投资服务主管萨奇德夫（Shafali Sachdev）称：“基于收益率差和利差交易，许多客户依然在结构性做多美元。”

尽管如此，8月日元短期升值导致市场剧烈波动的场景仍让投资者心有余悸。7月31日，日本央行宣布加息15个基点，与缩表并行，鹰派倾向明显。受此影响，日元自3月份以来首次逼近149关口；8月5日，日元对美元汇率连续突破1美元对145日元、1美元对144日元多道关口，触发日经225指数当天暴跌12.4%，创下自1987年以来的最大单日跌幅。

姜对第一财经记者表示，影响12月决策的主导因素可能是外汇市场的动向，“即使日本央行在12月选择继续暂停加息，我们仍预计其将每季度加息25个基点，直至利率达到1.0%”。

　　据2023年报和2024年中报，自2023年初资管业务因违规暂停三个月以来，太平洋证券已有一年多时间未见监管处罚事项。也因为此，本次被罚，为太平洋证券的2024年带来了遗憾。

　　一曲“伤心太平洋”，再度萦绕在行家耳边。

　　毛利率为负

　　行家探寻发现，太平洋证券海口分公司成立于2016年11月，至今刚满八周年。对这家颇为老牌的上市券商来说，海口分公司是目前唯一一家base海南的网点。

　　据中证协历史信息，海口分公司负责人王攀懿是一位资深人士，此前曾在中银国际证券海口蓝天路证券营业部（现为中银国际证券海南分公司）、国泰君安证券海口龙昆南路营业部（现为国泰君安海口国兴营业部）执业。他于2016年12月加入太平洋证券，担任投资顾问直至2023年4月。

　　自2016年以来的分地区数据显示，太平洋证券除云南、北京两地外，浙江、广东、上海及其他地区的毛利率均为负数。

　　由此不难理解，太平洋证券近期密集撤销网点。

　　今年8月24日，太平洋证券公告撤销景东建设路证券营业部、深圳深南大道证券营业部、厦门高林中路证券营业部，三家网点近期已完成注销。

　　12月6日，太平洋证券再度公告撤销武汉京汉大道证券营业部、长沙岳麓大道证券营业部、广州天河路证券营业部。

　　易主“卡进度”

　　早在两年半之前，华创证券就通过司法拍卖获得了北京嘉裕投资有限公司（简称：嘉裕投资）所持太平洋证券7.44亿股，占总股本的10.92%。

　　太平洋证券于2022年6月申请变更主要股东，但一直未获得监管批准。

　　2023年12月，证监会对拟入股股东华创证券提出了三项反馈意见——

　　一是要求说明是否已就入股太平洋证券履行完备的决议程序，包括但不限于上市公司决议和信息披露程序。

　　二是要求说明是否已对监管警示的投行业务部分撤否项目内控意见未有效落实、内核委员会履职不尽责等问题进行整改。

　　三是要求梳理自营业务、资管业务及子公司管理等情况，并对是否存在风险进行评估。

　　由此可见，监管更为关注的是“买家”华创证券自身的合规问题，太平洋证券作为“标的”，似乎并没有太多发言的余地。

　　据中证协公开信息，华创证券现有19家分公司，77家营业部。太平洋证券现有23家分公司，74家营业部。若能通过合并实现“1+1”，将大幅扩增分支机构规模。

　　然而，在业绩方面，两家券商近期均出现了明显的降幅。

　　今年前三季度，太平洋证券营业收入8.65亿元，同比减少16.45%；归母净利润1.36亿元，同比减少45.71%。而在今年上半年，太平洋证券营业收入5.41亿元，同比下降27.67%；归母净利润0.68亿元，同比下降67.43%。

　　再看华创证券，今年上半年营业收入14.26亿元，同比减少8.40%；归母净利润1.72亿元，同比减少54.88%。

　　缺乏亮点的业绩，合规管理的缺陷，或许也是两家券商并购的障碍。