使用这种方法，推理成本没有明显提升，但是模型性能更好了。

　　这么好用的模型，为啥不发布？

　　不划算。

　　semianalysis分析，相较于直接发布，Anthropic更倾向于用最好的模型来做内部训练，发布Claude 3.5 Sonnet就够了。

　　这多少让人不敢相信。

　　但是文章作者之一Dylan Patel也曾是最早揭秘GPT-4架构的人。

　　除此之外，文章还分析了最新发布的o1 Pro、神秘Orion的架构以及这些先进模型中蕴藏的新规律。

　　比如它还指出，搜索是Scaling的另一维度，o1没有利用这个维度，但是o1 Pro用了。

　　网友：它暗示了o1和o1 Pro之间的区别，这也是之前没有被披露过的。

　　新旧范式交迭，大模型还在加速

　　总体来看，semianalysis的最新文章分析了当前大模型开发在算力、数据、算法上面临的挑战与现状。

　　核心观点简单粗暴总结，就是新范式还在不断涌现，AI进程没有减速。

　　文章开篇即点明，Scaling law依旧有效。

　　尽管有诸多声音认为，随着新模型在基准测试上的提升不够明显，现有训练数据几乎用尽以及摩尔定律放缓，大模型的Scaling Law要失效了。

　　但是顶尖AI实验室、计算公司还在加速建设数据中心，并向底层硬件砸更多钱。

　　比如AWS斥巨资自研了Trainium2芯片，花费65亿美元为Anthropic准备40万块芯片。

　　Meta也计划在2026年建成耗电功率200万千瓦的数据中心。

　　很明显，最能深刻影响AI进程的人们，依旧相信Scaling Law。

　　为什么呢？

　　因为新范式在不断形成，并且有效。这使得AI开发还在继续加速。

　　首先在底层计算硬件上，摩尔定律的确在放缓，但是英伟达正在引领新的计算定律。

　　8年时间，英伟达的AI芯片计算性能已经提升了1000倍。

　　同时，通过芯片内部和芯片之间的并行计算，以及构建更大规模的高带宽网络域可以使得芯片更好在网络集群内协同工作，特别是推理方面。

　　其次在数据方面也出现了新的范式。

　　已有公开数据消耗殆尽后，合成数据提供了新的解决途径。

　　比如用GPT-4合成数据训练其他模型是很多实验团队都在使用的技术方案。

　　而且模型越好，合成数据质量就越高。

　　也就是在这里，Claude 3.5 Opus不发布的内幕被曝光。

　　它承担了为Claude 3.5 Sonnet合成训练数据、替代人类反馈的工作。

　　事实证明，合成数据越多，模型就越好。更好的模型能提供更好的合成数据，也能提供更好的偏好反馈，这能推动人类开发出更好的模型。

　　具体来看，semianalysisi还举了更多使用综合数据的例子。

　　包括拒绝采样、模式判断、长上下文数据集几种情况。

　　比如Meta将Python代码翻译成PHP，并通过语法解析和执行来确保数据质量，将这些额外的数据输入SFT数据集，解释为何缺少公共PHP代码。

　　比如Meta还使用Llama 3作为拒绝采样器，判断伪代码，并给代码进行评级。一些时候，拒绝抽样和模式判断一起使用。这种方式成本更低，不过很难实现完全自动化。

　　在所有拒绝抽样方法中，“判官”模型越好，得到数据集的质量就越高。

　　这种模式，Meta今年刚刚开始用，而OpenAI、Anthropic已经用了一两年。

　　在长上下文方面，人类很难提供高质量的注释，AI处理成为一种更有效的方法。

　　然后在RLHF方面，专门收集大量的偏好数据难且贵。

　　对于Llama 3，DPO（直接偏好优化）比PPO（最近策略优化）更有效且稳定，使用的计算也少。但是使用DPO就意味着偏好数据集是非常关键的。

　　如OpenAI等大型公司想到的一种办法是从用户侧收集，有时ChatGPT会给出2个回答并要求用户选出更喜欢的一个，因此免费收集了很多反馈。

　　还有一种新的范式是让AI替人类进行反馈——RLAIF。

　　它主要分为两个阶段。第一阶段模型先根据人类编写的标准对自己的输出进行修改，然后创建出一个修订-提示对的数据集，使用这些数据集通过SFT进行微调。

　　第二阶段类似于RLHF，但是这一步完全没有人类偏好数据。

　　这种方法最值得关注的一点是，它可以在许多不同领域扩展。

　　最后，值得重点关注的一个新范式是通过搜索来扩展推理计算。

　　文章中表明，搜索是扩展的另一个维度。OpenAI o1没有利用这个维度，但是o1 Pro用了。

　　o1在测试时阶段不评估多条推理路径，也不进行任何搜索。

　　Self-Consistency / Majority Vote就是一种搜索方法。

　　这种方法中，只需在模型中多次运行提示词，产生多个相应，根据给定的样本数量，从相应中选出出现频率最高的来作为正确答案。

　　除此之外，文章还进一步分析了为什么说OpenAI的Orion训练失败也是不准确的。

　　本文作者：量子位，来源：量子位，原文标题：《反转！Claude 3.5超大杯没有训练失败，最新爆料：内部自留，用于合成数据和RL训练》

　　风险提示及免责条款

　　市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。

　　金山云（03896）盘中曾涨超20%，截至发稿，股价上涨13.42%，现报3.55港元，成交额7.26亿港元。

　　金山云日前公布2024年第三季度业绩，总收入达人民币18.86亿元，同比增加16.0%；公有云实现收入11.8亿元，同比增长15.6%；行业云实现收入7.1亿元，同比增长16.7%；毛利为人民币3.034亿元，同比增加54.6%；调整后EBITDA达1.9亿元，调整后EBITDA率达9.8%，在前两个季度转正基础上继续稳步向好，且同比大幅提升12.6个百分点。

　　近日，中金公司发布研报称，近日，金山云（KC.US）宣布与中信金融租赁订立总额为2.5亿元的融资租赁协议，以加快AI基础设施相关投入。同时受益于小米及金山生态需求放量，金山云有望率先获得生态客户AI业务布局带来的资源需求增量。该行认为，考虑到公司AI算力投入节奏快于预期、需求量级高于预期，上调2024年和2025年收入1.5%/5.7%至75亿元/83亿元，维持金山云“跑赢行业”评级，上调目标价71%至6美元，对应47%上行空间。

　　数字澳门元原型系统可谓“五年磨一剑”。据悉，早在2019年，澳门金管局就开始部署数字澳门元项目，2023年澳门重新订立的《货币发行法律制度》生效，为数字形式货币的发行奠定了必要的法律基础。

　　对于数字澳门元的定位，澳门金融管理局行政管理委员会主席陈守信介绍，数字澳门元作为澳门特区的法定货币，拥有与纸币、硬币相同的法律地位及价值，具有百分之百准备金支持，具有充分法偿性。

　　陈守信强调，数字澳门元是澳门特区最安全的资产，由澳门金管局负责监督和管理数字澳门元的发行、注销及流通，并以严格标准谨慎选择资本充足且具备科技实力的商业银行担当运营机构。而且，作为完全自由兑换货币，数字澳门元的设计严格遵守国际组织对央行数字货币的汇兑安排及监管原则，尊重各国或各地区政策及法律，满足监管与合规要求。

　　数字澳门元载体分为硬钱包和软钱包，为不同群体提供高效便捷的支付工具选择。其中，搭载在不同形态硬件设备上的数字澳门元硬钱包可满足游客、老年人等群体在不同应用场景下的支付需求。此外，澳门金管局开发了数字澳门元APP，在APP内可开立由运营机构提供的软钱包，包括按身份验证程度设置的不同级别的钱包，以及专为青少年而设的钱包。数字澳门元软钱包除可提供常用的“扫一扫”和“付款码”支付，转账、银行账户提款充值、将钱包现款存回银行账户、与硬钱包互通等功能以外，未来将可提供“智能合约”“随用随充”等创新功能。

　　数字澳门元为社会经济数字化发展奠定基础

　　在数字时代，澳门开展数字澳门元研发工作意义重大。

　　李伟农在致辞时表示，配合国家总体发展规划，澳门特区政府正推动各界携手加快数字化建设。数字澳门元的研发旨在更好地与国际接轨，对澳门的经济、金融乃至社会发展具有深远意义。它有助于提升澳门特区的支付效率，提高普惠金融水平，促进数字化转型升级，为澳门居民和企业提供更便捷和安全的金融交易，推动社会经济和金融业发展，并将在未来有望成为澳门特区与其他国家和地区，尤其是与葡语国家之间金融及经济合作的重要桥梁。

　　陈守信表示，澳门特区研发数字澳门元的目标，是满足社会对便捷、安全、普惠、保护隐私的支付需求，为逐步迈向数字化的澳门经济提供强有力的支持。数字澳门元将与澳门特区现有各种电子支付系统相互操作，实现不同运营机构的钱包与数字澳门元钱包、银行账户之间的互联互通，创造更高效、成本效益更佳的交易环境。

　　白皮书则从五方面加以具体分析：对于消费者而言，数字澳门元将丰富支付选择，缩短跨境支付所需时间，降低跨境支付成本；对于商户和企业而言，商户钱包设计和可编程特性将可全面升级企业支付，并将引领澳门的支付生态系统降低商户费用；对于金融机构而言，未来数字澳门元的推出及使用，将会补充、维护和加强商业银行作为金融中介和消费者主要服务提供商的现有作用，并提升金融服务的质量和市场竞争力；对于其他生态机构，数字澳门元生态系统有助于进一步促进金融普惠性，预计将为科技公司带来新的发展机遇，有助于电商平台、公用事业机构等持续深化自身金融科技水平；对于金融监管机构而言，数字澳门元使用新兴技术，为传统金融风险管理提供了新的活力和创新点，澳门金管局将持续强化监管科技应用实践，探讨利用人工智能、云计算等技术丰富金融监管手段，增强数字澳门元的风险防范能力。

　　服务粤港澳大湾区支付一体化

　　对于数字澳门元的下一步发展，白皮书给出了明确的发展蓝图。白皮书指出，澳门金管局将按“基础建设及核心系统开发”“内部封闭试运行”和“全面公开测试”三个阶段，循序渐进推进工作。在基础设施稳妥齐备，经过全面测试，确保风险可控的基础上，才会全面推出数字澳门元。未来，澳门金管局将推动数字澳门元系统与其他支付系统及金融基础设施的互联互通，构建适应数字经济发展的现代金融体系。

　　具体到应用场景，陈守信介绍，短期内数字澳门元的研发应用集中于零售层面，随着相关金融软硬件基础设施和技术日益成熟，中长期将会拓展至批发层面，并提升数字澳门元的跨境支付能力。

　　而作为大湾区的中心城市之一，澳门也将数字澳门元发展融入到大湾区的未来规划之中。

　　“随着粤港澳大湾区各城市间金融合作的加强，展望未来，我们期待在法定数字货币领域实现互联互通，特别是在数字澳门元与数字人民币及数码港元之间的对接。这将为跨境支付带来更大的便利，进一步促进大湾区内经济一体化进程。”李伟农称，特区政府将持续优化金融基础设施，为数字化金融创新产品和服务，奠定具信誉、安全的支付结算环境，促进经济高质量发展。

　　陈守信表示，特区政府将充分发挥粤港澳大湾区“一国两制、三种法定货币”的独特优势，结合中央对横琴粤澳深度合作区的金融扶持政策，优先考虑探索数字澳门元在横琴的应用，为澳门居民的跨境生活就业提供更加便利的金融环境。

　　内蒙古自治区、福建省、辽宁省拟发行再融资专项债券置换存量隐性债务。

　　11月28日，内蒙古自治区在中国债券信息网披露的文件显示，其拟发行572亿元再融资专项债券置换存量隐性债务，其中7年期、10年期、15年期、20年期再融资专项债券发行规模分别为72亿元、150亿元、150亿元、200亿元。

　　此外，内蒙古自治区披露的文件还显示，其拟发行33亿元再融资一般债券、30亿元再融资专项债券偿还存量债务。

　　同日，福建省在中国债券信息网披露的文件显示，其拟发行446亿元再融资专项债券置换存量隐性债务，其中15年期、30年期再融资专项债券计划发行面值各为223亿元。

　　辽宁省在中国债券信息网披露的文件显示，其拟发行200亿元再融资专项债券置换存量隐性债务，其中20年期、30年期再融资专项债券金额各为100亿元。

　　这是辽宁近期第二次拟发行再融资专项债务置换存量隐性债务。11月19日，辽宁省披露的文件显示，其拟发行467亿元再融资专项债券置换存量隐性债务。

　　上述地区今日披露的文件显示，内蒙古自治区、福建省、辽宁省均拟于12月5日发行相关再融资专项债，品种均为记账式固定利率附息债。

　　11月12日以来，全国已有22地披露了拟发行再融资专项债务置换存量隐性债务。据澎湃新闻（www.thepaper.cn）不完全统计，11月12日至今，全国22个地区披露的用于置换存量隐性债务再融资专项债券总额为13613.4835亿元。按当前各地区拟发行或已发行额度从高到低排列，江苏省拟发行或已发行额度突破2000亿元，为2511亿元；湖南省、贵州省拟发行或已发行额度突破1000亿元，分别为1288亿元、1176亿元；山东省、河南省、四川省、辽宁省、内蒙古自治区、浙江省、陕西省、云南省、广西壮族自治区已发行或拟发行额度突破500亿元，分别为983.3249亿元、922.5457亿元、794亿元、667亿元、572亿元、565亿元、564亿元、555亿元、515亿元；黑龙江省、福建省、甘肃省、河北省、宁波市、新疆维吾尔自治区、海南省、青岛市、大连市、厦门市拟发行或已发行额度分别为484亿元、446亿元、370.6129亿元、281亿元、249亿元、216亿元、152亿元、142亿元、104亿元、56亿元。

　　11月8日下午，十四届全国人大常委会批准增加6万亿元地方政府债务限额置换存量隐性债务。新增债务限额全部安排为专项债务限额，一次报批，分三年实施。11月9日，财政部将6万亿元债务限额下达各地，指导督促地方抓紧履行法定程序，稳妥做好发行工作，妥善安排债券资金。

　　东方金诚研究发展部执行总监冯琳对澎湃新闻分析称，按照增加的6万亿限额分三年实施的计划，今年用于置换存量隐性债务的再融资专项债发行量应在2万亿。粤开证券首席经济学家、研究院院长罗志恒也对澎湃新闻表示，今年大概率将在11月、12月集中发行2万亿元特殊再融资专项债券用于置换存量隐性债务。

　　罗志恒认为，短期内集中发行2万亿元再融资专项债，可能会对债市产生一定的扰动，如增加市场供给、提高债券收益率等，但这种影响可能是有限的。一方面，国债、超长期特别国债、新增专项债等其他政府债券的发行已经进入尾声，为再融资专项债的发行腾出空间。另一方面，央行也会密切关注债券市场动态，必要时采取相应的措施来维护市场稳定。

　　甬兴证券固收周报认为，随着首批置换存量隐性债务再融资专项债落地，地方债供给放量，叠加月末及年末以及春节前后市场潜在的流动性缺口增加，央行或将适时加大流动性投放力度，以呵护市场平稳运行，市场降准预期升温。结合央行已在10月首次开展5000亿买断式逆回购操作，预计未来除了央行降准释放外，还有可能会持续开展买断式逆回购、MLF续作以及国债买入等货币工具，从短期、中期、长期呵护市场流动性，短期债市情绪回暖，收益率下行；未来在政策利率带动下，长债有望突破前低，收益率曲线有望继续下行。

　　中国人民银行行长潘功胜曾在10月18日透露，预计年底前视市场流动性情况，择机进一步下调存款准备金率0.25-0.5个百分点。

　　图：指数增强ETF的分解

　　（信息来源：西南证券）

　　指数增强型ETF是在对指数进行有效跟踪的基础上，通过数量化的方法进行积极的指数组合管理与风险控制，力争实现超越目标指数投资收益的ETF产品。与其他ETF一致，基金使用股票实物或基金合同约定的方式进行申购赎回，并在证券交易所上市交易。

　　指数增强型ETF属于广义的主动管理ETF。作为指数增强型基金，其结合了被动管理和主动管理的特征，即，一方面，类似于被动管理型ETF，指数增强型ETF不能显著偏离其基准指数；另一方面，相比常见的被动管理型ETF，指数增强型ETF相对基准指数存在一定的跟踪误差，同时也力争获取超越指数的收益，因而包含了主动管理的元素。

　　主动管理ETF兴起于海外，自2008年3月全球首只债券增强策略ETF发行至今，截至2024年10月底，美国市场主动管理ETF总规模8622亿美元，产品共计1750只，近年来取得了蓬勃的发展。

　　国内方面，自2021年12月首批沪深300增强ETF发行至今，截至2024年10月底，我国指数增强ETF总规模100亿元，产品共计33只。

　　当前国内指数增强产品布局逐步完善，不同市值规模的宽基指数均有指数增强ETF产品覆盖，例如：

　　面向大中盘宽基指数：800增强ETF（159517）

　　面向小盘宽基指数：1000增强ETF（159677）

　　面向微盘宽基指数：2000增强ETF（159555）

　　综合来看，宽基型ETF或许仍旧是个人投资者布局A股市场的一大利器，未来伴随相关制度不断完善，大家也可以加大对指数增强ETF的关注！

　　相关产品：A500ETF（159339）（联接A：022450 联接C：022451 联接I：022452）

　　风险提示

　　尊敬的投资者：投资有风险，投资需谨慎。公开募集证券投资基金（以下简称“基金”）是一种长期投资工具，其主要功能是分散投资，降低投资单一证券所带来的个别风险。基金不同于银行储蓄等能够提供固定收益预期的金融工具，当您购买基金产品时，既可能按持有份额分享基金投资所产生的收益，也可能承担基金投资所带来的损失。

　　您在做出投资决策之前，请仔细阅读基金合同、基金招募说明书和基金产品资料概要等产品法律文件和本风险揭示书，充分认识基金的风险收益特征和产品特性，认真考虑基金存在的各项风险因素，并根据自身的投资目的、投资期限、投资经验、资产状况等因素充分考虑自身的风险承受能力，在了解产品情况及销售适当性意见的基础上，理性判断并谨慎做出投资决策。根据有关法律法规，银华基金管理股份有限公司做出如下风险揭示：

　　一、依据投资对象的不同，基金分为股票基金、混合基金、债券基金、货币市场基金、基金中基金、商品基金等不同类型，您投资不同类型的基金将获得不同的收益预期，也将承担不同程度的风险。一般来说，基金的收益预期越高，您承担的风险也越大。

　　二、基金在投资运作过程中可能面临各种风险，既包括市场风险，也包括基金自身的管理风险、技术风险和合规风险等。巨额赎回风险是开放式基金所特有的一种风险，即当单个开放日基金的净赎回申请超过基金总份额的一定比例（开放式基金为百分之十，定期开放基金为百分之二十，中国证监会规定的特殊产品除外）时，您将可能无法及时赎回申请的全部基金份额，或您赎回的款项可能延缓支付。

　　三、您应当充分了解基金定期定额投资和零存整取等储蓄方式的区别。定期定额投资是引导投资者进行长期投资、平均投资成本的一种简单易行的投资方式，但并不能规避基金投资所固有的风险，不能保证投资者获得收益，也不是替代储蓄的等效理财方式。

　　四、特殊类型产品风险揭示：请投资者关注标的指数波动的风险以及ETF（交易型开放式基金）投资的特有风险。本基金将投资港股通标的股票，需承担汇率风险，并面临港股通机制下因投资环境、投资标的、市场制度以及交易规则等差异带来的特有风险。

　　五、基金管理人承诺以诚实信用、勤勉尽责的原则管理和运用基金资产，但不保证基金一定盈利，也不保证最低收益。基金的过往业绩及其净值高低并不预示其未来业绩表现，基金管理人管理的其他基金的业绩并不构成对基金业绩表现的保证。银华基金管理股份有限公司提醒您基金投资的“买者自负”原则，在做出投资决策后，基金运营状况与基金净值变化引致的投资风险，由您自行负担。基金管理人、基金托管人、基金销售机构及相关机构不对基金投资收益做出任何承诺或保证。

　　六、以上基金由银华基金依照有关法律法规及约定申请募集，并经中国证券监督管理委员会（以下简称“中国证监会”）许可注册。基金的基金合同、基金招募说明书和基金产品资料概要已通过中国证监会基金电子披露网站【http://eid.csrc.gov.cn/fund/】和基金管理人网站【www.yhfund.com.cn】进行了公开披露。中国证监会对基金的注册，并不表明其对基金的投资价值、市场前景和收益作出实质性判断或保证，也不表明投资于基金没有风险。