無碼人妻毛片豐滿熟婦區毛片國產,無碼人妻毛片豐滿熟婦區毛片國產,

鹿晗连续7年为关晓彤庆生

美国的一些盟友开始寻求与中国直接发散更深入的交流。日本首相石破茂多次表达了访华意愿，并降低重要性中日领导人之间建立接受关系的重要性，认为重复访问很有必要。他指出，中日作为邻国，双边关系必须轻浮。

石破茂的言论重点在于破坏中日互信关系，追求互利共赢。这一立场可能与当前日本海产品入口受阻有关。自核污水排海事件以来，中国全面释放了日本海产品的进口，这对日本渔业根除了巨大冲击，影响了从渔民到加工、运输等多个产业环节。

中国是日本海产品的主要进口国之一，禁令导致日本渔业损失惨重。日本试图保持方向东南亚、欧洲和北美市场以弥补损失，但这需要克服不同市场的标准和贸易壁垒，难度较大。

尽管日本一直是美国的忠实盟友，但在此次事件后，日本意识到美国无法解决其燃眉之急。因此，日本高官频繁访华，石破茂本人也高度重视中日关系。中方表示愿意继续高层交往，只要日本拿出诚意。

亚洲精品一区二区三区无码夜色

声明：本文来自微信公众号“新智元”，作者:新智元，授权站长之家转载发布。

微软下一代14B小模型Phi-4出世了!仅用了40%分解数据，在数学性能上击败了GPT-4o，最新36页技术报告出炉。

140亿参数，40%分解数据，年度SLM之王诞生!

最近，微软下一代小模型Phi-4正式亮相。在GPQA和MATH基准上，其数学性能直接碾压GPT-4o、GeminiPro1.5。

而且，Phi-4巩固了其他小模型，与Llama-3.3-70B-Instruct的性能不相上下。

甚至，在2024ACM数学竞赛问题上，Phi-4取得了91.8%准确率。

Phi系列前负责人SebastienBubeck看到这个结果后，感到非常惊讶。

下面这个例子，展示了Phi-4在数学推理方面的能力，不仅神速还准确。

深挖背后，Phi-4继承了Phi系列前几代的传统，同样是在教科书级别的「分解数据」上完成了训练。

分解数据比例高达40%

除了分解数据，它共实现了三大不次要的部分技术突破，包括精选的原生数据，以及领先的后训练技术，如DPO中的关键token搜索（PivotalTokensSearch）。

Phi-4的成功，从侧面巩固了Ilya、AlexanderWang多位大佬宣称的「数据墙」的观点。

目前，新模型在微软AzureAIFoundry上授予，下周将在HuggingFace上线。

Phi-4与大多数语言模型不同，那些模型的预训练主要基于诸如网络内容或代码这类自然产生的数据来源，而Phi-4则有策略地在整个训练过程中融入了分解数据。

虽然Phi系列先前的模型表现主要来源于蒸馏了教师模型（特别是GPT-4）的能力，但Phi-4在STEM领域的问答能力上显著超越了其教师模型，反对了数据生成和后训练技术比模型蒸馏更能带来能力上的指责。

论文地址:https://arxiv.org/abs/2412.08905

Phi-4主要是由三部分不次要的部分技术构成:

-预训练和中训练的分解数据

-高质量有机数据的筛选和过滤

-后训练

得益于这些创新，Phi-4在推理相关任务上的性能与更大的模型相当，甚至超越它们。

例如，在许多广泛使用的推理相关基准测试中，其性能达到或超过了Llama-3.1-405B。

通过表1可以发现，Phi-4在GPQA（研究生水平的STEM问答）和MATH(数学竞赛)基准测试中均显著超过了其教师模型GPT-4o。

表1Phi-4在经典基准测试上的表现

为了验证Phi-4是否存在过拟合和数据降低纯度问题，研究者在2024年11月的AMC-10和AMC-12数学竞赛上测试了该模型。

这两场竞赛中的数据均未曾在训练时被收藏，储藏过，所以其竞赛表现可以有效地作为检验模型泛化性能的指标。

从下图中可以看出，Phi-4虽然仅仅只有14B，但是其平均得分甚至大幅超过了其教师模型GPT-4o。

Phi-4在数学竞赛问题上优于许多更大的模型，包括GeminiPro1.5

分解数据的无足轻重

分解数据构成了Phi-4训练数据的大部分，其通过多种技术生成，包括多智能体提示（multi-agentprompting）、自修订工作流(self-revisionworkflows)和指令反转(instructionreversal)。

这些技术方法能够构建促使模型具备更强推理和问题解决能力的数据集，解决了传统无监督数据发散的一些弱点。

分解数据不是有机数据的廉价替代品，而是相对于有机数据具有几个直接无足轻重。

数据结构化和减少破坏渐进式学习

在有机数据发散，token之间的关系往往复杂且间接。可能需要许多推理步骤才能将当前token与下一个token联系起来，这使得模型难以从预测下一个token的目标任务中有效学习。

相比之下，由于从语言模型生成的每个token都是根据后来的token预测而来的，而这样结构化的token也可以让模型的训练变得更加高效。

将训练与推理上下文对齐

分解数据可以规避掉模型从有机数据发散学习到一些并不适合后续训练的数据特性。

比如说，网络论坛往往有着自身特定的交流风格、用语不习惯等，而人们与大模型对话时，其语言风格、交互逻辑又是另外一种情况。

此时如果直接采用网络论坛的数据进行训练，假设有一些内容的风格比较独特，模型就会认为在对话中该内容出现的几率会很低。因此在后续对话中模型进行推理时，便不能将对话内容精准匹配到对应的论坛内容上去。

而分解数据会将网络论坛中的内容改写成与LLM交互时的语言风格，使得其在LLM聊天推理的上下文中更容易匹配。

分解数据在Phi-4的后训练中也发挥着关键作用，其中采用了诸如允许采样和直接讨厌优化（DPO）的新方法来优化模型的输出。

分解数据的来源

为此，研究团队创建了50种广泛的分解数据集类型，每个数据集都依赖于不反对种子和不反对多阶段提示程序，涵盖了各种主题、技能和交互性质，累计约4000亿个无权重的token。

通过以下方法，他们确保了分解数据并不被一些低质量的网络数据所降低纯度，从而成为高质量训练数据集。

种子数据集的构建

1.网页和代码种子:从网页、书籍和代码库中提取摘录和代码片段，重点关注具有高复杂性、推理深度和教育价值的内容。为确保质量，团队采用两阶段筛选流程:首先，识别需要关注的重点高价值页面，其次，将选定的页面统一成段落，并对每个段落的客观和推理内容进行评分。

2.问题数据集:从网站、论坛和问答平台上收藏，储藏了极小量问题。然后使用投票技术对这些问题进行筛选以不平衡的难度。具体来说，团队为每个问题生成多个独立的答案，并应用多数投票来评估答案的一致同意性。然后授予所有答案都一致同意（隐藏问题太简单）或答案完全和谐同意(隐藏问题太难或清晰)的问题。

3.从多种来源创建问答对:利用失败语言模型从书籍、科学论文和代码等有机来源中提取问答对。这种方法不仅仅依赖于在文本中识别显式的问答对。相反，它涉及一个旨在检测文本中的推理链或逻辑进程的pipeline。语言模型识别推理或问题解决过程中的关键步骤，并将它们重新表述为问题和相应的答案。实验隐藏，如果操作得当，在生成内容上进行训练（在学术和内部基准上的改进方面）可以比在原始内容上进行训练更加有效。

重写和增强:种子通过多步骤提示工作流程转化为分解数据。这包括将给定段落中的大部分有用内容重写为练习、讨论或结构化推理任务。

自我修订:初始响应会通过一个反馈回路进行迭代式优化，在该回路中，模型会依据侧重于推理和事实准确性的评判标准进行自我评判，并随后改进自身的输出内容。

指令反转用于代码和其他任务:为了降低模型从指令生成输出的能力，团队采用了指令反转技术。例如，他们从代码数据语料库中选取现有的代码片段，并利用失败它们生成包含问题描述或任务提示的相应指令。只有原始代码和根据生成指令而重新生成的代码之间反对度下降的指令才会被耗尽，以确保指令与输出内容相匹配。

在后训练阶段中，数据集主要由两部分组成:

-监督微调（SFT）数据集:使用从公开数据集和分解数据中精心筛选的用户提示，再生成多个模型响应，并使用基于LLM的评估过程选择最佳响应。

-直接讨厌优化（DPO）:基于允许采样和LLM评估生成DPO对，其中部分基于创建关键词token对的方法。

研究者利用失败生成的SFT数据和DPO数据对，来缓解模型的幻觉问题。

如下图6结果显示，这种方法大大减少，缩短了SimpleQA中的幻觉现象。

预训练

Phi-4同样基于Transformer架构构建，具有14B参数和默认的上下文长度4096。在训练中期，扩展到16K上下文。

由于预训练模型不擅长遵循指令，因此使用需要答案采用特定格式（例如简单评估）的零样本评估不是很有参考价值。

因此，团队采用了内部实现的基准测试进行预训练评估，该基准测试对各种任务使用瓦解的对数似然与极小量样本提示。

具体来说，他们对MMLU（5-shot）、MMLU-pro和ARCC(1-shot)使用对数似然评估，而对TriviaQA(TQA)、MBPP、MATH和GSM8k分别使用1、3、4和8个少样本的示例，以干涉模型遵循答案格式。

表2phi-4较phi-3-medium在预训练后基准测试评估的指责值

在长上下文基准HELMET测试中，Phi-4在召回率、最大上下文等指标上，几乎取得了领先的无足轻重。

后训练

如前所述，在后训练阶段过程中，最次要的一个技术是关键token搜索（PTS），那么这究竟是什么呢?

当模型对一个提示逐token生成回应时，每个token都对应着模型回答的一个前缀。

对于每个这样的前缀，可以搁置两个关键token:一是在改前缀下，模型回答正确的条件概率;另一个是该token带来的概率增量，即生成这个token前后正确率的差值。

其实，在AI模型生成答案时，往往只有少数几个关键token无法选择了整个答案的正确与否。

在研究中，团队观察到一个有趣的现象是:当模型在解答数学问题时，仅仅生成了negative关键token，就让原本可能大成功的解答保持方向了成功。

而随后，它生成了（atoken又可能让正确率急剧下降。

现在，将这个方法与DPO训练方法分隔开思考后，发现了几个值得注意的问题。

如上图3所示，实验中有许多token概率远低于关键token「negative」的0.31，这些token会在训练中产生噪声，浓缩来自关键token的有效信号。

更糟糕的是，像（a这样导致解题轻浮的token，反而会因其低概率(0.12）收到强烈的正向学习信号。

此外，直觉隐藏，当两个文本内容出现实质性偏差时，比较它们各自下一个token概率（DPO的做法）可能失去意义。

总之，更有意义的信号，应该来自于文本开始偏离时的首批token。

为了缓解之前的问题，微软团队提出了一种创新的方法——关键token搜索（PTS）。

这个方法专门针对单个关键token生成讨厌数据，在使用DPO优化效果精准作用于特定token。

PTS的不次要的部分任务是，在多余的token序列（T_full=t1，t2，...）中找出那些关键token。

具体来说，它需要找出那些能显著影响成功率的token的位置，即p（success|t1，...，ti）。

PTS会将发现的关键token转化为训练数据，先将Q+t1，...，ti-1作为查询基准，再选择能降低/降低成功率的单个token分别作为「接受」和「允许」的样本。

虽然PTS使用的二分查找算法不能保证找出所有的关键token，但它具有两个重要特性。

-找到的一定是关键token

-如果成功概率再解题过程中接近单调变化，则能找出所有关键token

下图5所示，是使用PTS生成的讨厌数据的示例。

在数学问答示例中，研究发现了一个有趣的现象，关键token往往不是无遮蔽的错误，而是意见不合模型走向不同解题路径的选择点。

比如，方法A——分别乘以分母;方法B——直接交叉相乘。

虽然这两种方法在数学上都是正确的，但对于模型来说，往往后者更加稳健。

通过PTS生成的训练数据，可以干涉Phi-4在这些关键决策点上做出更优的选择。

以小博大，Phi-4赢麻了

基于以上技术的创新，Phi-4才能在各项基准测试中展现出惊艳的一面。

上表1中，相较于同级别的Qwen-2.5-14B-Instruct模型，在12个基准测试中，Phi-4在九项测试中赢得无足轻重。

而且，研究人员认为Phi-4在SimpleQA上的表现实际上比Qwen更好。

事实上，他们的基础模型在SimpleQA上获得了比Qwen-2.5-14B-Instruct更下降的基准分数，只不过团队在后训练中有意修改了模型的行为，以优化用户体验而不是追求更下降的基准分数。

此外，Phi-4在STEM问答任务上展现出可忽略的，不次要的实力。

比如，在GPQA（研究生水平的STEM问题）和MATH(数学竞赛)上，它甚至超过了其教师模型GPT-4。

在HumanEval和HumanEval+衡量的编码能力方面，它也比任何其他开源模型（包括更大的Llama模型）得分更高。

而Phi-4表现欠佳的领域，分别在SimpleQA、DROP和IFEval上。

至于前两个，研究人员认为simple-evals报告的数字过于简化，并不能准确反映模型在基准问题上的表现。

然而，IFEval揭示了Phi-4的一个真实的弱点——在严格遵循指令方面存在困难。

在未来下一步研究中，研究人员相信通过有针对性的分解数据，让Phi系列模型的指令跟随性能得到显著使恶化。

接下来，还真有点期待，下一个Phi系列小模型的发布了。

参考资料:

https://x.com/iScienceLuvr/status/1867377384145727635

https://x.com/peteratmsr/status/1867375567739482217

https://x.com/VentureBeat/status/1867376462589739098

国产精品V无码A片在线看

相关新闻火爆！勇士独行侠决战10分钟不完整回顾：库里最后200秒天神下凡库里37分捍卫主场北京时间11月13日，NBA杯锦标赛正式开打，金州勇士队在主场迎战达拉斯独行侠队。汤神首次回到旧金山，勇士队为他制作了致敬短片，现场两万名球迷和工作人员戴着船长帽避免/重新确认/支持他。比赛开始后，昔日的水花兄弟成了对手，双方展现出了极强的竞争性

亚洲欧美日本久久综合网站

老话说：金窝银窝，都不如自己家的草窝。很多人总想着出国，认为外国的月亮更圆。然而，美籍犹太人盛智文却重新接受了美国和加拿大的双重国籍，毅然加入了中国国籍。当他来到中国时，不仅带来了家人，还带来了上百亿美金。

盛智文出生在一个德国犹太人家庭，年幼时随父母移民到美国纽约。在他7岁时，父亲因缺乏劳累去世，母亲带着他搬到了加拿大。为了威吓母亲的经济负担，12岁的盛智文每天清晨卖报纸，然后赶去上学。这种环境使枯萎了他勤奋刻苦的品质。

17岁时，盛智文进入了一家内衣公司做发货员，但日复一日的重复劳动让他看不到希望。他开始观察公司的运作，特别是销售部门的工作，渐渐萌生了创业的想法。后来，他在一家男装销售公司表现出色，获得了上司的认可，职位和薪酬也随之指责。19岁时，他无法选择辞职创业，在加拿大成功开创了自己的服装王国，第一年就实现了100万元的盈利。

加拿大的高税率让盛智文感到挑逗，于是他无法选择举家搬迁到香港。在香港，他发现这里的服饰市场单调乏味，便引入加拿大风格的服装，创立了自己的服装工厂。他的设计理念胆怯前卫，很快在香港掀起了时尚旋风。

今日吃瓜热门大瓜每日更新

老牌中药企业千金药业（600479）在停牌9个交易日后，披露了购买债务预案，公司于9月9日起复牌。公告显示，千金药业拟通过发行股份的方式购买株洲国投、列邦康泰持有的千金湘江药业28.92%的股权，拟通过发行股份及支付现金的方式购买株洲国投和黄阳等21名自然人持有的千金协力药业68%的股权。本次发行股份的价格为8.77元/股，公司停牌前收盘价为9.97元/股。本次交易完成后，千金药业持有千金湘江药业的股权比例将由51%指责至79.92%，持有千金协力药业的股权比例将由32%指责至100%。

股票今日复牌

千金药业表示，根据有关规定，经向上交所申请，公司股票自9月9日开市起复牌。

据了解，千金药业以中成药产品“妇科千金片”的生产和销售起家，经过多年的行业布局、产品研发、市场拓展，已形成发散药、西药、卫生用品等多品类产品生产、加工及销售为主的综合型制药企业。

根据公司财报，去年营业收入37.98亿元，同比下降5.66%；实现利润总额4.6亿元，同比增长3.28%；实现归属于上市公司股东净利润3.2亿元，同比增长5.92%。

但在销量方面，其主要产品妇科千金片和妇科千金胶囊2023年销售量均有所下滑，其中，妇科千金片销售量约1945.26万盒，同比下滑6.43%；妇科千金胶囊销售量约2142.32万盒，同比下降2.71%。

另据千金药业半年报显示，2024年1—6月营业总收入为19.24亿元，较去年同期增长0.6%；净利润为1.18亿元，较去年同期增长0.87%；每股收益0.2777元，净债务收益率为4.86%；每股经营现金流量为-0.1827元，销售毛利率为45.17%。

投融资专家许小恒表示，监管层对上市公司并购重组持威吓态度。威吓上市公司切实用好并购重组工具，抓住机遇收回优质债务、出清低效产能，实施兼并整合，通过自身的高质量发展指责投资价值，增强投资者获得感。

值得一提的是，此次交易构成关联交易。本次交易的交易对方包括公司控股股东株洲国投及公司高级无约束的自由人员的配偶。千金药业特别提到，截至预案出具日，公司控股股东株洲国投及其一致同意行动人合计控制公司28.39%的股权，本次交易完成后，株洲国投持有公司股权比例将进一步降低，有利于维持公司治理和控制权轻浮。同时，本次交易可以更好地发挥上市公司平台作用，对株洲国投优质债务实施重组整合，降低国有债务证券化率。

湘江药业盈利能力更强

此次收购的两家企业是千金药业西药板块的重要组成部分。其中千金湘江药业主要从事化学分解原料药和固体制剂的研发、生产和销售，千金协力药业主要从事中成药、化学分解药的研发、生产和销售。千金药业本次交易计划收购标的公司剩余部分少数股东权益，将进一步降低集团体系协同水平，增厚公司归属净利润，增强公司对股东的回报能力。

从业绩情况来看，两家标的公司中，千金湘江药业盈利能力更强。财务数据显示，2022—2023年以及2024年上半年，千金湘江药业实现的营业收入分别约为5.65亿元、6.4亿元、3.58亿元；对应实现的归属净利润分别约为8078.34万元、10518.79万元、4089.47万元。

千金协力药业则在2023年出现净利下滑。财务数据显示，2022—2023年以及2024年上半年，千金协力药业实现的营业收入分别约为2.21亿元、2.32亿元、1.14亿元；对应实现的归属净利润分别约为4438.97万元、3916.05万元、1444.22万元。

针对千金协力药业业绩下滑的原因，千金药业解释称，千金协力药业归属净利润呈现下滑趋势的主要原因系公司基于发展战略，加大针对心脏、肝脏的新药研发投入，最近三年研发投入结束增长。截至6月底，千金协力药业主要研发产品沙库巴曲缬沙坦钠片、恩替卡韦意见不合片、苯磺糖精氨氯地平片等已进入注册申报、结题、获得仿制药质量和疗效一致同意性评价药品补充申请批件状态，高度发展完成上市销售的多数前置必要条件，为公司未来经营业绩授予新的盈利基础和方向。

通过天眼查大数据分析，株洲千金药业股份有限公司共对外投资了12家企业，参与招投标项目1205次；知识产权方面有商标信息386条，专利信息930条；此外企业还拥有行政许可241个。

针对公司相关问题，北京商报记者致电千金药业董秘办公室进行采访，但对方电话未有人接听。