澳门新金沙在线娱乐,澳门国际金沙娱乐,金沙国际全球华人首选

OpenAI 谷歌天天刷流量，微软也坐不住了，推出最新小模子 Phi-4。

参数目仅 14B，MMLU 性能就和 Llama 3.3/ Qwen2.5 等 70B 级别大模子坐一桌。

数学才能上，Phi-4 在好意思国数学竞赛 AMC 10/12 上跳动了 GPT-4o 等一众大模子，分数冲上 90。

编程才能亦然开源模子一流，跳动了 70B 的 Llama 3.3 和 72B 的 Qwen 2.5。

更引起热议的是，微软在时间陈说中还苛刻了一个新的实践范式——midtraining。

这一举动让 Phi-4 领有了更强的长文本处罚才能，窗口长度达到 16K 后，调回率依然保执在 99%。

小模子挑战复杂推理

在常见基准测试中，Phi-4 得到了优异的文本处罚和复杂推理水平：

在 MMLU 上，Phi-4 以 84.8% 的准确率跳动了 GPT-4o-mini 的 81.8% 和 Llama-3.3 的 86.3%；

在运筹帷幄生水平 STEM 问答 GPQA 上，Phi-4 准确率达到 56.1%，高于同尺寸模子 Qwen-2.5 的 42.9%，以致跳动了 GPT-4o 的 50.6%；

在数学测试集 MATH 上，Phi-4 以 80.4% 的准确率跳动 GPT-4o-mini 的 73%，并接近 GPT-4o 的 74.6%；

编程才能方面，Phi-4 在 HumanEval 上以 82.6% 跳动了其他开源模子，以及 GPT-4o-mini。

在难度稍高的 MMLU 和 HumanEval+ 上，Phi-4 的阐述也跳动了其他开源模子；在 ArenaHard、LiveBench 和 IFEval 上则阐述欠佳。

另外，微软还用里面的基准 PhiBench 对模子才能进行了更全面的评估，铁心 Phi-4 得到了 56.2% 的概述得分，展现出在推理、常识、编程等方面的全面才能，但比较于 Qwen 2.5-72B 等模子，如故解析了有待提高之处。

在 Phi-4 的宣传页中，微软还展示了其在一个具体的数学推理题目上的阐述。

Phi-4 相配有档次地有计划了多样可能出现的情况，并狡计出了正确谜底。

除了这些惯例才能，微软团队还挑升在长文本上测试了 Phi-4 的阐述。

在 8K 和 16K 两种窗口长度中，运筹帷幄团队愚弄 HELMET 基准评估了 Pho-4 和其他模子在 RAG、QA 问答、长文本选录等任务上的水平。

铁心，Phi-4 在多个任务上与同尺寸的 Qwen 2.5-14B 相当，部分方针还可与 70B 的 Llama 3.3 一决高下。

不外，Phi-4 在某些任务（如 RAG 和文档排序）上，仍有进一步晋升的空间。

不同于一般大模子的预实践 + 后实践的两阶段步地，微软在两个阶段中间新加入了一个 midtraining 阶段。

在 10 万亿 tokens 限制的预实践完成后，Phi-4 不错处罚 4k 长度的高下文窗口，而 midtraining 的方针是在此基础上进一步将窗口长度晋升到 16k。

运筹帷幄团队发现，自然的长高下文数据（如齐全的学术论文）比东谈主工拼接短样本更成心于实践长高下文才能。

因此，团队从学术著作、书本、代码库等高质料非合成文本中筛选出长度大于 8K tokens 的样本看成实践集，况兼对长度跳动 16K tokens 的样本进行加权，以匹配标的长度。

为进一步丰富长高下文实践数据，运筹帷幄团队挑升生成卓绝志大于 4K 长度条款的新合成数据，与真确长文本数据共同构成了 midtraining 阶段的数据集。

最终，midtraining 阶段的数据包含 30% 新引入的长文本数据（筛选 + 合成）和 70% 预实践阶段的历史数据，限制为 2500 亿 tokens。

同期，为了相宜 16K 的长序列实践，运筹帷幄团队将 rope 位置编码的基频从预实践阶段的 2K 扩大到 250K；同期，为保阐明糟踏实性，团队将学习率裁减为预实践阶段的十分之一。

最终，Phi-4 在 HELMET 等长文本基准测试中阐述出色，证明了 midtraining 阶段的灵验性。

除此以外，在后实践阶段，运筹帷幄团队还苛刻了一种新颖的对比学习措施——枢轴 tokens 搜索（PTS）。

通过识别对模子输出影响最大的要道 tokens，并围绕它们构造正负样本对，PTS 不错生成高信噪比的对比学习数据，权贵晋升实践着力和着力。

除了 PTS 生成的对比学习数据，运筹帷幄团队还引入了东谈主类反应对比学习（Human Feedback DPO）。

他们招募了多半东谈主员对模子输出进行评判，并据此构造优质的正负样本对，使得模子愈加逼近东谈主类偏好。

One More Thing

不外 midtraining 并不是微软初度苛刻，早在 7 月份，OpenAI 就也曾驱动为伦敦的 midtraining 团队招东谈主了。

论文地址：

https://arxiv.org/abs/2412.08905

—  完  —

点这里� � 神志我，铭刻标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日相遇 ~