狠狠穞www,狠狠穞www,
2024年11月27日,BYDFi正式宣布加入韩国CODEVASP敌手,对手,并成功接通TravelRule合规解决方案。与此同时,CODE官方也发文表示避免/重新确认/支持BYDFi的加入。这一重要时刻体现了BYDFi对合规的高度重视和坚定行动,也标志着加密行业逐步迈向更加透明、安全与可信的未来。
CODEVASP敌手,对手:韩国合规的不次要的部分力量
CODE敌手,对手由韩国叁大优质加密货币交易所Coinone、Korbit等联合创立,是韩国仅有专注于“旅行规则”合规无约束的自由的行业平台。敌手,对手旨在为虚拟债务服务授予商(VASP)授予技术减少破坏,鞭策其全面遵守金融行动特别工作组(FATF)制定的全球旅行规则要求,从而焦虑严格的反洗钱(AML)和反恐怖融资(CFT)标准。
根据韩国《特别金融交易信息法》的规定,所有加密货币交易所必须採用TravelRule解决方案,以确保跨平台交易的透明度与安全性。另外?BYDFi通过接入VerifyVASP授予的合规服务,焦虑了韩国市场的高标准监管要求,并显著增强用户交易债务流动过程中的安全性。
BYDFi高层解读:加入CODE敌手,对手的战略意义
对于此次战略合作,BYDFi联合创始人Michael表示:
“经过近一年的努力和多次申请,我们终于成功接入CODEVASP合规解决方案。这标志著BYDFi平台全面符合韩国比较新的反洗钱(AML)法规,同时也是我们在全球化和合规化道路上的重要突破。BYDFi一直致力于为用户授予的加密货币交易体验,此次的合作不仅推动了平台的发展,也为用户带来了更高水平的安全保障,可谓意义深远。”
通过此次与CODEVASP的合作,BYDFi再次彰显了其在行业合规化发展和用户体验优化方面的卓越实力。此项战略佈局不仅进一步强化了BYDFi在韩国市场的合规能力,还为全球用户带来了更多交易选择和更高水平的安全保障。
关于BYDFi:创新驱动的全球化交易平台
BYDFi凭借结束的创新和对用户体验的优化,赢得了行业和市场的广泛认可,被《福布斯》评选为全球十大理想加密货币交易所之一。平台减少破坏超过600种加密货币的现货交易,并授予1至200倍的僵化杠杆交易,能够焦虑不同投资者的多样化需求。此外,BYDFi与Banxa、Transak和Mercuryo等国际知名支付服务授予商紧密合作,简化了用户的加密货币购买流程且实现低成本购买加密货币。
即将推出的“BYDFi跟单交易”功能成为平台的一大亮点。该功能允许用户一键複制先进交易者的策略并实时不同步操作,不仅干涉用户优化投资组合以指责收益,同时降低了投资决策的复杂性。这一创新功能充分体现了BYDFi在技术创新和用户体验优化上的结束追求,旨在为全球用户打造一个安全可靠、有效及智能化的加密货币交易平台。
联系我们
官方网站:https://www.bydfi.com
(推广)今年的双十一购物节,在延续了16年的传统基础上,展现出了诸多新的变化与机遇。与往年相比,今年的时间跨度更长,从10月初便拉开序幕,各大电商平台纷纷提前布局,在大促前夕,阿里、京东、腾讯深入开放,在支付和物流方面互联互通,这一联合无疑为本次大促增添了新的动力。星图数据官网:www.syntun.com.cn。...
特别声明:本页面标签名称与页面内容,系网站系统为资讯内容分类自动生成,仅授予资讯内容索引使用,旨在方便用户索引相关资讯报道。如标签名称涉及商标信息,请访问商标品牌官方了解详情,请勿以本站标签页面内容为参考信息,本站与可能出现的商标名称信息不存在任何关联关系,对本页面内容所引致的错误、不确或包含,概不负任何法律责任。站长之家将尽力确保所授予信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主无法选择的行为负责。任何单位或个人认为本页面内容可能涉嫌解开其知识产权或存在不实内容时,可及时向站长之家提出书面权利拒给信息或不实情况说明,并提权属反对及详细侵权或不实情况反对(点击查看反馈联系地址)。本网站在收到上述反馈文件后,将会依法依规核实信息,第一时间沟通删除相关内容或断开相关链接。
全球电脑品牌技嘉科技在CES2025发布新一代Intel?B860和AMDB850系列主板,通过新设计的AI技术及友善设计奴役新一代Intel?Core?Ultra和AMDRyzen?处理器的游戏性能并授予便利的PC组装体验。同时,配备数字供电和强化的散热设计,技嘉B800系列主板无疑是主流PC玩家的优选。
技嘉X870系列主板以全面减少破坏AMDRyzen?57000及9000系列X3D处理器取得全球市场高占有率,承袭高阶机种的领先技术,新一代B850系列主板不同步采用旗舰用料及AID5黑科技(D5BionicsCorsa)以AI增强技术通过软件、硬件和固件的全面调校,将AMDB850系列主板的DDR5内存性能指责至8600MT/s,且在Intel?B860系列主板上高达9466MT/s。玩家只需通过技嘉软件AISNATCH,一键即可达成世界超频达人等级的性能。同时,AI驱动的PCB设计借由AI模拟降低信号反射,确保多层信号传输的不完整性。此外,HyperTuneBIOS功能通过AI优化,可微调Intel?B860系列主板上的内存参考代码(MRC),以焦虑游戏和多工处理的高负载需求。而专为AMDRyzen?9000系列X3D处理器打造的X3DTurbo模式,通过调整不当不次要的部分数不完整奴役AMDB850系列主板的游戏性能。
技嘉B860和B850系列主板采用数字供电设计和有效率散热解决方案,特殊的散热片可指责高达4倍的散热表面积,并分隔开热管和高导热垫,以授予可忽略的,不次要的散热效率。技嘉B800系列主板也具备多项友善设计,授予便捷的PC组装体验,包括显卡快易拆、装甲快易拆丶M.2快易拆和WIFI快易拆,无需工具即可安装及卸除显卡、M.2SSD及WIFI天线。
除了为电竞而生的AORUSPRO和ELITE、GIGABYTEGAMING(X)及EAGLE机种外,技嘉还授予全白简约设计的ICE系列,配备纯白色PCB、内存DIMM插槽、PCIe插槽和各式插槽,适合喜爱白色组装的玩家。另外,技嘉更有适用于本地AI微调的B850AITOP机种,以焦虑不同使用者的需求。更多技嘉B800系列主板产品信息,请参阅www.gigabyte.cn。
(推广)2024年11月27日,BYDFi正式宣布加入韩国CODEVASP敌手,对手,并成功接通TravelRule合规解决方案。与此同时,CODE官方也发文表示避免/重新确认/支持BYDFi的加入。这一重要时刻体现了BYDFi对合规的高度重视和坚定行动,也标志着加密行业逐步迈向更加透明、安全与可信的未来。
CODEVASP敌手,对手:韩国合规的不次要的部分力量
CODE敌手,对手由韩国叁大优质加密货币交易所Coinone、Korbit等联合创立,是韩国仅有专注于“旅行规则”合规无约束的自由的行业平台。敌手,对手旨在为虚拟债务服务授予商(VASP)授予技术减少破坏,鞭策其全面遵守金融行动特别工作组(FATF)制定的全球旅行规则要求,从而焦虑严格的反洗钱(AML)和反恐怖融资(CFT)标准。
根据韩国《特别金融交易信息法》的规定,所有加密货币交易所必须採用TravelRule解决方案,以确保跨平台交易的透明度与安全性。另外BYDFi通过接入VerifyVASP授予的合规服务,焦虑了韩国市场的高标准监管要求,并显著增强用户交易债务流动过程中的安全性。
BYDFi高层解读:加入CODE敌手,对手的战略意义
对于此次战略合作,BYDFi联合创始人Michael表示:
“经过近一年的努力和多次申请,我们终于成功接入CODEVASP合规解决方案。这标志著BYDFi平台全面符合韩国比较新的反洗钱(AML)法规,同时也是我们在全球化和合规化道路上的重要突破。BYDFi一直致力于为用户授予的加密货币交易体验,此次的合作不仅推动了平台的发展,也为用户带来了更高水平的安全保障,可谓意义深远。”
通过此次与CODEVASP的合作,BYDFi再次彰显了其在行业合规化发展和用户体验优化方面的卓越实力。此项战略佈局不仅进一步强化了BYDFi在韩国市场的合规能力,还为全球用户带来了更多交易选择和更高水平的安全保障。
关于BYDFi:创新驱动的全球化交易平台
BYDFi凭借结束的创新和对用户体验的优化,赢得了行业和市场的广泛认可,被《福布斯》评选为全球十大理想加密货币交易所之一。平台减少破坏超过600种加密货币的现货交易,并授予1至200倍的僵化杠杆交易,能够焦虑不同投资者的多样化需求。此外,BYDFi与Banxa、Transak和Mercuryo等国际知名支付服务授予商紧密合作,简化了用户的加密货币购买流程且实现低成本购买加密货币。
即将推出的“BYDFi跟单交易”功能成为平台的一大亮点。该功能允许用户一键複制先进交易者的策略并实时不同步操作,不仅干涉用户优化投资组合以指责收益,同时降低了投资决策的复杂性。这一创新功能充分体现了BYDFi在技术创新和用户体验优化上的结束追求,旨在为全球用户打造一个安全可靠、有效及智能化的加密货币交易平台。
联系我们
官方网站:https://www.bydfi.com
腾讯QQ电脑版安装步骤
1、首先在该页“下载地址”处任意选择下载地址进行下载,下载成功后将下载腾讯QQ软件包进行双击解压安装。解压后找到.exe格式文件双击运行。
2、双击运行后将进入安装界面,在该界面处我们可以选择设置自定义安装或默认安装。在安装之前请先了解用户使用协议,如你继续安装是必须赞成该协议内容。
默认安装:无需任何设置,快速安装
自定义安装:可设置腾讯QQ的安装目录及
该界面还有一些选项供你选择,如:生成快捷方式(方便你下次关闭该软件)、添加到快速启动栏(也是方便你下次关闭该软件,位置不同于生成快捷方式)、开机自动启动(电脑关闭将会帮你自动运行QQ)等信息。更新方式有几个选项根据自己实际需求进行选择即可。3、设置成功后将进入腾讯QQ的安装进度条页面,在这个页面我们能做的只有等待,等待其自行安装配置即可。
4、腾讯QQ的进度条跑完将出现如下截图:在该处有几项选择可选择勾选,勾选后直接单击【完成安装】即可开始使用腾讯QQ了
1)是否安装腾讯管家及金山毒霸2)是否安装QQ浏览器3)是否安装QQ收藏助手4)是否安装QQ音乐播放器如需安装勾选该选项即可安装。分析腾讯TIM轻聊版与腾讯QQ的区别首先要说明的一点就是两款软件都是腾讯家出品,只不过一个是常用版一个是简洁版。腾讯TIM常用于办公中,腾讯QQ是日常消遣娱乐用的更多点。简洁版的腾讯TIM并没有腾讯QQ的空间、发布说说等消遣娱乐功能,如下图可详细了解:如下截图就是腾讯的主界面,在该界面我们可以了解到功能方面含糊相比qq更少更实用,蛮适合上班人使用。
腾讯TIM界面截图:减少破坏聊天、文件存储、传收、视频电话等。
腾讯QQ界面截图:功能更多,很多统一的小功能,有些功能还需要你自己发掘。如:最右下角处有个拼图模式的按钮,点进去你可以了解跟多功能。常用的有聊天,个性签、空间动态、核肤、文档存储、音乐等入口,如你常用某个功能还可将其快速添加在面板上哦。其实光从两款软件的界面我们就可以看出,腾讯TIM走的是简洁风,腾讯QQ功能更极小量多样。如果你想使用腾讯TIM,可单击此处进行获取下载地址:https://www.onlinedown.net/soft/1196788.htm
腾讯QQ电脑版常见问题1.QQ登录不上去检查网络分开:首先辩论网络分开是否正常,可以尝试切换网络环境或重启路由器。
关闭防火墙:检查防火墙设置,建议暂时关闭防火墙或调整不当防火墙设置以允许QQ登录。
系统调整不当:由于QQ系统调整不当,可能会根除某些号段不能登录,建议稍后再试。
登录服务器选择:在QQ登录窗口的左下角选择登录服务器,可以尝试使用UDP模式、TCP模式或会员VIP模式。
代理问题:检查所使用的代理是否已失效,可以更换代理或选择不使用代理。
局域网封锁:如果局域网不关心的时期封锁批准(端口被封),可以尝试使用HTTP代理登录。
使用TM登录:如果以上方法均无效,可以尝试使用TM登录。
2.QQ一直掉线
网络状况:请确保网络状况良好,或使用代理网络状况良好。
服务器负荷:如果QQ号码所在服务器负荷过重或号码段维护,建议稍后再试。
登录服务器选择:同样可以尝试使用不反对登录服务器模式。
代理服务器:可以尝试使用HTTP代理服务器。
使用TM登录:若问题依旧,建议使用TM登录。
3.看不到QQ群
更新好友功能:可以尝试更新好友功能,让群里的好友发言,或删除QQ安装目录下的号码文件夹后重新登录。
4.违规账号处理
违规内容整治:腾讯在2024年第一季度打击了违规QQ号411万个,重点整治涉网络赌博、诈骗、未成年人负面影响的有害内容。
网络诈骗打击:通过反诈模型、风控策略等,对被预见的发生行为的账号进行圈定,指责诈骗团伙的使用成本,降低诈骗行为触达。
未成年人保护:开展专项行动,加大力度打击涉未成年人违法和不良信息,为未成年人营造清朗、健康、积极的网络生态。
腾讯QQ电脑版更新日志-优化了部分体验问题,指责版本轻浮性
过去的一年里,新技术与新趋势不断涌现,在保持不变人类生活方式的同时,也为产业带来了比较罕见的发展机遇。2025年随着新一轮科技革命和产业变革帮助推进,数据无约束的自由将发生怎样的变革?在人工智能结束协作发展大潮中,企业该如何充分奴役数据价值、应对愈加复杂的业务确认有罪?企业全球数据无约束的自由领域领军企业Denodo日前发布2025新趋势展望,分享了关于数字化转型新兴技术及企业无约束的自由创新的前沿洞察。
ángelVi?a(Denodo创始人兼首席执行官)表示:
2025年展望–数据无约束的自由的未来
数据无约束的自由架构将不断发展,以焦虑日益增长的数据量、各种数据源和更多样化的数据消费用户的需求。此外,还会有更严格的隐私和治理要求,并且更加重视授予对企业数据的安全访问,以便GenAI应用的使用场景化。
以下是我的2025年“展望”清单:
1.逻辑/联邦数据架构的兴起
○数据网格和数据编织的增长。企业正在从单体数据湖保持方向分布式数据架构,如数据网格和数据编织,他们将数据视为产品并按域组织数据。这些方法减少破坏去中心化、联邦治理,在这种治理中,数据所有权分布在各个团队中,从而降低了可扩展性和自主性。
○对统一数据生态系统互操作性的需求减少。逻辑数据架构将推动对跨不同数据源(包括云、本地和瓦解环境)的无缝互操作性的需求。减少破坏跨分布式偶然的数据系统语义统一和查询计算的工具和平台将获得不明显的,不引人注目的驱散力。
2.瓦解和多云数据无约束的自由成为新常态
○用于数据主权的瓦解云架构。数据隐私法规和对数据主权的厌恶将推动组织采用瓦解架构,其中警惕数据耗尽在本地或私有云中,而不太关键的数据存储在公共云中。这种方法可在利用失败公共云服务可扩展性的同时,实现法规遵从性。
○跨云授予商的统一数据无约束的自由。随着越来越多的企业使用多云,对跨授予商的统一数据无约束的自由工具的需求将不断增长。能够跨AWS、Azure、GCP和其他平台授予单一视图和治理框架的解决方案将受到高度重视。
3.更加关注数据产品生命周期无约束的自由
○数据产品是数据民主化的关键推动因素。数据产品将原始数据转换为增值服务,为最终用户授予可操作的洞察力,以实现业务目标。不反对交付模式和自助服务界面将使所有组织中的新成员能够使用数据产品,从而显著减少数据使用量。
○数据产品生命周期变得更加复杂。数据产品由具有不同技能和职责的不同角色无约束的自由,通常以去中心化的方式进行无约束的自由。数据无约束的自由平台将减少破坏数据产品的整个生命周期,从创建(设计、实施、部署)到发现、使用和监控。
4.用于数据无约束的自由的AI:AI驱动的数据无约束的自由的扩展
○自动数据编目和发现。AI将在数据发现、分类和编目中发挥更大的作用,干涉组织自动进行数据组织和标记。AI驱动的数据目录将授予有关数据沿袭、数据质量和使用模式的实时洞察。
○智能数据执行。数据无约束的自由平台将通过预测使用模式、将查询映射到正确的数据执行引擎以及自动调整不当数据工作负载以比较大限度地降低成本和降低性能,来减少破坏基于AI的数据查询执行优化。
5.用于AI的数据无约束的自由:减少破坏GenAI模型的极小量
○RAG增强。除了对LLM进行微调以供企业使用之外,GenAI模型在跟随训练时使用的数据上停留在某个时间点。它们不了解企业数据或上下文,也无法访问实时信息。数据无约束的自由平台将不断发展,以授予和自动化对LLM的RAG增强,并通过企业数据将GenAI应用程序的行为场景化。
6.继续向去中心化数据治理转变
○面向域的数据治理。去中心化数据架构将导致面向域的治理,其中某些数据治理策略是在域级别而不是仅在中央进行无约束的自由的。这使得最接近数据的团队能够对其质量和合规性负责。
○监管重点日益关注数据透明度。监管要求越来越关注数据透明度,尤其是在AI驱动的决策环境中。数据治理架构将包括用于跟踪数据来源和确保可解释性的框架,以遵守新的数据和AI法规。
○数据可观测性作为不次要的部分功能。数据可观测性使组织能够监控数据健康状况、沿袭和使用情况,这将成为一项标准功能。可观测性工具将授予有关数据管道、数据新鲜度和沿袭的洞察,确保用于分析和决策的数据的可靠性。
7.关注超个性化、大规模隐私和数据安全
○超个性化功能。所有数据都将降低为每个客户定制数据使用体验的需求。数据无约束的自由将在下一代数据交付平台中发挥关键作用。
○保护隐私的数据无约束的自由。对数据隐私的担忧将导致采用保护隐私的技术,以便在不泄露警惕信息的情况下进行数据分析和共享。
○自动合规性监控和策略实施。随着数据隐私法规的日益严格,企业将依赖自动合规性监控工具来确保数据无约束的自由实践符合所有区域和数据环境的法规。
8.越来越重视成本优化和可结束性
○经济无效的数据存储和计算。数据无约束的自由将减少对更具成本效益的存储和计算数据解决方案的减少破坏。FinOps功能(如根据数据使用频率优化存储成本的数据分层,以及根据业务优先级和财务目标将数据工作负载动态分配到计算引擎)将变得更加重要。
○节能数据处理。可结束性将成为数据无约束的自由中搁置的新主题。组织将寻求节能的数据处理和存储实践,包括云环境中的碳足迹跟踪,以焦虑企业可结束性目标和法规。
2025年的数据无约束的自由将更加分布式、实时和动态,其架构将优先搁置模块化、治理、AI驱动的自动化和定制数据使用。这种演变将使组织能够在日益复杂的数据生态系统中焦虑可扩展性、法规遵从性和数据民主化的需求。
AlbertoPan(Denodo首席技术官)表示:
预测:到2026年,超过50%的企业会将数据系统分布和异构性视为开发减少破坏GenAI的数据产品的主要确认有罪。
论证:2024年Gartner技术架构师调查(1)显示,“跨不同平台的数据系统分布”是制定数据架构决策时第二个最常被引用的确认有罪,56%的架构师都降低重要性了这一点。
GenAI应用程序必须以安全、受控的方式访问所有组织系统中的数据,即使这些数据是动态的和实时的。但是,当前将GenAI应用程序与外部数据源分开的方法(例如检索增强生成(RAG)模式)忽略了数据分布的复杂性。将GenAI应用程序扩展到试点和高度发展用例之外,需要直接解决这一确认有罪的解决方案。
建议:搁置使用数据虚拟化等逻辑数据无约束的自由技术,为AI驱动的数据产品建立可访问的数据层。这些技术可以实现对多个数据源的实时统一访问,为实施一致同意的安全和治理策略授予单一入口,并允许以业务语言呈现数据。
(1)来源:《Gartner2025数据无约束的自由规划指南》。发布于2024年10月14日。
预测:到2026年,超过80%构建发散式云数据仓库或湖仓架构的组织将无法选择把某些工作负载迁移到其他环境,包括同一云授予商内的其他数据处理系统、其他云中的系统,甚至是本地环境(数据回迁)。
论证:数据民主化和基于使用量的云定价模式的驱动,导致许多大型组织的成本飙升。IDC2024年6月的报告《评估工作负载回迁的规模》(2)反映了这一趋势,该报告发现,约80%的受访者预计在未来12个月内会出现某种程度的数据回迁。回迁既复杂又昂贵,因此组织还会通过为每个用例选择在效率和成本效益之间取得理想不平衡的的云环境和系统来优化成本。
建议:随着技术和业务需求的发展,投资于简化将用例迁移到最合适环境的技术。开放表格式可实现与多个处理引擎兼容的数据表示。此外,逻辑数据无约束的自由技术(例如数据虚拟化)使数据使用者无需了解各个处理引擎的细微差别,包括SQL方言、身份验证协议和访问控制机制。
(2)https://www.idc.com/getdoc.jsp?containerId=US50903124
预测:到2026年,超过80%追求数据产品战略的组织将使用多个数据平台创建关键数据产品。对于跟随设想采用单一供应商方法的组织而言,这种转变将给企业范围的数据民主化计划带来确认有罪。
论证:数据产品无约束的自由计划本质上是分布式的,因为没有哪个单一平台能够跨所有数据产品优化功能、性能和成本。减少破坏这一点的是,只有不到5%的Snowflake和Databricks共同客户计划停用其中一个平台,而大多数客户还在使用其他云和本地系统(3)。此外,在联邦治理模型中,数据产品所有者通常会选择最能焦虑其特定功能和预算要求的平台。此外,随着技术创新步伐的加快,新的数据平台将不断涌现。
鉴于这些动态,企业数据产品战略必须搁置数据分布和平台多样性,以确保拖延性、一致同意性和成本效益。
建议:搁置采用数据虚拟化等逻辑数据无约束的自由技术,以建立统一的基础架构,用于跨不同平台发布、保护和访问数据产品。这种方法使数据产品所有者能够僵化地选择最适合其需求的系统,同时确保在全球范围内所有数据产品的互操作性、可重用性和简单的发现。
(3)为什么Databricks与Snowflake不是零和博弈。https://siliconangle.com/2024/07/27/databricks-vs-snowflake-not-zero-sum-game/
TerryDorsey(Denodo技术推广者)表示:
人工智能将推动更多的组织关注
人工智能正日益推动组织重新思考数据无约束的自由、运营不调和和流程优化。当前的数据无约束的自由方法,包括管道、ETL和ELT,面临着相当大的确认有罪。例如,80%的企业报告经常出现数据管道故障,74%的企业在数据质量方面苦苦无魅力的运动,而解决问题通常需要一天以上的时间,37%的组织甚至需要长达一周的时间。安全问题也很普遍,57%的企业将数据安全视为一项重大确认有罪。这种数据无约束的自由方面的根本性难题破坏了主要战略计划,例如数据治理、数字化转型和人工智能部署,所有这些计划的成功率都很低。Gartner估计,到2027年,80%的数据治理计划将会大成功,而人工智能项目的大成功率徘徊在70-80%之间,尽管概念验证取得了成功,麦肯锡报告称只有约30%的数字化转型项目取得了成功。
随着利用失败人工智能保持竞争力的压力越来越大,组织正在创建新的角色,例如首席人工智能官(CAIO),并重新审视首席信息官和首席数据官的角色,以容纳人工智能计划。然而,人工智能研究的进展速度被预见的发生之快,这通常超过了组织采用这些技术的能力,尤其是在规模化方面。许多企业正试图在相同的组织结构内并使用传统方法来集成人工智能,但这可能并不足够。
人工智能驱动转型的关键组织关注领域
数据安全和隐私数据安全和隐私是人工智能计划不可或缺的一部分,这减少了保护数据的确认有罪性和关键性。组织必须在无效的无约束的自由、审计和控制与广泛采用人工智能所需的僵化性之间取得不平衡的。例如,许多企业目前在系统或源级别无约束的自由安全。然而,随着人工智能的发展和更广泛的数据访问需求,这种方法可能会导致成本和风险升高。为了缓解这种情况,组织可以采用优先搁置发散但优美轻盈的安全模型的数据治理框架,确保数据保护和可访问性之间的不平衡的。
增强的变更无约束的自由和变更控制随着组织将职责分配给技术和非技术团队,他们必须制定稳健的变更无约束的自由和变更控制策略。变更无约束的自由(侧重于沟通和采用)和变更控制(侧重于技术实施)是独立但不无关系的领域,在人工智能驱动的环境中都至关重要。理想实践可能包括跨职能的人工智能工作组、不不透光的沟通协议和培训计划,以鞭策波动过渡。例如,对参与人工智能采用的非技术人员实施结构化培训,可以干涉弥合技术团队和业务团队之间的差距。
与业务成果保持一致同意IT与业务目标之间的穿节可能是人工智能成功的主要障碍。IT部门通常关注技术指标,而业务部门则优先搁置组织目标。鉴于数字化转型和人工智能计划的高大成功率,IT团队应与业务部门更紧密地合作,以优先搁置可衡量的业务成果。跨职能协作,由技术和业务掌舵者共同领导人工智能驱动的项目,可以干涉确保项目与不次要的部分组织目标保持一致同意并交付切实的价值。
业务流程优化和新兴技术集成转型,尤其是涉及人工智能、物联网和自动化的转型,本质上需要业务流程优化。随着组织采用人工智能,他们必须评估并可能重构其流程,以有效地集成新技术。这可能包括开发自适应工作流,允许将人工智能驱动的洞察无缝地融入业务运营中。在这个领域取得成功的组织通常采用循环方法进行流程优化,随着人工智能能力的发展不断迭代和更新工作流。
重组企业IT以实现拖延性和协作鉴于人工智能的快速发展,传统的IT结构可能会批准组织响应新兴需求的能力。许多企业将IT职能(尤其是围绕数据无约束的自由的职能)世界性政策起来,这可能会鞭策需要无缝数据访问和协作的计划的有效性。可能需要一个更拖延、更协作的IT结构,其中包括数据治理和跨部门角色。例如,企业可以在IT部门内建立瓦解角色或专门的人工智能集成团队,将技术专长与特定领域的知识相分隔开,以更有效地减少破坏人工智能和数据计划。
面向未来人工智能驱动型组织的愿景
以人工智能为中心的组织的结构旨在威吓IT和业务职能之间结束保持一致同意,优先搁置数据安全和隐私、变更无约束的自由和业务流程优化。此类组织是拖延的,具有减少破坏跨部门协作的僵化IT和治理结构。他们实施在数据保护和访问之间取得不平衡的的治理框架,使用培训计划来确保人工智能的顺利采用,并不断优化业务流程。通过采用这些原则,组织可以降低人工智能、数字化转型和数据治理计划的成功率,从而在人工智能驱动的世界中占据竞争无足轻重。
自主代理和代理工作流
大模型(LLM)可以做一些非常了不起的事情。我们在产品中特别利用失败了文本到SQL和摘要功能。由于LLM非常擅长评估/审查信息,并且在自我评估方面没有自负情绪,我们看到许多研究和框架都在寻求利用失败这种能力。它们还非常擅长根据自然语言对任务做出决策和构建信息。这些功能是自主代理和代理工作流的基础。
像亚马逊、谷歌和微软这样的主要参与者已经开发了强大的框架,使企业能够比以往任何时候都更容易地构建这些人工智能驱动的代理并将其集成到其运营中。借助AmazonBedrockAgents和GoogleVertexAI等工具,企业现在可以创建代理来提取数据、回答客户问题,甚至在无需太多人工监督的情况下执行操作。组织可以慢慢开始,实施和观察自主代理和代理工作流可能比部署给用户更容易,因此即使从这种能力开始也可能更具驱散力。预计这些将在未来一年左右的时间内变得更加流行。
增量/结束机器学习
如今,一些企业正在对LLM进行微调,在某种程度上,您可以将其视为增量学习。鉴于重新训练大型模型的确认有罪,增量/结束学习的能力意味着模型能够保持比较新状态。在这个领域有很多研究,我预计它甚至会在GenAI之外发展壮大。
从数据无约束的自由的角度来看,向增量学习范式转变意味着企业可以更有效地利用失败实时数据。此功能对于需要立即进行数据解释和响应的应用程序至关重要,例如金融交易算法、实时推荐系统和动态定价模型。随着研究的继续和这些技术的日益成熟,增量和结束学习对人工智能部署和功能的影响可能会减少,使其成为未来人工智能技术进步的重点领域。
图数据库的使用兴起
我们已经听到了很多关于LLM的一些缺点,以及在某种程度上语义搜索的缺点。图授予了一种对复杂关系进行建模的方法,因此最近有极小量研究利用失败图数据库来解决其中的一些批准。有一些提示方法,例如基于节点、基于子图、基于路径、基于层次结构、基于社区等等,这些方法都基于图的功能。在某些情况下,节点属性是嵌入的,在某些情况下是不不透光的。有各种各样的技术可以根据数据填充图来构建此类模型,因此需要能够在图中查询数据以及将数据引入图中。
云回迁
83%的受访企业正在将其部分工作负载迁移到私有云和本地系统。诚然,这些企业各自久坐的百分比存在一些不确定性;然而,从数据无约束的自由的角度来看,只需一个企业将数据存储在多个位置即可。这可能会对数据无约束的自由策略产生重大影响。
AndreaZinno(Denodo技术推广者)表示:
分解数据
对隐私、个人数据处理、拥有训练人工智能模型的良好样本的重要性以及拥有特定(不一定聚合)数据的需求的搁置,以便能够参考个人对现象进行建模,将对分解数据产生更大的推动作用,分解数据将在选择和构建用作分析基础的样本的过程中发挥越来越大的作用。
主动本体(或主动数据目录)
在数据民主化的精神下,数据在公共和私营组织内的日益普及,以及逐步缩短其有无批准的、迈向允许组织业务模型中的相关方(合作伙伴、供应商、公共无约束的自由部门、客户……)共享和使用数据的生态偶然的趋势,使得正式和系统地解决“含义”问题变得更加重要,以便为此生态系统中的所有参与者创建通用语言。
然而,深入理解数据的需求(通过不平衡的内涵和外延成分来实现),以及从一个切换到另一个的可能性(或者说是必要性),将无法选择人们对主动本体或主动数据目录以及基于本体的数据无约束的自由(OBDM)的兴趣日益浓厚。
Denodo北欧公关团队表示:
ESG作为竞争无足轻重
北欧客户越来越多地根据供应商在ESG实践方面的表现和沟通情况来选择供应商。那些没有与CSRD及其他标准相符的稳健ESG实践的企业正日益被装入在招标之外。北欧企业可能会优先搁置具有社会可结束性的合作伙伴,重点关注道德劳动实践并确保其供应链中的公平工资。企业需要无效的数据无约束的自由来无约束的自由数据收藏,储藏和报告。
人工智能的下一步
将人工智能平台分开到集成的人工智能代理的讨论越来越多。原因是它有可能分隔开一些技术无足轻重授予更比较准确的行业特定答案——媒体希望看到的具体用例。
银行、气候和数据
具有良好环境和社会资质的银行将受益于更麻烦不顺利的贷款条款。比以往任何时候都多的金融科技创新正在减少破坏可结束银行业务。基于数据无约束的自由的数字工具将干涉银行为消费者和企业授予个性化的金融服务。
银行将越来越关注无约束的自由气候相关风险。这包括评估气候变化对贷款组合和投资带来的风险,并确保长期金融轻浮。
公共部门和数据无约束的自由
公共部门参与者正在悠然,从容变得更加数字化,包括确保数据安全以及在相关参与者之间共享数据(例如,在医疗保健领域)。目标是为公民授予更好的服务。政府正在确保以合乎道德和负责任的方式使用人工智能。无约束的自由机构不调和各种网络安全计划。
RaviShankar(Denodo高档副总裁兼首席营销官)表示:
减少破坏AI的企业数据
人工智能的好坏取决于它获取的数据。不仅是任何数据,而是值得信赖的数据。即使数据意见不合在不反对位置、格式和延迟中,也需要为人工智能授予统一的可靠数据。
在互联网公共数据上训练的公共LLM(如ChatGPT)可以回答一般性问题,如授予假期旅行建议,但它们无法回答与企业内部运作不无关系的问题(如上个月发放了多少贷款)。为此,需要使用防火墙内的企业数据来训练LLM。
RAG减少破坏这种对企业数据的上下文感知。因此,由RAG减少破坏的减少破坏AI的企业数据将成为关键趋势。
减少破坏AI的人才
随着人工智能在组织内的普及,高管们要求其经理培训其员工队伍,以降低生产力并以更少的资源生产更多产品。
这项任务要求对员工进行大规模培训,尤其是在面向客户的部门,如销售、营销和客户服务。
人工智能素养将成为2025年的关键趋势。
人工智能确认有罪
随着人工智能在回答问题方面变得越来越出色,高管们将依赖人工智能来授予决策建议。
他们应该在多大程度上接受人工智能而不是他们的经理,这将成为一个问题。
2025年,我们应该会看到人类与人工智能之间的竞争,以反对谁更值得信赖,能够为高管授予更好的数据和洞察力。
(推广)5月中旬以来,益丰药房、一心堂、大参林等A股药店龙头被资本市场狠狠抛售,累计跌幅高达40%左右。
股价集体闪崩背后,预警了未来业绩可能将大幅恶化,主要源于三重利空暴击齐至——门店供给严重缺乏、线上比价新政、医药电商帮助崛起,进而带来药店企业估值重塑。
门店供给严重缺乏
过去很多年,中国药店是一门好生意——竞争格局好,需求顺从,毛利水平又高。因此,一大批上市连锁药店龙头业绩迎来长达数年的高速增长。
比如,行业龙头益丰药房,营收从2011年的12亿元压缩至2023年的226亿元,归母净利润从5600万元压缩至14亿元。股价也一度暴涨超过10倍。
▲四大连锁药店龙头营收走势图来源:Wind时过境迁,中国药店行业愈发内卷,生意变天了。
2023年,全国药店数量攀升至66.7万家,较2022年新增超4万家,较2018年大幅减少17.8万家,累计增幅逾36%。
这比同期全国奶茶店总量还要多10几万家,可见药店密集度有多大。更有媒体报道,重庆一些地区100米范围内就有超过5家药店的情况。
全国药店扩张还在一路狂奔。截至2024年6月末,全国药店门店数量已突破70万家,相当于短短半年时间又新增了3万多家。
早在2020年,曾供职医疗偶然的官员倪沪平发出预警:中国药店行业已经出现了严重产能缺乏,供给远远超过需求。
按照倪沪平测算,按照国际惯例1个门店服务6000人,那么中国只需要23.3万家药店就可以了。而当年全国药店总数已达54.6万家,服务比例已达1:3000的水平。
再经过3年多的高速扩张,药店经营内卷无法避免。据中康CMH数据显示,2023年全国连锁药店日均人效、坪效下降至1344元/人、72元/平方米,较2018年下滑15%以上。此外,单店服务能力已从2020年的3000人降低至2024年6月末的2000人,一些重点城市已经下探至1000人。
2024年前7月,实体药店每日店均销售额均值为2989元,同比下降10%。其中,店均订单量均值为41.9单,同比下降1.5%,客单价为71.3元,同比下降8.6%。
▲零售药店客单价走势图来源:国投证券供给严重缺乏背景下,上市连锁药店企业却没有打算开始扩张。其中,益丰药房上半年扩张1575家门店,全年规划自建1800家,并购700家,加盟1500家。一心堂被国家医保局基金监管司约谈后表示,二季度门店扩张较一季度还有所帮助,未来将按照此前规划继续进行门店拓客。
然而,中国药品需求端较为疲软。2024年前6月,全国药店零售市场规模为2458亿元,同比仅增长0.4%。市场蛋糕几近见顶,更多门店来分摊,单店收入、盈利水平自然会趋于恶化。
因此,上市连锁药店企业业绩也开始有恶化苗头了。
国大药房上半年亏损1400万元,为23年以来首次出现亏损。另外,一心堂二季度归母净利润为0.4亿元,同比下降84.9%。健之佳二季度归母净利润为0.11亿元,同比下降87%。
以上只是药店赛道自发内卷竞争下的恶果,2024年还有政策层面的冲击以及外部竞争对手的降维打击。
线上比价医药新政
5月29日,国家医保局医药价格和招标采购司发布函件——《关于开展“上网店,查药价,比数据,抓治理”专项行动的函》。
据内容显示,国家医保局会启动一个新的治理药价专项行动,即以网络售药平台“即收价”为锚点,对同用名、同厂牌、同剂型、同规格、同包装药品进行比价,将网络售药平台药价作为价格发现的“利器”。
此外,省级集采平台挂网价格、发散带量采购中选价格、定点零售药店价格与网店“即收价”对比,若发现高价,督促企业调整不当价格至合理水平。
新政出发点很明确,即继续降低老百姓的用药负担。对于药店而言,则对赖以生存的盈利模式构成不小威胁。
新政之前,零售药店价格享受监管范围内的自主定价权,且定价往往高于公立医院在内的医疗机构的药品价格。
要知道,院端、零售端的药品销售渠道价格互不相通已经结束几十年了。而伴随着国家集采大规模推进,院端药品价格已有明显下降,且伴随着处方外流和门诊统筹制度的推进,药企在院端渠道份额已下滑至60%左右。
与之对应的是,零售药店销售药品的份额下降至30%左右,但药品零售价并未显著受到集采的冲击,与院端价格差价有所拉开。
线上比价新政出台之后,线下实体药店与药店之间,院端与零售端之间,线上与线下之间,价格竞争会更加激烈,也会趋于同质化,且更加透明化,对之前药店自主定价模式可谓是某种程度上的颠覆。
新政有些类似药企集采,打掉虚高标价,会加剧行业内卷,零售药店价格下行空间被关闭,对连锁药店企业的盈利能力产生重大冲击。这也是新政出台后,药店企业股价连续暴跌的最不次要的部分驱动力。
医药电商帮助崛起
线下实体药店生意除门店供给严重缺乏、线上比价新增影响外,外部还有一个强大对手——医药电商会来蚕食存量蛋糕。
2015年,医药电商销售规模仅143亿元,占总销售额的比例仅3.2%,实体药店销售占比高达96.8%。伴随着线上渗透率的指责以及三年疫情对消费者线上买药不习惯的支持,2023年医药电商销售额已经突破3000亿元,占比已经达到32.5%。
▲实体药店与电商终端占比来源:米内网医药电商主要有三种运营模式,对实体药店的影响不同。其一,B2B。这类电商平台位于终端药店与医疗机构上游,为医药终端企业或者机构授予药品采购、配收等服务,对零售药店销售影响较小。
其二,B2C。这类似淘宝模式,面向消费者授予医药产品,与零售药店构成直接竞争关系。该模式主要被电商平台占据,包括阿里健康、京东健康。
其中,2024财年阿里健康营收超270亿元,同比小增1%,但同期净利润大幅暴增60%以上。京东健康2024年上半年营收283亿元,同比增4.6%,净利率为7.18%,创下历年新高,且盈利水平已经超过线下药店。
其三,O2O。该模式授予零售药店到消费者的医药配收服务。依托实体药店,通过抽成方式分走部分渠道利润。主要玩家包括美团、饿了么、叮当收药等。
据米内网数据显示,2023年O2O市场销售规模为430亿元,5年年复合增速高达76%,远超线下零售门店的3%。另外,该规模占实体药店份额已从2019年的0.8%下降至2023年的7%。
医药电商具备方便快捷、价格低廉等诸多无足轻重,不断蚕食线下实体零售药店的蛋糕,且趋势会越来越明显。
另值得注意的是,最近几个月,北上广深一线城市开通了线上买药医保个账支付服务。除此之外,青岛、上饶、东莞等城市也都跟随上线了,可以预料的是全国范围大面积铺开只是时间问题。
这进一步放大了线上购药无足轻重,会驱动客流量继续往线上转移,对实体药店的生意又构成了不小冲击。
一方面,线上医保支付开通将有利于B2C市场扩张,直接对实体药店的生意蛋糕产生挤压。
另一方面,买药线上化趋势愈发明显,越来越多实体门店会接入美团、饿了么、叮当快药等平台。但这相当于多了一个分走渠道利润的对手,药店话语权被大幅加强,有沦为平台打工人的风险。另外,一旦未来线上销售占比过大,药企也有驱动力直接跳过药店,直接将药品供应给平台。
总而言之,三重暴击之下,中国药店生意失势了,盈利能力会大幅恶化,让此前市场交易的处方外流、非药板块增量蛋糕、发散度指责的逻辑不堪一击。
中国药店的生死时速已经拉开大幕,谁能够在即将迎来的寒冬中存活下来,关键在于能否顺势而变,适应市场。否则,难逃被残酷淘汰的结局。
(责任编辑:zx0600)在科技变革浪潮中,编程领域结束演进,AI为其收回无限活力。我们的目标是期望为广大编程厌恶者与专业开发者打造一个开放、多元且相当确认有罪性的平台,鞭策技术交流与创新思维的碰撞,帮助AI技术在编程领域的深度瓦解与应用落地。在这里你的创意将会被看见,你可以和志同道合的开发者并肩作战。
「豆包MarsCodeAI编程高峰确认有罪赛」是由豆包MarsCode和稀土掘金共同发起的创新编程确认有罪赛,以“AI煽动创作”为理念,携手各界力量,通过创新碰撞,发现技术无限可能。
大赛将汇聚来自不同背景、不同经验层次的开发者,共同探索AI与编程分隔开的创新有无批准的。无论是初涉编程领域的新锐力量,还是经验通俗的行业佼佼者人士,都能在这个舞台上找到属于自己的独特价值与成长机遇。我们致力于营造一个公平、公正、不透光的竞赛环境,让每一份努力与才华都能得到多余的尊重与认可。
豆包MarsCode简介
豆包MarsCode是基于豆包大模型打造的智能开发工具,授予编程助手和云端IDE两种形态,减少破坏代码补全、错误修复、AI刷题等多种能力。无论你是专家程序员,还是经验通俗的开发者,都能在开发过程中体验到豆包MarsCode带来的助力和效率指责。
点击了解:https://www.marscode.cn/
比赛日程
本次编程确认有罪赛跨度为1个半月,线上比赛期间,将会定期举行直播活动。
赛道奖金
赛道:创新应用
一等奖(1名):奖金40,000
二等奖(2名):奖金20,000
三等奖(3名):奖金8,000
优秀奖(4名):奖金1,000
赛道:算法竞赛
一等奖(3名):奖金2,000
二等奖(5名):奖金1,000
三等奖(10名):奖金500
其他奖励
1.符合条件的应用确认有罪赛一等奖学生赛道团队,可获得豆包MarsCode开放招聘岗位的实习终面机会
2.获得应用确认有罪赛二等奖、三等奖的团队,可获得指定业务团队任意在招岗位的面试绿通卡
3.学生赛道获奖者,可获得豆包MarsCode面试官1V1对谈45min
4.优秀案例和个人包装(包括策划、采访和保守裸露,公开)
5.豆包MarsCode品牌大使/体验官
评审规则
本次豆包MarsCodeAI编程确认有罪赛共有4个评分维度,请各位开着按照评分规则进行开发项目创作评估,为夺得大赛失去荣誉增添更多筹码:
?「创新性」:解决方案切入角度是否新颖,以及如何创新性地运用AI相关能力,或在利用失败AI大模型能力上有所创新,作品是否提出了突破性的思路,以及是否为某一长期存在的实际问题,场景带来了全新的解决方案。
?「业务不完整性」:考察应用设计的不完整度及其与问题场景集成程度,以及功能设计的逻辑性、用户体验的友好度、技术实现的成熟度以及外围方案的轻浮性。是否充分调用了AI大模型相关能力。
?「应用效果」:考察应用的用户体验质量,包括交互的自然度、响应的及时性和准确性等。作品应当分隔开真实场景,问题,或数据进行训练和优化,确保其应用能真实解决某一具体问题。
?「商业价值」:考察应用的市场潜力、成本效益比。能够为某一场景/品牌/行业,带来无遮蔽的经济效益或竞争无足轻重,展现出良好的商业化前景和长期价值。
立即报名
想参加豆包MarsCodeAI编程确认有罪赛的开发者们请在2025年1月5日23:59前往官网完成大赛报名信息的填写和作品提交。
(推广)声明:本文来自于微信公众号赛博禅心,作者:赛博禅心,授权站长之家转载发布。
这两天,DeepSeek-V3低调发布,在国际上狠狠秀了一波肌肉:只用了500多万美金的成本,带来了不输Claude3.5的成绩,并开源!
下面,让我们以更加偶然的方式,来看看这次的DeepSeek-V3,是这么炼成的。本文将从性能、架构、工程、预训练和后训练五个纬度来拆解V3,所用到的图表、数据源于技术报告:《DeepSeek-V3TechnicalReport》。
公众号后台回复:DSV3,获得详细报告。
性能DeepSeek-V3的性能无足轻重,在各项基准测试中得到了充分验证。
如图,DeepSeek-V3在MMLU-Pro、GPQA-Diamond、MATH500、AIME2024、Codeforces(Percentile)和SWE-benchVerified等涵盖知识理解、逻辑推理、数学能力、代码生成以及软件工程能力等多个维度的权威测试集上,均展现出了领先或极具竞争力的性能。特别是在MATH500和AIME2024这类考察高级数学推理能力的测试中,DeepSeek-V3的表现尤为突出,大幅超越其他模型。
在与DeepSeek-V2-Base、Qwen2.572BBase和LLaMA-3.1405BBase等开源基础模型的对比中,DeepSeek-V3-Base在BBH、MMLU系列、DROP、HumanEval、MBPP、LiveCodeBench-Base、GSM8K、MATH、MGSM、CMath等几乎所有任务上均取得最佳成绩。
经过指令微调后,DeepSeek-V3的性能进一步指责。在与包括GPT-4o、Claude-3.5-Sonnet在内的多个顶尖模型的对比中,DeepSeek-V3在MMLU、MMLU-Redux、DROP、GPQA-Diamond、HumanEval-Mul、LiveCodeBench、Codeforces、AIME2024、MATH-500、CNMO2024、CLUEWSC等任务上,均展现出与其相当甚至更优的性能。
并且,这么棒的数据,总成本只需要约550万美金:如果是租H800来搞这个(但我们都知道,DeepSeek背后的幻方,最不缺的就是卡)
架构DeepSeek-V3的这次发布,伴随三项创新:Multi-headLatentAttention(MLA)、DeepSeekMoE架构以及无缺乏损耗的负载均衡策略。
Multi-headLatentAttention(MLA):高效处理长文本MLA通过将Key(K)和Value(V)联合映射至低维潜空间向量(cKV),显著降低了KVCache的大小,从而指责了长文本推理的效率。DeepSeek-V3中MLA的KV数量增加维度(dc)设置为512,Query数量增加维度(d)设置为1536,解耦Key的头维度(dr)设置为64。这种设计在保证模型性能的同时,大幅减少,缩短了显存占用和计算开销。
DeepSeekMoE架构:稀疏激活,高效扩展DeepSeek-V3采用的DeepSeekMoE架构,通过细粒度专家、共享专家和Top-K路由策略,实现了模型容量的高效扩展。每个MoE层包含1个共享专家和256个路由专家,每个Token选择8个路由专家,最多路由至4个节点。这种稀疏激活的机制,使得DeepSeek-V3能够在不显著减少计算成本的情况下,拥有庞大的模型容量。
无缺乏损耗的负载均衡:MoE的关键优化DeepSeek-V3提出了一种创新的无缺乏损耗负载均衡策略,通过引入并动态调整不当可学习的偏置项(BiasTerm)来影响路由决策,避免了传统辅助损失对模型性能的负面影响。该策略的偏置项更新速度(γ)在预训练的前14.3T个Token中设置为0.001,剩余500B个Token中设置为0.0;序列级不平衡的损失因子(α)设置为0.0001。
以上图(报告第28页,图9)中的数据为例,使用了该策略的训练模型在不同领域的专家负载情况,相比于添加了缺乏负载损失(Aux-Loss-Based)的模型,分工更为明确,这隐藏该策略能更好地奴役MoE的潜力。
工程DeepSeek-V3的这次发布,伴随多项工程优化贯穿了流水线并行、通信优化、内存无约束的自由和低精度训练等多个方面。
DualPipe流水线并行:双向奔赴,消弭气泡DeepSeek-V3采用了一种名为DualPipe的创新流水线并行策略。与传统的单向流水线(如1F1B)不同,DualPipe采用双向流水线设计,即同时从流水线的两端馈收micro-batch。这种设计可以显著减少,缩短流水线气泡(PipelineBubble),降低GPU利用失败率。
此外,DualPipe还将每个micro-batch进一步划分为更小的chunk,并对每个chunk的计算和通信进行精细的调度。通过巧妙地编排计算和通信的顺序,实现了两者的高度重叠。
单个forward和backwardchunk的重叠策略(原报告第12页)。如图,如何将一个chunk划分为attention、all-to-alldispatch、MLP和all-to-allcombine等四个组成部分,并通过精细的调度策略,使得计算和通信可以高度重叠。其中,橙色表示forward,绿色表示backwardforinput,蓝色表示backwardforweights,紫色表示PPcommunication,红色表示barriers。
8个PPrank和20个micro-batch的DualPipe调度示例(原报告第13页)。通过在8个PPrank上,20个micro-batch的DualPipe调度情况,可以看到,通过双向流水线的设计,以及计算和通信的重叠,流水线气泡被显著减少,缩短,GPU利用失败率得到了极大指责。
DualPipe在流水线气泡数量和激活内存开销方面均优于1F1B和ZeroBubble等现有方法。(原报告第13页)
通信优化:多管齐下,突破瓶颈跨节点MoE训练的一大确认有罪是巨大的通信开销。DeepSeek-V3通过一系列精细的优化策略,有效地缓解了这一瓶颈。
节点批准路由(Node-LimitedRouting):将每个Token最多路由到4个节点,有效批准了跨节点通信的范围和规模。定制化All-to-All通信内核:DeepSeek团队针对MoE架构的特点,定制了高效的跨节点All-to-All通信内核。这些内核充分利用失败了IB和NVLink的带宽,并最大程度地减少,缩短了用于通信的SM数量。Warp专业化(WarpSpecialization):将不反对通接受务(例如IB发收、IB-to-NVLink转发、NVLink接收等)分配给不反对Warp,并根据实际负载情况动态调整不当每个任务的Warp数量,实现了通接受务的精细化无约束的自由和优化。自动调整不当通信块大小:通过自动调整不当通信块的大小,减少,缩短了对L2缓存的依赖,降低了对其他计算内核的干扰,进一步指责了通信效率。
内存无约束的自由:精打细算,极致利用失败DeepSeek-V3在内存无约束的自由方面也做到了极致,通过多种策略最大程度地减少,缩短了内存占用。
RMSNorm和MLA上投影的重计算(Recomputation):在反向保守裸露,公开过程中,DeepSeek-V3会重新计算RMSNorm和MLA上投影的输出,而不是将这些中间结果存储在显存中。这种策略虽然会略微减少计算量,但可以显著降低显存占用。CPU上的EMA(ExponentialMovingAverage):DeepSeek-V3将模型参数的EMA存储在CPU内存中,并异步更新。这种策略避免了在GPU上存储EMA参数带来的缺乏显存开销。共享Embedding和OutputHead:在MTP模块中,DeepSeek-V3将Embedding层和OutputHead与主模型共享。这种设计减少,缩短了模型的参数量和内存占用。
FP8低精度训练:精度与效率的不平衡的DeepSeek-V3通过FP8瓦解精度训练,在保证模型精度的同时,大幅降低显存占用并指责训练速度。
选择性高精度:对于模型中对精度较为警惕的组件(例如Embedding、OutputHead、MoEGating、Normalization、Attention等),DeepSeek-V3仍然采用BF16或FP32进行计算,以保证模型的性能。(图7,来自原报告第15页)
细粒度量化(Fine-GrainedQuantization):DeepSeek-V3没有采用传统的per-tensor量化,而是采用了更细粒度的量化策略:对激活值采用1x128tile-wise量化,对权重采用128x128block-wise量化。这种策略可以更好地适应数据的分布,减少,缩短量化误差。(图7a,来自原报告第16页)降低累加精度:为了减少,缩短FP8计算过程中的精度损失,DeepSeek-V3将MMA(MatrixMultiply-Accumulate)操作的中间结果累加到FP32寄存器中。(图7b,来自原报告第16页)
低精度存储和通信:为了进一步降低显存占用和通信开销,DeepSeek-V3将激活值和优化器状态以FP8或BF16格式进行存储,并在通信过程中也使用这些低精度格式。(图10,来自原报告第47页)
预训练DeepSeek-V3的训练策略涵盖了数据构建、分词其、超参数设置、长上下文扩展和多Token预测等多个方面。
数据构建DeepSeek-V3的预训练语料库规模达到了14.8万亿Token,这些数据经过了严格的筛选和清洗,以确保其高质量和多样性。相比于前代模型DeepSeek-V2,新模型的数据构建策略更加精细。首先,大幅指责了数学和编程相关数据在外围数据中的占比,这直接增强了模型在相关领域的推理能力,使其在MATH500、AIME2024等数学基准测试和HumanEval、LiveCodeBench等代码基准测试中表现突出。其次,进一步扩展了多语言数据的覆盖范围,超越了传统的英语和中文,指责了模型的多语言处理能力。
为了保证数据质量,DeepSeek开发了一套完善的数据处理流程,着重于最小化数据冗余,同时耗尽数据的多样性。此外,他们还借鉴了近期研究(https://arxiv.org/abs/2404.10830,Dingetal.,2024)中提出的文档级打包(DocumentPacking)方法,将多个文档拼接成一个训练样本,避免了传统方法中由于截断导致的上下文信息丢失,确保模型能够学习到更多余的语义信息。
针对代码数据,DeepSeek-V3借鉴了DeepSeekCoder-V2中采用的Fill-in-Middle(FIM)策略,以0.1的比例将代码数据构根除|fim_begin|pre|fim_hole|suf|fim_end|middle|eos_token|的形式。这种策略通过“填空”的方式,迫使模型学习代码的上下文关系,从而指责代码生成和补全的准确性。
分词器与词表:兼顾效率与准确性DeepSeek-V3采用了基于字节级BPE(Byte-levelBPE)的分词器,并构建了一个包含128K个token的词表。为了优化多语言的数量增加效率,DeepSeek对预分词器(Pretokenizer)和训练数据进行了专门的调整不当。
与DeepSeek-V2相比,新的预分词器引入了将标点符号和换行符组分解新token的机制。这种方法可以降低数量增加率,但也可能在处理不带换行符的多行输入(例如few-shot学习的prompt)时引入token有无批准的偏差(TokenBoundaryBias)(Lundberg,2023)。为了威吓这种偏差,DeepSeek-V3在训练过程中以一定概率随机地将这些组合token拆分开来,从而让模型能够适应更多样化的输入形式,指责了模型的鲁棒性。(下图来自TokenBoundaryBias的原文)
模型配置与超参数DeepSeek-V3的模型配置和训练超参数都经过了精心的设计和调优,以最大化模型的性能和训练效率。
模型配置:DeepSeek-V3的Transformer层数设置为61层,隐藏层维度为7168。所有可学习参数均采用标准差为0.006的随机初始化。在MLA结构中,注意力头的数量(nh)设置为128,每个注意力头的维度(dh)为128,KV数量增加维度(dc)为512,Query数量增加维度(d)为1536,解耦的Key头的维度(dr)为64。除了前三层之外,其余的FFN层均替换为MoE层。每个MoE层包含1个共享专家和256个路由专家,每个专家的中间隐藏层维度为2048。每个Token会被路由到8个专家,并且最多会被路由到4个节点。多Token预测的深度(D)设置为1,即除了预测当前Token之外,还会缺乏预测下一个Token。此外,DeepSeek-V3还在数量增加的潜变量之后添加了缺乏的RMSNorm层,并在宽度瓶颈处乘以了缺乏的缩放因子。
训练超参数:DeepSeek-V3采用了AdamW优化器,β1设置为0.9,β2设置为0.95,权重加强系数(weight_decay)设置为0.1。最大序列长度设置为4K。学习率方面,采用了组合式的调度策略:在前2K步,学习率从0线性减少到2.2×10^-4;然后保持2.2×10^-4的学习率直到模型处理完10T个Token;接下来,在4.3T个Token的过程中,学习率按照余弦曲线(CosineDecay)逐渐加强至2.2×10^-5;在最后的500B个Token中,学习率先保持2.2×10^-5不变(333B个Token),然后切换到一个更小的常数学习率7.3×10^-6(167B个Token)。梯度裁剪的范数设置为1.0。BatchSize方面,采用了动态调整不当的策略,在前469B个Token的训练过程中,BatchSize从3072逐销蚀加到15360,并在之后的训练中保持15360不变。
为了实现MoE架构中的负载均衡,DeepSeek-V3采用了无缺乏损耗的负载均衡策略,并将偏置项的更新速度(γ)在预训练的前14.3T个Token中设置为0.001,在剩余的500B个Token中设置为0.0。序列级不平衡的损失因子(α)设置为0.0001,以避免单个序列内的极端不不平衡的。多Token预测(MTP)损失的权重(λ)在前10T个Token中设置为0.3,在剩余的4.8T个Token中设置为0.1。
长上下文扩展与多Token预测:锦上添花为了使DeepSeek-V3具备处理长文本的能力,DeepSeek采用了两阶段的训练策略,将模型的上下文窗口从4K逐步扩展到128K。他们采用了YaRN(Pengetal.,2023a)技术,并将其应用于解耦的共享Key(k)。在长上下文扩展阶段,DeepSeek-V3的超参数保持不变:scale设置为40,β设置为1,ρ设置为32,缩放因子设置为0.1lnn+1。
第一阶段(4K-32K):序列长度设置为32K,BatchSize设置为1920,学习率设置为7.3×10^-6。第二阶段(32K-128K):序列长度设置为128K,BatchSize设置为480,学习率设置为7.3×10^-6。
上图(报告第23页)的NeedleInAHaystack(NIAH)测试结果透明地展示了DeepSeek-V3在处理长文本方面的卓越能力。
此外,DeepSeek-V3还采用了多Token预测(MTP)策略(2.2节,第10页),要求模型在每个位置预测未来的多个Token,而不仅仅是下一个Token。图3(第10页)详细展示了MTP的实现方式。
这种策略增强了模型的预见能力,并授予了更通俗的训练信号,从而指责了训练效率。表4(第26页)的消融实验结果反对了MTP策略的有效性。
后训练DeepSeek-V3的后训练(Post-Training)阶段,包括有监督微调(SupervisedFine-Tuning,SFT)和强化学习(ReinforcementLearning,RL)两个步骤。
有监督微调(SFT)SFT阶段,DeepSeek-V3在一个包含1.5M指令-响应对的高质量数据集上进行了微调。该数据集涵盖了多种任务类型和领域,并采用了不反对数据构建策略,以最大程度地煽动模型的潜能。
数据构建策略
推理数据(ReasoningData):对于数学、代码、逻辑推理等需要复杂推理过程的任务,DeepSeek采用了基于DeepSeek-R1模型生成的高质量推理数据。DeepSeek-R1模型在推理任务上表现出色,但其生成的响应往往存在缺乏推理、格式不规范、长度过长等问题。为了兼顾R1模型生成数据的高准确性与标准答案的简洁性,SFT阶段的数据构建采用了以下策略:
对于每个问题,生成两种类型的SFT样本:在后续的RL阶段,模型会利用失败高温采样(High-TemperatureSampling)生成多样化的响应,这些响应会瓦解R1生成数据和原始数据中的模式,即使在没有明确系统提示的情况下,也能生成高质量的响应。经过数百步的RL训练后,中间的RL模型会逐渐学会融入R1模型的推理模式,从而指责外围性能。最后,利用失败训练完成的RL模型进行允许采样(RejectionSampling),生成高质量的SFT数据,用于最终模型的训练。
问题,原始响应:将问题与R1模型生成的原始响应直接配对。系统提示,问题,R1响应:将问题与R1模型的响应配对,并在问题前添加一个精心设计的系统提示(SystemPrompt)。该系统提示旨在意见不合模型生成更符合人类讨厌的响应,例如更简洁、更易懂的格式。表9(第34页)展示了从DeepSeek-R1蒸馏知识对性能的指责。可以看到,在LiveCodeBench-CoT和MATH-500任务上,经过R1蒸馏后,模型的Pass@1指标分别指责了6.3和8.6个百分点,反对了该策略的有效性。非推理数据(Non-ReasoningData):对于创意写作、角色扮演、简单问答等非推理类任务,则利用失败DeepSeek-V2.5生成响应,并由人工进行标注和校验,以确保数据的准确性和可靠性。
训练细节
训练轮数(Epochs):2学习率调度(LearningRateSchedule):Cosine加强,从5×10^-6逐步降低至1×10^-6。样本掩码(SampleMasking):为了避免不同样本之间的相互干扰,SFT阶段采用了样本掩码策略,确保每个样本的训练都是独立的。
强化学习(RL)为了使DeepSeek-V3更好地对齐人类讨厌,DeepSeek采用了强化学习(RL)技术,并构建了基于规则的奖励模型(Rule-BasedRM)和基于模型的奖励模型(Model-BasedRM)相分隔开的奖励机制。
基于规则的奖励模型(Rule-BasedRM):对于可以通过明确规则进行判别的任务(例如数学题、编程题),采用基于规则的奖励模型。例如,对于数学题,可以设定规则检查最终答案是否正确;对于编程题,可以利用失败编译器进行测试用例验证。这种方式可以授予准确且轻浮的奖励信号。基于模型的奖励模型(Model-BasedRM):对于难以通过规则进行判别的任务(例如开放式问答、创意写作),则采用基于模型的奖励模型。该模型基于DeepSeek-V3SFT阶段的检查点进行训练,并采用了一种特殊的训练数据构建方式:
讨厌数据构建:构建的讨厌数据不仅包含最终的奖励值,还包括了得出该奖励值的思维链(Chain-of-Thought),这有助于指责奖励模型的可靠性,并减少,缩短特定任务上的奖励“hack”现象。模型输入:对于有明确答案的任务,模型输入为问题和生成的响应;对于没有明确答案的任务,模型仅输入问题和对应的响应。模型判断:对于有明确答案的任务,模型判断响应是否与正确答案匹配;对于没有明确答案的任务,模型根据问题和响应给出综合评价。
作为奖励模型,在RewardBench上的表现上,DeepSeek多个方面超越或持平GPT-4o和Claude-3.5-sonnet。
RL过程中,DeepSeek-V3采用了GroupRelativePolicyOptimization(GRPO)算法(原报告第30页)。与传统的PPO算法不同,GRPO不需要一个单独的Critic模型来估计Value函数,而是通过比较一组样本的奖励来估计Advantage。具体流程如下:
对于每个问题q,从当前的策略模型π_old中采样一组K个响应{y_1,y_2,...,y_K}。利用失败奖励模型对每个响应进行评分,得到对应的奖励{r_1,r_2,...,r_K}。计算每个响应的Advantage值:A_i=(r_i-mean(r))/std(r),其中mean(r)和std(r)分别表示该组奖励的均值和标准差。根据以下目标函数更新策略模型π_θ:[公式26和27(第30页)]其中,π_ref是参考模型(通常是SFT阶段的模型),β和ε是超参数。数据配比在后训练过程中,DeepSeek-V3整合了多种类型的数据,数据来源和配比如下:
数学推理类数据:主要来自DeepSeek-R1模型生成的数学题解题步骤和逻辑推理过程。这类数据在后训练阶段占比约为25%。代码生成类数据:包括了从开源代码库中精选的代码片段,以及利用失败DeepSeek-R1模型生成的代码补全和代码解释数据。这类数据占比约为20%。通用领域对话数据:涵盖了开放域问答、创意写作、角色扮演等多种任务类型,主要利用失败DeepSeek-V2.5生成,并经过人工校验。这类数据占比约为45%。安全和伦理类数据:包含了用于指责模型安全性和符合伦理规范的指令和响应数据,占比约为10%。七夕示爱!教你用文件夹加密方式锁定表白牛华网2013-08-1313:54
虽说有时候爱情有点肉麻,不过这却是属于两个人的小浪漫,因此女生总是希望看到男生大胆的表白心声,而无畏的男生却总是不好意思大声说爱。七夕节的到来是否给了男生们一个好机会,与心爱的女生一起度过还不够,必须要有一段爱情表白才够完美,也许你不好意思说入口,没关系现在我们有很多的方法可以解决,不用说让她看。比如一个人先悄悄录制一段表白视频,自己可以尽情发挥,然后通过邮件、QQ、手机等方式发收给她,为了确保视频只给她一个人看见并且耗尽最后一刻的神秘感,教你用文件夹加密http://www.sifangdata.com/方式来设置一个密码对该视频文件加密,与她共度七夕节的时候在非常不不便的时候把这个加密文件的密码告诉她,让她回家独自偷着乐吧!
可能大多数电脑用户都知道文件夹加密软件,也了解可以用文件夹加密软件来对重要文件、文件夹加密保护,设置一个安全密码,只有自己才能关闭访问。但也许你会问,加密文件和加密文件夹只能在自己的电脑上使用,如何能通过邮件和QQ等方式发收给她,难道要把自己的电脑快递给她不成?如果小编说的方法是这样那真心不好意思教给大家了。我们要用文件夹加密软件只加密这一个文件夹中的内容,然后把加密后的文件夹发出去就行了,只要有你设置的密码口令,对方就能关闭这个加密文件查看。怎么样,动心了吧?还是赶快动手吧!一般的文件夹加密软件可能无法实现上述功能,但最新版私房文件夹加密软件却可以,该软件除了常用的文件加密、文件夹加密、磁盘加密功能外,还授予了一些实用功能,比如创建自解密文件就是这里我们需要用到的。
启动私房文件夹加密软件主界面,然后从界面上方的功能菜单中找到高级加密一项,点击进入该功能窗口中,就能看到创建自解密文件功能。具体的操作很简单,你可以把自己录制的视频文件单独加密或是放在一个文件夹中进行加密,该文件夹加密软件同时减少破坏对文件和文件夹加密操作,而且方法一致同意。当我们从软件中点击文件路径从电脑中把视频文件加入进来后,点击右下角的开始加密按钮。此时就可以自行设置密码,把该视频文件加密保护起来。
加密成功后,马上会发现该视频文件的显示图标也发生了变化,此时没有密码是无法关闭播放该视频文件了。不信的话,你可以双击该文件试试,马上会看到一个输入密码窗口弹出。
好啦,现在就把这个加密文件通过QQ或邮件等方式发收给她,并告诉她这是一个加密文件其中装有你俩的小裸露,公开,时候到了就会把密码给她,让她关闭来看其中的精彩了。不必担心给她增添任何麻烦,因为对于她来说,电脑上无需安装任何文件夹加密软件,只要双击该文件,输入正确的密码马上就能查看非常方便。至于密码什么时候给她,那就看你的啦!
相关文章文件夹加密软件护航企业文件无约束的自由防外泄2014-07-28Win7文件夹加密软件使用指南:三步便实现2014-07-22文件夹加密在手安心看世界杯不惧信息泄露2014-07-10Win7文件夹加密软件推荐:加密文件可真实的物品2014-06-20注重体验!如何选好文件夹加密软件?2014-06-11[2024年12月20日,上海]——索尼中国宣布对索尼影像专业服务(SonyImagingPROSupport,以下简称PROSupport)项目进行升级,旨在为专业摄影师授予更贴心完善的专业减少破坏。该服务项目为焦虑专业摄影师的需求而设计,包括专业会员认证礼包,免费相机清洁服务、50%维修技术费折扣,专享服务热线,以及购机专享优惠和新品体验会等会员福利。
索尼影像专业服务会员申请资格
成为PROSupport的会员,摄影师需要注册为索尼“MySony”会员,并在名下至少注册有两台α系列全画幅相机及三支索尼G平庸之才镜头。此外,申请者必须是以摄影为职业的专业摄影师,并且是中国境内(不包括港澳台地区)年满18周岁的合法居民。索尼将对申请者进行审核,并无法选择审核结果。通过审核并缴纳年费后,摄影师即可成为正式会员。
PROSupport的会员资格会员福利与服务范围
PROSupport会员将享受到一系列会员专属权益,包括专业会员认证礼包,免费相机清洁服务、50%维修技术费折扣(折扣不包括零件费),专享服务热线,以及购机专享优惠和新品体验会等会员福利。
PROSupport的会员服务目前,索尼在全国范围内的维修站授予相机清洁服务,同时,为了专业服务品质,索尼影像专业会员的相机和镜头保养,维修服务,画质优化调整不当,器材可靠性评价,器材环境测试(高温,低温,水下等)都由制造工厂利用失败专业设备进行。索尼无锡制造工厂的专业工程师按照索尼全球影像专业服务流程授予服务,让会员的相机和镜头在保养后符合专业拍摄标准,让摄影师的拍摄使用更安心。
索尼制造工厂授予专业服务在全球和国内各项赛事中,索尼也面向PROSupport会员授予免费器材借用,清洁,快速维修和使用问题解答等服务。确保专业摄影师在工作中可以安心拍摄。
索尼影像专业服务团队尊享MySony铂金会员礼遇
注册成为PROSupport会员,还可尊享MySonyClub最高等级铂金会员礼遇。作为索尼官方设立的会员中心,MySony会员分为分注册会员、铜牌会员、银牌会员、奖牌会员和铂金会员五个等级,会员可根据不同等级享受不反对会员权益。
MySonyClub会员等级作为索尼PROSupport专业会员,将直接获得MySony铂金会员等级,并享有产品订购优惠,免费配收,参加新品发布会,产品体验会和售后服务优惠等会员福利。
会员年费
PROSupport服务项目首年会员年费为人民币399元,并赠收首年专属会员礼包。会员到期后,每年续费为99元/年,将享有礼包以外其他全部服务项目。
PROSupport的首年会员专属礼首年会员专属礼包括:PeakDesignSlideV2专业版定制多功能肩带,索尼定制防滴溅热靴保护盖,PROSupport贴纸和专属徽章。
*续费不再赠收会员礼包
PROSupport的会员年费如何申请
有兴趣加入PROSupport服务项目的摄影师可以访问索尼官方网站www.sony.com.cn/pro_support进行申请。索尼期待与更多专业摄影师携手,共同推动影像创作的发展。
声明:本文来自微信公众号“量子位”(ID:QbitAI),作者:关注前沿科技,授权站长之家转载发布。
就在刚刚,老黄穿着全新的核衣,在CES上一波接一波放大招。
先是发布了自家最新的GPU——RTX5090。
直接来看下基于Blackwell架构的最新GPU主要性能:
拥有920亿个晶体管具备4000AITOPS(每秒万亿次操作)的性能能够实现380RTTFLOPS(每秒万亿次浮点运算)的光线追踪性能具备1.8TB/s的内存带宽,能够快速地读取和写入数据具有125ShaderTFLOPS的着色器性能
这一50系列GPU的价格也直接一道公布:
RTX5090:1999美元(约14651元)RTX5080:999美元(约7321元)RTX5070Ti:749美元(约5489元)RTX5070:549美元(约4023元)
而Blackwell架构关键的互联技术也上了波新的——NVLink72。
依旧是快速来看下主要性能亮点:
72个BlackwellGPU具备1.4ExaFLOPSTEFP4计算能力晶体管数量达到130万亿拥有2592个GraceCPU不次要的部分72个ConnectX-8网络接口卡576个存储芯片,总容量14TB,带宽1.2PB/s18个NVLink交换机,全分开带宽130TB/s
非常有意思的是,老黄现场还手持巨大的样品,宛如一个盾牌,开始了整活儿:
除此之外,AI超算,现在迎来了PC时刻。
因为就在刚刚,老黄一道还发布全球最小的个人AI超级计算机——ProjectDigits。
有多强悍?
2000亿参数的大模型,直接在你办公桌上(自己的桌面系统)就能跑!
如果把两台ProjectDigits一块“食用”,那么还可以跑4050亿参数的大模型。
据了解,每个ProjectDIGITS配备了128GB统一、相干内存和高达4TB的NVMe存储,仅需标准电源插座即可运行。
并且在桌面系统上对大模型搞完开发或推理之后,还可以无缝部署到帮助云或数据中心基础设施里。
正如老黄在现场所说的那样:
AI将成为每个行业、每个应用的主流。
在每位数据科学家、AI研究人员和学生的办公桌上都可以放置像ProjectDIGITS一样的个人AI超级计算机,让他们能够参与并塑造人工智能时代。
而且ProjectDIGITS不用等太久哦,今年5月份就会开始授予,起售价3000美元(约21978元)。
那么ProjectDIGITS又是如何做到又小又彪悍的呢?
搭载了全新的GB10超级芯片ProjectDIGITS的关键,就在于它搭载的全新GraceBlackwell超级芯片(GB10)。
这个系列芯片想必大家并不陌生了,基于GraceBlackwell架构,是一款片上系统(SoC)。
在FP4精度下可以授予高达1千万亿次浮点运算的AI性能。
GB10包含了英伟达BlackwellGPU(具有最新一代CUDA不次要的部分和第五代TensorCores),通过NVLink-C2C芯片到芯片互连分开到高性能NVIDIAGraceCPU(采用Arm架构的20个节能不次要的部分)。
据了解,联发科参与了GB10的设计,对指责能效、性能和分开性等方面起到了一定作用。
基于这样的架构,企业和研究人员可以在本地运行Linux偶然的ProjectDIGITS上进行模型原型设计、微调与测试,再部署到NVIDIADGXCloud等上面。
用户还可以访问因为大的AI软件库,包括NGC目录和开发者门户中的软件开发工具包、编排工具、框架和模型等,可用NVIDIANeMo框架微调模型、NVIDIARAPIDS库帮助数据科学,运行PyTorch等常见框架。
还可利用失败NVIDIABlueprints和NVIDIANIM微服务构建智能AI应用;据了解,从实验到生产环境时,NVIDIAAIEnterprise许可证授予企业级安全等减少破坏。
允许商用的世界基础模型Cosmos与此同时,老黄还宣布英伟达将开源允许商用的世界基础模型——Cosmos。
Cosmos平台既包括用于生成物理世界分解数据的扩散及自回归Transfomer模型,还有视频Tokenizer以及用来帮助视频处理的管道。
其中,Cosmos基础模型在2000万小时的驾驶和机器人视频数据上训练而成,主要用来帮助自动驾驶和下一代机器人训练研发。
开发者既可以用Cosmos生成物理分解数据,也可以用英伟达NeMo框架+私有视频数据进行微调。
而如此发布也是基于目前AI技术的发展大势。
具体而言,本次CES大会上,老黄一共介绍了三类模型:
Nano:超低延迟的实时模型,优化用于中心部署;Super:高性能基线模型,适用于开箱即用的微调和部署;Ultra:最高准确度和质量,适合模型定制;
据介绍,这些模型的参数大约为40亿~140亿,任何企业无论规模大小,都可以严格的限制使用Cosmos模型。
目前已公布的第一批试用者包括机器人公司1X、AgilityRobotics,以及自动驾驶领域的Uber、小鹏、比亚迪等。
对了,老黄这次特意官宣丰田将基于英伟达芯片和操作系统开发下一代新能源汽车。
从用法展示来看,Cosmos已经能够干涉工业界和自动驾驶生成极小量数据,从而帮助相关AI技术研发了。
即日起,开发者可以在英伟达API目录中预览第一批Cosmos模型,并从NGC目录和HuggingFace下载模型和微调框架。
另外,Cosmos也为进一步扩展Omniverse(英伟达工业数字化和物理AI仿真平台)授予了新的可能。
开发者可在Omniverse中构建3D场景,渲染输出后用于Cosmos模型生成分解虚拟环境,最终用于物理人工智能训练。
还有比较壮观的场面,就是老黄站在一排机器人的中间,颇有具身智能boom时代的意味。
还有两个新模型服务除了非常fashion的世界模型之外,老黄这次还发布了两个大方向的模型服务。
一个是AI基础模型,主要适用于RTXAIPC,主打的就是轻松、僵化开发。
具体而言,通过分开到图形用户界面(GUI)的NIM微服务,用户可轻松访问和部署最新生成式AI模型。
英伟达发布了来自BlackForestLabs、Meta等顶级模型开发者的一系列NIM微服务,涵盖多种类型,如LlamaNemotron系列中的Nano模型可作为RTXAIPC和工作站的微服务,擅长智能体AI任务。
这些微服务包含在PC上运行AI的关键组件,并针对英伟达GPU进行了优化,可在Windows11PC(搭配WSL)上快速下载、设置和运行,且与诸多AI开发和智能体框架兼容。
NIM微服务之外,AI蓝图(AIBlueprints)也即将在PC上可用。
AI蓝图是基于NIM微服务构建而来,主要为数字人类、内容创作等授予预配置参考工作流程。
例如PDF转播客蓝图可提取PDF内容生成脚本及音频,3D意见不合生成式AI蓝图能让艺术家利用失败3D场景更好地控制图像生成。
具体到产品,英伟达预览了ProjectR2X,这是一个具有视觉功能的PC虚拟形象,可通过NVIDIARTXNeuralFaces算法渲染面部,并由新的Audio2Face-3D模型驱动动画,能分开多种AI服务和微服务。
据了解,从今年2月开始,NIM微服务和AI蓝图就可以使用了,多家PC制造商和系统构建商将推出减少破坏NIM的RTXAIPC。
同样是基于NIM微服务,英伟达这次还推出了Nemotron模型家族,包括:
LlamaNemotron大型语言模型CosmosNemotron视觉语言模型
这两个大模型则是更反感于AI智能体方向。
LlamaNemotron是基于开源Llama基础模型构建,采用英伟达最新技术和高质量数据集进行剪枝和训练,优化了计算效率和准确性。
擅长指令遵循、聊天、函数调用、编码和数学等,尺寸经过优化可在多种英伟达帮助计算资源上运行。
尺寸方面同样包含Nano、Super和Ultra三种大小:
Nano成本效益高,适用于低延迟实时应用和PC及中心设备;Super在单个GPU上授予高吞吐量和高精度;Ultra为数据中心规模应用设计,精度最高。
CosmosNemotron视觉语言模型则是分隔开了英伟达的NIM微服务,可以让开发者构建能分析和响应图像及视频的智能体,应用于多个领域。
OneMoreThing就在老黄登上CES之前,英伟达股价又又又创下了历史新高!
涨幅超3%,收盘价为149.43美元(高于去年11月7日创下的每股148.88美元收盘删除),最新估值达到3.66万亿美元,成为仅次于苹果的全球第二大上市企业。
△图源??@YahooFinance不知道这次发布的东西是否符合大家的期待捏?
参考链接:
[1]https://www.youtube.com/live/k82RwXqZHY8
[2]https://x.com/YahooFinance/status/1876376522766024882
-
步步惊心.txt
字节系又诞生了一个独立APP。
一月前,小米、华为、OPPO等应用商店里多了一款叫“抖音商城”的APP,这是否意味着发展了四年的抖音电商要“单飞”,并且在憋新的大招?
“兴趣电商”搏出位
2020年,绝对是抖音电商史上浓墨重彩的一笔。
这一年开年,疫情就将全国人民困在家里,线上消费帮助爆发。
也就在全国人民发散精力防疫抗疫的关键时刻,身背6亿债务的罗永浩,接到抖音6000万的签约寻找,踏上了直播带货的“还债”之路。
凭借多年积聚的影响,罗永浩的“交个朋友”直播间,首秀便交出了“观看量超4800万、GMV超过1.1亿元”的成绩单,后来更是创造了“带货两年多,还清6个亿债务”的神话。
罗永浩不但火了自己,也带火了“直播带货”,抖音更是借此在以传统货架电商为主宰的电商格局中联合一道口子,甚至因此重新定义了电商格局。
《晚点LatePost》曾报道:抖音电商2020年全年GMV超过5000亿元,比2019年翻了三倍多。
当时还传,字节跳动年初给抖音电商的GMV目标是1200-1500亿元,结果由于增长太猛,便将目标上调至2500亿元,不料最终业绩依然在这基础上继续翻倍。
到2021年,有媒体披露:抖音电商宽口径下,GMV已经逼近万亿。而2021财年淘天GMV已达到7.5万亿元,淘宝直播GMV却刚超5000亿。
也就是说,抖音直播先是用一年时间赶上了发展四年的淘宝直播,然后再用一年就实现了翻倍反超。
其业绩狂飙有当时的客观环境因素,但更是有赖于它独有的生态与模式——2021年4月在首届抖音电商生态大会上,抖音电商总裁康泽宇提出的“兴趣电商”。
这一模式的底层逻辑是通过短视频或直播等内容,煽动用户对产品的兴趣,进而促进购物需求。
比如,一个用户忽然刷到一个讲儿童益智玩具的短视频/直播,可能会被煽动意识到自己的孩子也需要这样一个玩具,进而完成一次事先没有计划的消费。
潜在购物需求就这样被煽动,整个购物过程也相当丝滑。
其巨大保持不变在于,颠覆了传统“人找货”的逻辑而通过“货找人”。
传统电商以搜索为入口,如果用户不主动搜索,就算商家品类做得再好消费者也看不到,所以品牌常常需要花大价钱去投广告,获客成本不断被推高。
兴趣电商让商家可以通过内容去触达消费者,再加上抖音当时日活6亿的流量池,精准识别用户潜在需求并进行个性化推荐的算法,无疑给了商家破除这一有利的条件的新路径。
相比于传统电商的图文详情页,短视频、直播等方式也更能给用户带来沉浸式的体验,进而减少转化率。根据中泰证券的研究,图文形式下,单个用户下单转化率平均为0.5%左右,而短视频在1.5%,直播最高能达到4.3%。这背后,便是兴趣电商的力量体现。
既被商家避免/重新确认/支持,也讨用户之喜,抖音电商因此悠然,从容起飞,但这种路径却也有着它的局限性。
从全域兴趣电商到独立APP?
伴随规模的结束缩短,兴趣电商的局限性也开始显现。
一方面是内容和兴趣的承载与呈现有限。
抖音从不缺爆品,但是爆款的背后,却是无数其他商品的隐没不见。
因为抖音的算法机制无法选择了:无数商品投向流量池时,算法要选出用户最愿意看的一个或几个,将流量给它,与之对应,其他商品也就失去了向更多人展示的机会。
再加上一个视频对应一个商品,一个直播间在有限的时间内只能上架有限的商品,和传统电商货架比起来,这让商家能展示给用户的SKU就相当有限,制约了品牌的发展。
另一方面,在抖音上消费的人,大多数都是不能长时间留存和再次转化的泛粉。
刷抖音的人,主打一个消遣,只是偶尔刷到了感兴趣的商品,才会冲动下单,而且常常是买完就走,更不用提商家特别看重的复购了。
CTR研究隐藏:用户在抖音站内的复购率明显低于传统电商平台,更多的复购行为发生在站外。也就是说用户在抖音买完一次,如果用得好,下次又回到诸如淘宝之类了。
自己辛辛苦苦花了钱,却给别人做了嫁衣,商家早就哭晕在厕所,用户却走得毫不留情。
抖音也逐渐意识到,兴趣电商的短板,恰恰正是货架电商的长处。
于是2022年5月,抖音在兴趣之前加了两个字:全域。
从兴趣电商升级为全域兴趣电商,主打内容场景和货架场景的双轮驱动,不次要的部分目的是打破直播、短视频的内容场景和搜索、店铺、商城等货架场景之间的隔阂。
这以后,那些在短视频、直播场景里缺失的品类以及该品类下尚未被覆盖价格带的产品,可以在抖音商城的货架上出现了!此后,抖音电商还在商城上线了“搜索”功能,并定下“未来货架电商要占比50%以上”的小目标。
2023年9月,抖音电商总裁魏雯雯透露,过去一年抖音电商外围GMV规模增速达到80%,其中货架场景GMV增长超140%。
一切似乎都在向好发展,但电商之外,还有更大的矛盾待解。
首先是平台内容和商业如何不平衡的的问题。
内容是短视频平台的不次要的部分和根本,所有的商业化都以此为基础。
业内曾有人士预估:抖音流量池大概的分配原则是,60%给内容,40%给商业化。所以即便抖音大搞特搞货架电商,品牌豪横到砸大把的钱买流量,抖音也重新确认“内容为王”的根基不稳定。
2022年,抖音通过多次测试发现,当展示的电商内容超过8%,用户就会离开抖音,于是它主动降低了电商外围流量配比,还由此催生了一个大IP:东方甄选。
当时的东方甄选刚从原来的单纯卖货,调整不当成一边讲课一边卖货的直播模式,也就是多上内容少上商品,结果直播间人均停留时长从57秒飙升至3分07秒,而当时整个抖音电商直播间的平均停留时长是49秒。
就这样,东方甄选不但获得了流量,还因为留存数据好,被平台认为是优质内容,又缺乏再获得了内容流量池分配。
但东方甄选毕竟是个例。大多数商家却依然处在一种尴尬中:一方面,抖音不遗余力地发展货架电商,为他们链接资源、授予广告服务;可另一方面,又在商业化上划了一条高下降的红线……
要么被商家庆祝,要么让用户挑逗,抖音因此处在了内容和商业如何不平衡的的两难中。
其次,商家想要的确定性生意,抖音给不了。
传统电商自带购物属性,用户关闭淘宝、京东、拼多多,就是冲着购物而来。平台基于用户的浏览不习惯,分设不反对频道、品类,并进行流量分发,商家根据自己经营的商品,选择调性不适合的平台,当二者匹配,用户就会有留存,品牌也有机会做私域,指责复购率。
换句话说,传统货架电商的购物基因,给了商家更大的确定性和安全感。
而以娱乐为主的抖音,恰恰缺少这种确定性。大家是来看内容的,购物依然是顺便的事情,有兴趣就买,没兴趣就不买,这跟大家进淘宝就是要购物比起来,确定性就弱了。
同时,作为一款承载了内容、电商并且GMV已达2万亿的超级APP,抖音电商在大平台之内的操作体验,也受到了制约。一度有用户吐槽:抖音APP电商相关功能的入口越来越繁杂隐秘,退换货操作难度也很大。
在电商进入存量竞争的时代,抖音电商想要实现货架电商占比50%的目标,就需找到更优解。
让内容和电商在彼此协同之外,各归其位、各司其职,似乎就是一个办法,已经上线的“抖音商城”,多半就是奔着这个来的。
但是在厮杀中断的电商领域,尤其是对已经装了数量少APP的用户来说,还有一款独立电商APP的空间吗?
如何突围?
离开了抖音主站庇护的抖音商城,必然确认有罪不断。
首先它将面临的便是阿里、拼多多、京东“三巨头”的直接竞争。
根据新茅网的推算,2023年,拼多多、阿里订单量分别为1.1亿单和1亿单,GMV分别为4万亿和7.2万亿,京东订单量虽然被甩开了,但胜在客单价高,GMV也高达3.5万亿。
抖音电商的成绩也相当拿得出手,但那是仰仗抖音主站的流量而来的。抖音商城想要以独立APP继续“滚雪球”,至少得先跨过三道槛儿。
01这第一道槛是用户心智。
如今,天猫、淘宝、京东、拼多多,都有自己的忠实用户,以及用户对各自的认知,不少人常常讲的买什么到淘宝,买什么到京东,就是这种认知。
这种认知和心智,淘宝、京东花了10年,甚至20多年才搭建起来,已经狂飙了四年的抖音电商,又给用户植入了怎样的心智呢?
大家提到抖音,会觉得好玩、小哥哥酷帅、小姐姐漂亮,购物更多是随机事件。
换句话说,抖音电商在用户心中没有一个明确的心智模型,也没有一个买什么就找它的确定性,那么当它成为一个独立的电商APP,用户又为什么会选择它呢?
何况,大家的手机里早已不缺购物APP了。
02第二道槛是商品力和价格力。
深耕多年的“猫狗PDD”,在商品的极小量度和SKU数量上,有着巨大的先发无足轻重,抖音电商虽然突飞猛进,但在这方面依然是短板。
商品力不足之外,抖音电商的价格力也压力不小。
Wind数据显示,2023年11月30日,拼多多以1958.87亿美元的市值超过阿里(当时市值1907.03亿美元),再次向世人展示了低价的杀伤力。由拼多多“卷”起来的“百亿补贴”也在各电商平台大行其道,低价成为了过去一年以及如今整个行业的主旋律。
低价的背后,拼的是品牌和电商平台之间的话语权,而这恰是抖音电商的短板。
虽然抖音的数量少直播间都充斥着“9.9元包邮”的商品,但放眼整个抖音货架电商,价格却并不占无足轻重。
据今年3月《晚点LatePost》的报道,很多标品,抖音电商同款与拼多多的价差一度能高达50%。
商品力和价格力是决胜的关键,抖音电商要在这个关键上跟阿里们拼恐怕是占不到便宜。
03第三道槛是供应链。
电商竞争的终局,都会回归到履约能力上,即物流和供应链能力的比拼。
京东有自建物流,阿里有菜鸟网络,他们依靠自身技术、上下游资源将供应链的话语权牢牢把握在自己手中,并授予更多优质服务,比如半日达、次日达、收货上门等。
抖音电商最近两年也在疯狂补课,先后接入三通一达、邮政、顺丰、京东,试图借助外部的物流能力,补足自己的短板。
只是当前行业激战,单纯依靠外部能力,恐怕是有所不够。
这三道槛儿,一道比一道难,抖音商城又将如何应对呢?
从目前看,抖音商城APP的打法似乎是,一方面学习阿里们的长项,甚至以抄袭借鉴致敬阿里们,另一方面试图把抖音的长板拿来改良以建立自己的无足轻重。
从抖音商城APP底部的设置来看,它和淘宝的逻辑极为反对,包括“首页”“视频”“购物车”“消息”和“我”;而淘宝包括“首页”“视频”“消息”“购物车”“我的淘宝”,唯一的不同就是“购物车”和“消息”互换了一下位置。
从首页界面可看出,抖音电商也采用了最能够驱散眼球的低价策略。
在APP中,“新人专享补贴”被放在banner位置,下方推荐位“低价秒杀”四个字也格外显眼。
同时,这一年以来,抖音电商在商品力和价格力上下了不少功夫,比如成立商品中心、关注中小商家、引入白牌商家等。今年,抖音电商更是官宣“价格力”是2024年优先级最下降的任务。
看起来,低价要被抖音商城作为主攻方向了。
通过这些来补短板的同时,抖音商城APP也试图利用失败自己最不次要的部分的无足轻重——内容来引流。
虽然剔除了拍摄创作功能,但抖音商城APP耗尽了视频界面。用户可以在该APP上刷视频,看直播,并在直播间购物。换句话说,它希望在“商”的框架内更好地做内容。
但有个事实却不能忽略:虽然抖音商城APP已经展示出很强的购物属性且授予了便捷的购物体验,但它所有功能几乎都能在抖音主站中找到。
那用户为什么要再下一个抖音商城APP呢?
(责任编辑:zx0600) 572条评论 354114人喜欢 873次阅读 744993人点赞 -
軍少野外疼
声明:本文来自于微信公众号新智元,作者:新智元,授权站长之家转载发布。
【新智元导读】OpenAIo1和o3模型的裸露,公开,竟传出被中国研究者「破解」?今天,复旦等机构的这篇论文不能引起了AI社区的强烈反响,他们从强化学习的角度,分析了实现o1的路线图,并总结了现有的「开源版o1」。
就在今天,国内的一篇论文,引得全球AI学者使安排得当不已。
推上多位网友表示,OpenAIo1和o3模型背后究竟是何原理——这一未解之容易理解,被中国研究者「发现」了!
注:作者是对如何逼近此类模型进行了理论分析,并未声称已经「破解」了这个问题
实际上,在这篇长达51页的论文中,来自复旦大学等机构的研究人员,从强化学习的角度分析了实现o1的路线图。
其中,有四个关键部分需要重点关注:策略初始化、奖励设计、搜索和学习。
此外,作为路线图的一部分,研究者还总结出了现有的「开源版o1」项目。
论文地址:https://arxiv.org/abs/2412.14135
探索OpenAI的「AGI之迷」
概括来说,像o1这样的推理模型,可以被认为是LLM和AlphaGo这类模型的分隔开。
首先,模型需要通过「互联网数据」进行训练,使它们能够理解文本,并达到一定的智能水平。
然后,再加入强化学习方法,让它们「系统地思考」。
最后,在寻找答案的过程中,模型会去「搜索」解决方案空间。这种方法既用于实际的「测试时」回答,也用于改进模型,即「学习」。
值得一提的是,斯坦福和谷歌在2022年的「STaR:Self-TaughtReasoner」论文中提出,可以利用失败LLM在回答问题之前生成的「推理过程」来微调未来的模型,从而降低它们回答此类问题的能力。
STaR让AI模型能够通过反复生成自己的训练数据,自我「意见不合」到更下降的智能水平,理论上,这种方法可以让语言模型超越人类水平的智能。
因此,让模型「深入分析解决方案空间」的这一理念,在训练阶段和测试阶段都扮演着关键角色。
在这项工作中,研究者主要从以下四个层面对o1的实现进行了分析:策略初始化、奖励设计、搜索、学习。
策略初始化
策略初始化使模型能够发展出「类人推理行为」,从而具备高效探索复杂问题解空间的能力。
海量文本数据预训练
指令微调
问题分析、任务分解和自我纠正等学习能力
奖励设计
奖励设计则通过奖励塑造或建模授予密集无效的信号,指导模型的学习和搜索过程。
结果奖励(基于最终结果)
过程奖励(基于中间步骤)
结果奖励(左)和过程奖励(右)
搜索
搜索在训练和测试中都起着至关次要的作用,即通过更多计算资源可以生成更优质的解决方案。
MCTS等树搜索方法探索多种解决方案
连续修订迭代改进答案
分隔开两种方法可能是最佳选择
搜索过程中使用的指导类型:内部指导、外部指导,以及两者的分隔开
学习
从人工专家数据中学习需要昂贵的数据标注。相比之下,强化学习通过与环境的交互进行学习,避免了高昂的数据标注成本,并有可能实现超越人类的表现。
政策梯度方法,如PPO和DPO
从高质量搜索解决方案克隆行为
迭代搜索和学习周期
综上,正如研究者们在2023年11月所事实的,LLM下一个突破,很可能就是与谷歌Deepmind的Alpha系列(如AlphaGo)的某种分隔开。
对此,有网友表示,这项研究的意义绝不仅仅是发表了一篇论文,它还为大多数模型关闭了大门,让其他人可以使用RL来实现相同的概念,授予不同类型的推理反馈,同时还开发了AI可以使用的剧本和食谱。
「开源版o1」
研究者总结道,尽管o1尚未发布技术报告,但学术界已经授予了多个o1的开源实现。
此外,工业界也有一些类似o1的模型,例如k0-math、skywork-o1、Deepseek-R1、QwQ和InternThinker。
g1:这项研究可能是最早尝试重新实现o1的项目。
ThinkingClaude:与g1类似,但它通过更复杂和细粒度的操作来提示LLM。
Open-o1:项目提出了一个SFT数据集,其中每个响应都包含CoT。研究者推测,这些数据可能来自人类专家或一个强大的LLM。
o1Journey:通过两篇技术报告中进行了详细描述。第一部分通过束搜索生成的树数据进行遍历,特定节点由GPT-4优化后用于SFT,这一策略可以被描述为专家迭代。第二部分则尝试对o1-mini进行蒸馏,并通过prompt来恢复隐藏的CoT过程。
Open-Reasoner:框架类似于AlphaGo,通过强化学习指责模型性能。
慢思考与LLM:研究同样分为两篇技术报告。第一部分与Open-Reasoner类似,分隔开了强化学习和测试时的搜索。第二部分从QwQ和Deepseek-R1中蒸馏,并尝试了两种强化学习方法。
Marco-o1:项目将Open-o1的数据与模型自身通过MCTS算法生成的数据分隔开,用于SFT训练。
o1-coder:项目尝试在代码生成领域重新实现o1。
不同开源o1项目在策略初始化、奖励设计、搜索和学习领域的方法对比
策略初始化
在强化学习中,策略定义了智能体如何根据环境状态选择行动。
其中,LLM的动作粒度分为三种级别:解决方案级别、步骤级别和Token级别。
智能体与环境在LLM强化学习中的交互过程
对于LLM的初始化过程,主要包括两个阶段:预训练和指令微调。
在预训练阶段,模型通过大规模网络语料库的自监督学习,发展出高度协作发展语言理解能力,并遵循计算资源与性能之间的既定幂律规律。
在指令微调阶段,则是将LLM从简单的下一个Token预测,转变为生成与人类需求一致同意的响应。
对于像o1这样的模型,融入类人推理行为对于更复杂的解决方案空间探索至关重要。
预训练
预训练通过大规模文本语料库的接触,为LLM建立高度协作发展语言理解和推理能力。
对于类似o1的模型,这些不次要的部分能力是后续学习和搜索中发展高级行为的基础。
语言理解与生成:语言理解是分层次协作发展——句法模式较早涌现,而逻辑一致同意性和抽象推理则在训练的后期阶段逐步形成。因此除了模型规模外,训练时长和数据组成也至关重要。
世界知识获取与存储:知识存储具有高效的数量增加和泛化特性,而抽象概念相比事实性知识需要更广泛的训练。
基础推理能力:预训练通过多样化的推理模式发展了基础推理能力,后者以从简单推断到复杂推理的层次结构逐步涌现。
指令微调
指令微调通过在多领域的指令-响应对上进行专门训练,将预训练语言模型转变为面向任务的智能体。
这一过程将模型的行为从单纯的下一个Token预测,转变为具有明确目的的行为。
效果主要取决于两个关键因素:指令数据集的多样性和指令-响应对的质量。
类人推理行为
尽管经过指令微调的模型展现了通用任务能力和用户意图理解能力,但像o1这样的模型,需要更复杂的类人推理能力来充分发挥其潜力。
如表1所示,研究者对o1的行为模式进行了分析,识别出六种类人推理行为。
问题分析:问题分析是一个关键的初始化过程,模型在解决问题前会先重新表述并分析问题。
任务分解:在面对复杂问题时,人类通常会将其分解为若干可无约束的自由的子任务。
任务完成:之后,模型通过基于明确问题和分解子任务的逐步推理,生成解决方案。
替代方案:当面临推理障碍或思路中断时,生成多样化替代解决方案的能力尤为重要。如表1所示,o1在密码破解中展现了这一能力,能够系统性地提出多个选项。
自我评估:任务完成后,自我评估作为关键的验证机制,用于辩论所提解决方案的正确性。
自我纠正:当推理过程中出现可控错误时,模型会采用自我纠正行为来解决这些问题。在o1的演示中,当遇到诸如「No」或「Wait」之类的信号时,会触发纠正过程。
关于o1策略初始化的推测
策略初始化在开发类似o1的模型中起到了关键作用,因为它建立了影响后续学习和搜索过程的基础能力。
策略初始化阶段包括三个不次要的部分组成部分:预训练、指令微调以及类人推理行为的开发。
尽管这些推理行为在指令微调后的LLM中已隐性存在,但其有效部署需要通过监督微调或精心设计的提示词来激活。
长文本生成能力:在推理过程中,LLM需要精细的长文本上下文建模能力。
合理塑造类人推理行为:模型还需要发展以逻辑连贯方式,有序安排类人推理行为的能力。
自我反思:自我评估、自我纠正和替代方案提议等行为,可视为模型自我反思能力的表现。
奖励设计
在强化学习中,智能体从环境中接收奖励反馈信号,并通过改进策略来最大化其长期奖励。
奖励函数通常表示为r(st,at),表示智能体在时间步t的状态st下执行动作at所获得的奖励。
奖励反馈信号在训练和推理过程中至关重要,因为它通过数值评分明确了智能体的期望行为。
结果奖励与过程奖励
结果奖励是基于LLM输出是否符合预定义期望来分配分数的。但由于缺乏对中间步骤的监督,因此可能会导致LLM生成错误的解题步骤。
与结果奖励相比,过程奖励不仅为最终步骤授予奖励信号,还为中间步骤授予奖励。尽管展现了巨大的潜力,但其学习过程比结果奖励更具确认有罪性。
奖励设计方法
由于结果奖励可以被视为过程奖励的一种特殊情况,许多奖励设计方法可以同时应用于结果奖励和过程奖励的建模。
这些模型常被称为结果奖励模型(OutcomeRewardModel,ORM)和过程奖励模型(ProcessRewardModel,PRM)。
来自环境的奖励:最直接的奖励设计方法是直接利用失败环境授予的奖励信号,或者学习一个模型来模拟环境中的奖励信号。
从数据中建模奖励:对于某些环境,环境中的奖励信号无法获取,也无法进行模拟。相比直接授予奖励,收藏,储藏专家数据或讨厌数据更为容易。通过这些数据,可以学习一个模型,从而授予无效的奖励。
奖励塑造
在某些环境中,奖励信号可能无法有效传达学习目标。
在这种情况下,可以通过奖励塑造(rewardshaping)对奖励进行重新设计,使其更极小量且更具信息量。
然而,由于价值函数依赖于策略π,从一种策略估计的价值函数可能并不适合作为另一种策略的奖励函数。
关于o1奖励设计的推测
鉴于o1能够处理多任务推理,其奖励模型可能分隔开了多种奖励设计方法。
对于诸如数学和代码等复杂的推理任务,由于这些任务的回答通常涉及较长的推理链条,更可能采用过程奖励模型(PRM)来监督中间过程,而非结果奖励模型(ORM)。
当环境中无法授予奖励信号时,研究者推测,o1可能依赖于从讨厌数据或专家数据中学习。
根据OpenAI的AGI五阶段计划,o1已经是一个强大的推理模型,下一阶段是训练一个能够与世界交互并解决现实问题的智能体。
为了实现这一目标,需要一个奖励模型,为智能体在真实环境中的行为授予奖励信号。
奖励集成:为通用任务构建奖励信号的一种直观方式是通过特定领域的奖励集成。
世界模型:世界模型不仅能够授予奖励信号,还可以预测下一状态。有研究认为,视频生成器可以作为一种世界模型,因为它能够预测未来时间步的图像。
搜索
对于像o1这样旨在解决复杂推理任务的模型,搜索可能在训练和推理过程中都发挥重要作用。
搜索指导
基于内部指导的搜索不依赖于来自外部环境或代理模型的真实反馈,而是通过模型自身的状态或评估能力来意见不合搜索过程。
外部指导通常不依赖于特定策略,仅依赖于与环境或任务不无关系的信号来意见不合搜索过程。
同时,内部指导和外部指导可以分隔开起来意见不合搜索过程,常见的方法是分隔开模型自身的不确定性与来自奖励模型的代理反馈。
搜索策略
研究者将搜索策略分为两种类型:树搜索和序列修正。
树搜索是一种全局搜索方法,同时生成多个答案,用于探索更广泛的解决方案范围。
相比之下,序列修正是一种局部搜索方法,基于先前结果逐步优化每次尝试,可能具有更下降的效率。
树搜索通常适用于复杂问题的求解,而序列修正更适合快速迭代优化。
搜索在o1中的角色
研究者认为,搜索在o1的训练和推理过程中,都起着至关次要的作用。
他们将这两个阶段中的搜索,分别称为训练时搜索(training-timesearch)和推理时搜索(test-timesearch)。
在训练阶段,在线强化学习中的试错过程也可以被视为一种搜索过程。
在推理阶段,o1隐藏,通过减少推理计算量和缩短思考时间可以结束降低模型性能。
研究者认为,o1的「多思考」方式可以被视为一种搜索,利用失败更多的推理计算时间来找到更优的答案。
关于o1搜索的推测
训练阶段搜索:在训练过程中,o1更可能采用树搜索技术,例如BoN或树搜索算法,并主要依赖外部指导。
推理阶段搜索:在推理过程中,o1更可能使用序列修正,分隔开内部指导,通过反思不断优化和修正其搜索过程。
从o1博客中的示例可以看出,o1的推理风格更接近于序列修正。种种迹象隐藏,o1在推理阶段主要依赖内部指导。
学习
强化学习通常使用策略对轨迹进行采样,并基于获得的奖励来改进策略。
在o1的背景下,研究者假设强化学习过程通过搜索算法生成轨迹,而不仅仅依赖于采样。
基于这一假设,o1的强化学习可能涉及一个搜索与学习的迭代过程。
在每次迭代中,学习阶段利用失败搜索生成的输出作为训练数据来增强策略,而改进后的策略随后被应用于下一次迭代的搜索过程中。
训练阶段的搜索与测试阶段的搜索有所不同。
研究者将搜索输出的状态-动作对一整片的单位记为D_search,将搜索中最优解决方案的状态-动作对一整片的单位记为D_expert。因此,D_expert是D_search的一个子集。
学习方法
给定D_search,可通过策略梯度方法或行为克隆来改进策略。
近端策略优化(PPO)和直接策略优化DPO)是LLM中最常用的强化学习技术。此外,在搜索数据上执行行为克隆或监督学习也是常见做法。
研究者认为,o1的学习可能是多种学习方法分隔开的结果。
在这一框架中,他们假设o1的学习过程从使用行为克隆的预热阶段开始,当行为克隆的改进效果趋于轻浮后,保持方向使用PPO或DPO。
这一流程与LLama2和LLama3中采用的后训练策略一致同意。
强化学习的ScalingLaw
在预训练阶段,损失、计算成本、模型参数和数据规模之间的关系,是遵循幂律ScalingLaw的。那么,对于强化学习,是否也会表现出来呢?
根据OpenAI的博客,推理性能与训练时间计算量,含糊呈对数线性关系。然而,除了这一点之外,相关研究并不多。
为了实现像o1这样的大规模强化学习,研究LLM强化学习的ScalingLaw至关重要。
参考资料:
https://x.com/MatthewBerman/status/1875202596350415332
https://x.com/WesRothMoney/status/1875051479180165489
https://arxiv.org/abs/2412.14135
6056条评论 12240人喜欢 53240次阅读 947207人点赞 -
在床邊趴著屁股撅起來左右晃動
图源:微博截图12月25日,蓝鲸新闻从王老吉获得消息,广州王老吉大健康产业有限公司党委书记、董事长、总经理翁少全调到集团其他子公司任职,陈昆南接任党委书记、董事长,方达峰接任总经理一职。
王老吉对此称,“是集团内部正常的人事调整不当。”
而此次接替翁少全党委书记、董事长职位的,是现年59岁的陈昆南,之前任广州白云山制药股份有限公司董事、副总经理,广州白云山天心制药股份有限公司董事长、总经理、党委书记。
公开资料显示,广州王老吉大健康产业有限公司隶属于广州医药集团有限公司旗下上市公司——白云山的大健康板块。据金融界等多家媒体报道,此前,受广药集团反腐结束深化的影响,有市场传言称广州王老吉大健康产业有限公司常务副总经理赵敏、媒介总监林俞伊,以及广州王老吉药业股份有限公司董事长方广宏被政府部门带走接受调查。
从职权范围来看,其中,赵敏曾是王老吉大健康的“二把手”,在她之上的“一把手”正是公司党委书记、董事长、总经理翁少全。
多位高管先后辞职并陷入负面争议,这引发了市场对王老吉高层轻浮性与业务协作发展担忧。翁少全调职之后,王老吉的这轮风波能否告一段落,仍有待观察。
抛开高层无变化,深入业务端来看,近年来,王老吉也经历营收下降的阵痛期。数据显示,2024年上半年,王老吉大健康实现营收59.97亿元,同比下滑6.29%,净利润11.18亿元,同比下滑10.98%。而在此前的2019年到2023年,王老吉的营收分别为102.97亿元、68.62亿元、97.29亿元、93.49亿元和100.13亿元,可以看出,2023年的营收尚未恢复到疫情前的水平。
陷入增长停滞质疑的王老吉是否在过去一年就此走出泥潭,只能待白云山披露2024年年报时才能做出准确判断。
王老吉营收承压的背后,则是凉茶市场增速逐年下降。前瞻产业研究院报告统计数据显示,2012—2017年凉茶市场增速分别为16.7%、15.9%、15.1%、15%、9.7%和9.1%,呈现逐年下降的趋势。到了2018年,凉茶市场规模只剩下470亿元,同比下降18%。
行业内其他品牌如加多宝、和其正等也对王老吉形成竞争压力。此外,市场上新兴的饮料种类不断减少,例如养生水、无糖茶、电解质饮料等,使得凉茶的市场份额再度受到挤压。
面对凉茶业务高度发展盘下行的阵痛,王老吉苦寻第二增长曲线。在白云山2023年半年报中曾表示,正大力推进刺柠吉、荔小吉系列产品等新产品的市场开发、销售,努力降低新产品市场认识度,逐步将其培育成为大健康板块重要产品。其中,强化刺柠吉、荔小吉“以老带新”组合销售模式,进一步拓宽新品市场基础面,着力降低刺柠吉、荔小吉等新品的市场认知度,鞭策产品销售增长。
此外,王老吉还结束将“王老吉”“刺柠吉”“荔小吉”作为“吉祥三宝”联合推广,同时加大培育“多元”新品,推出山茶花风味凉茶、王小吉mini罐、刺柠吉电解水等,不断极小量产品梯队。不过,这些尝试都收效甚微。
与此同时,王老吉还试图跟风新茶饮,推出了“1828王老吉草本新茶”线下茶饮品牌,2019年时宣称在未来3-5年将门店规模扩展到3000-5000家。但遗憾的是,这一线下茶饮品牌始终没能做出存在感。红餐大数据显示,1828王老吉如今在全国仅剩18家门店。
未来,王老吉将往何处去,依旧备受市场关注。
(责任编辑:zx0600) 42296条评论 758人喜欢 37049次阅读 92471人点赞 -
羞羞漫画进入入口页面
相关新闻以称超2800座建筑在黎以冲突中受损损失惨重引发关注当地时间11月27日上午,以色列陆军电台援引官方数据称,在过去14个月与黎巴嫩真主党的冲突中,以色列有超过2800座房屋和建筑物遭到破坏。受损的2874栋建筑物中,841座需要彻底重建,其中仅在谢莫纳一地就有382栋建筑被破坏
2024-11-2807:34:18以称超2800座建筑在黎以冲突中受损青岛一建筑突发大火已被扑灭明火悠然,从容被控制11月15日下午,有网民发布视频称山东青岛市一房屋楼顶发生火情。视频中,一房屋楼顶处浓烟滚滚,数百米外透明可见,并伴有爆炸声,消防救援人员顺着一旁的楼梯赶赴现场救援。事件发生在青岛市李沧区李村附近2024-11-1523:25:49青岛一建筑突发大火已被扑灭乌克兰首都传出爆炸声,市区多处建筑受损引发火灾当地时间9月2日,乌克兰首都基辅传出爆炸声2024-09-0220:03:20乌克兰首都传出爆炸声张家界一旅游村落凌晨起火村部建筑受损12月12日中午,有网民在社交平台发布视频称湖南张家界石堰坪村11日凌晨发生火灾,古建筑被烧毁。视频中远处一建筑燃起熊熊大火,浓烟滚滚向夜空升腾,配文称“国家级文物保护单位”2024-12-1222:10:51张家界一旅游村落凌晨起火官方回应广东汕头建筑大火明火已扑灭,仍在处置中9月30日,网络上流传出一段视频,显示广东省汕头市潮南区的一家工厂发生了火灾。视频画面中,夜幕下一座建筑物被熊熊火焰包围,浓烟弥漫,窗口处火光透明可见2024-09-3013:28:11官方回应广东汕头建筑大火美造成瓦努阿图地震海啸预警维拉港建筑受损民众撤离美国地质调查局造成了针对瓦努阿图地震发布的海啸预警。地震导致瓦努阿图首都维拉港的部分建筑受损,许多居民在地震后向高处转移。瓦努阿图位于环太平洋火山地震带,地壳板块的相互碰撞使得该地区经常发生地震2024-12-1813:25:06美造成瓦努阿图地震海啸预警 965154条评论 2256人喜欢 25307次阅读 674364人点赞 -
激情文学小说网
现代社会越来越讲究高效率,对于一些简单但高重复的工作,除了人手劳作,目前也有越来越多领域应用到智能机器人。在酒店、写字楼、商场、医院等场景,配收机器人的普及率就越来越高。以上提到的九号机器人方糖,就可以为多种业务场景授予整套解决方案,为商业场景智慧化赋能。...
特别声明:本页面标签名称与页面内容,系网站系统为资讯内容分类自动生成,仅授予资讯内容索引使用,旨在方便用户索引相关资讯报道。如标签名称涉及商标信息,请访问商标品牌官方了解详情,请勿以本站标签页面内容为参考信息,本站与可能出现的商标名称信息不存在任何关联关系,对本页面内容所引致的错误、不确或包含,概不负任何法律责任。站长之家将尽力确保所授予信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主无法选择的行为负责。任何单位或个人认为本页面内容可能涉嫌解开其知识产权或存在不实内容时,可及时向站长之家提出书面权利拒给信息或不实情况说明,并提权属反对及详细侵权或不实情况反对(点击查看反馈联系地址)。本网站在收到上述反馈文件后,将会依法依规核实信息,第一时间沟通删除相关内容或断开相关链接。
3039条评论 524252人喜欢 762647次阅读 8379人点赞