在线之家-91porn 下载 超越Transformer!MIT等华东说念主团队发布通用时序TimeMixer++架构
你的位置:在线之家 > 俺去了 > 91porn 下载 超越Transformer!MIT等华东说念主团队发布通用时序TimeMixer++架构
91porn 下载 超越Transformer!MIT等华东说念主团队发布通用时序TimeMixer++架构
发布日期:2024-10-30 20:02    点击次数:162

91porn 下载 超越Transformer!MIT等华东说念主团队发布通用时序TimeMixer++架构

剪辑:LRST91porn 下载

【新智元导读】TimeMixer++是一个改进的时候序列分析模子,通过多范例和多分辨率的标准在多个任务上超越了现存模子,展示了时候序列分析的新视角,在预计和分类等任务带来了更高的准确性和纯真性。

在数据运行的期间,时候序列分析成为了好多范围中不成或缺的一部分,比如舒畅预计、医学症状分类、航天器的终点检测、以及传感器数据中缺失数据的填充等等,这些应器具体波及到时候序列预计、分类、终点检测、缺失值填充等任务。

若何使用一个模子,同期胜任总共任务?

近些年来,包括Transformer架构在内的一系列使命,天然在细分任务上展现出色的性能,但由于缺少纯真和通用的时序特征的索求才能,无法成为通用的模子架构。

为了料理这些问题,来自MIT、港科大、浙大以合格里菲斯大学的华东说念主团队兼并推出了一种全新的深度模子架构TimeMixer++,在长程时序预计、短程时序预计、时序分类、终点检测等8项时序任务上的效用全面超越了Transformer等模子,扫尾了通用的时候序列建模和应用。

论文连接:https://arxiv.org/pdf/2410.16032

大伊香蕉人在线观看

TimeMixer++的通用才能成绩于其粗略索求通用的时序特征,针对不同任务,模子自符合地学习了不同的隐空间表征,展现出浩大的纯真度和有用性。

探求动机

论文建议了「时序特征机器」(Time Series Pattern Machine, TSPM)的想法,动作一个能在平庸时序任务中发达出色的模子,必须能索求各式种种的时序特征,以符合任务的要求。

时候序列是从连气儿的履行天下中以不同范例进行采样得到的(如秒、分钟、小时),而不同范例下展现的周期性是不同的。该多范例、多周期性的特点,指令了模子架构的探求。

TimeMixer++

中枢后果

TimeMixer++基于时域(多范例)和频域(多频率/周期)的信息,将每一条时候序列回荡为多分辨率时序图(Multi-Resolution Time Images),并对每一个时序图在深度空间中进行解耦和羼杂,最终索求多范例、多周期的特征。

合座结构

TimeMixer++的结构访佛Transformer,包括了下采样、镶嵌层(Input Projection),L个堆叠的MixerBlocks、和输出层。其中,每个MixerBlock里面,按规则包括了 (1) 多分辨率时候成像,(2) 时序图剖析,(3) 多范例羼杂,和 (4) 多分辨率羼杂。

咱们在此通俗先容MixerBlock内的操作,

1. Multi-Resolution Time Imaging (MRTI):MRTI谨慎凭据频域信息,将时序进行多范例、多周期的折叠,从而得到多组时序图。

2. Time Image Decomposition (TID):TID通过横轴和纵轴两个轴向的安定力机制,从每一个时序图中解耦季节-趋势,得到季节图和趋势图。

3. Multi-Scale Mixing (MCM):MCM谨慎将不同范例上的季节图和趋势图永诀进行羼杂,鉴于图的方法,论文接受了卷积和反卷积的操作。

MCM以季节和趋势羼杂为能源,将季节图由细粒度到粗粒度缓缓团员,并哄骗较粗范例的先验学问深刻挖掘宏不雅趋势信息,最终扫尾昔日信息索求中的多范例羼杂。对趋势图,则接受由粗粒度到细粒度的缓缓团员。

模子后果

为了考证TimeMixer++的性能,作家在包含长程预计,短程预计,时序分类,终点检测,填充,少样本/零样本预计等8个时序主流任务上进行测试。实验扫尾标明,TimeMixer++在多个谈论上全面超越了现时起始进的Transformer模子,具体发达如下:

在长程时序预计中,TimeMixer++在9/12的谈论上超越了近几年的预计模子。

在单变量和多变量的短程预计任务中,TimeMixer++全主义超越了近几年的其他模子。

在缺失值填充当务中,TimeMixer++相同保捏了卓绝上风,在险些总共谈论和数据上超越了其他模子。

在烦嚣的分类任务和终点检测任务中,TimeMixer++照旧在总共模子中赢得了最佳的后果,击败了诸多专为该任务探求的时序模子。

在零样本预计简直立下,TimeMixer++发达赢得了第一,讲明索求到通用的时序特征,而并非成绩于过拟合。

表征分析

通过可视化分析,标明TimeMixer++将时候序列剖析为多组季节图和趋势图,不错从时域和频域两个角度,全主义索求时序的特征。不同范例和频率要求下,季节性和趋势性有显贵各异。

效率分析

TimeMixer++在内存占用和试验时候上发达出高效性,同期保捏了有竞争力的MSE分数。在天气数据填补和ETTm1始终预计任务中,相较于其他模子,具备更低的内存占用和较快的试验时候,且能有用捕捉长程依赖算计。

消融实验

作家进行了消融实验考证TimeMixer++架构的合感性。扫尾标明已有的多组模块探求在绝大部分数据集上皆赢得了最优后果。

回来

本文先容了一种全新的深度模子架构TimeMixer++,在8个时候序列分析任务中全面超越了Transformer等模子,告捷扫尾了通用的时候序列建模与应用。TimeMixer++的改进之处在于将时候序列回荡为图像,并在时域与频域、多范例、多分辨率下进行特征索求,从而提高了模子的发达。

TimeMixer++的告捷不仅为时序分析范围带来了新的念念路91porn 下载,也展示了一种全新的时序通晓视角。改日,跟着更多优化技能和应用场景的引入,征服TimeMixer++将进一步激动时序预计技能的发展,为各行业带来更大的价值。



相关资讯