1.李宏毅2023机器学习作业HW04解析和代码分享
李宏毅2023机器学习作业HW04解析和代码分享
MLSpring - HW4 相关信息:课程主页、金融金融课程视频、源码Kaggle链接、金融金融Sample代码、源码netfilter 源码GitHub、金融金融Gitee、源码GitCode。金融金融即便Kaggle截止时间已过,源码你仍可在其上提交并查看分数。金融金融但需注意,源码应于截止前选择两个结果进行最后的金融金融花式台球源码Private评分。每年数据集大小与特性虽有细微差别,源码但基本一致,金融金融旧代码适用于新一年的源码作业。
任务目标:多类分类,金融金融性能指标:分类准确度。android 声控 源码
数据解析:数据来自VoxCeleb2子集,随机选取了个演讲者。
基线:简单基线(0.),中等基线(0.),在total_steps=时,codeplex 下载源码public_score达到0.。简单参考Optuna进行模型自动调参。
强基线(0.)、Boss基线(0.)。未在PDF中给出Boss基线具体分数,delphi access 源码分数来源于Kaggle。模块未显著提升效果,代码中使用全局变量决定是否使用,欢迎大家提出改进意见。
消融研究:Self-Attention Pooling与AMSoftmax在epoch=,下的实验。AMSoftmax接受pred_layer输出,尝试接受encoder输出并重新训练全连接层,但效果不佳,可能为代码问题。
成绩:使用Transformers变体完成Strong基线的提示是转变为Conformer。简单介绍了其模型架构,推荐Pytorch版本源代码。架构包括:SpecAug、Convolution Subsampling、Linear & Dropout、Conformer Block。每个Module使用了残差连接。