1.李宏毅2023机器学习作业HW04解析和代码分享

李宏毅2023机器学习作业HW04解析和代码分享

       MLSpring - HW4 相关信息：课程主页、金融金融课程视频、源码Kaggle链接、金融金融Sample代码、源码天启源码GitHub、金融金融Gitee、源码GitCode。金融金融即便Kaggle截止时间已过，源码你仍可在其上提交并查看分数。金融金融但需注意，源码应于截止前选择两个结果进行最后的金融金融填志愿iapp源码Private评分。每年数据集大小与特性虽有细微差别，源码但基本一致，金融金融旧代码适用于新一年的源码作业。

       任务目标：多类分类，金融金融性能指标：分类准确度。红宝书源码怎么用

       数据解析：数据来自VoxCeleb2子集，随机选取了个演讲者。

       基线：简单基线（0.），中等基线（0.），在total_steps=时，app刷会员源码public_score达到0.。简单参考Optuna进行模型自动调参。

       强基线（0.）、Boss基线（0.）。未在PDF中给出Boss基线具体分数，社群裂变系统源码分数来源于Kaggle。模块未显著提升效果，代码中使用全局变量决定是否使用，欢迎大家提出改进意见。

       消融研究：Self-Attention Pooling与AMSoftmax在epoch=,下的实验。AMSoftmax接受pred_layer输出，尝试接受encoder输出并重新训练全连接层，但效果不佳，可能为代码问题。

       成绩：使用Transformers变体完成Strong基线的提示是转变为Conformer。简单介绍了其模型架构，推荐Pytorch版本源代码。架构包括：SpecAug、Convolution Subsampling、Linear & Dropout、Conformer Block。每个Module使用了残差连接。