1.在TitanIDE使用华为Modelarts有多方便
2.(三十八)通俗易懂理解——MXNet如何生成.lst文件和.rec文件
3.GTX 1080 + macOS10.13.2 + MXNet
4.制作MXNET数据集
在TitanIDE使用华为Modelarts有多方便
华为的源码ModelArts作为一站式AI开发平台,致力于降低AI开发与使用门槛,安装用户可快速创建与部署模型,源码管理全周期AI工作流。安装它提供了数据预处理与半自动化标注、源码大规模分布式训练、安装php破解源码自动化模型生成及端-边-云模型按需部署能力,源码满足不同层次的安装AI开发需求。
从技术角度看,源码ModelArts底层支持各种异构计算资源,安装开发者可灵活选择,源码无需关注底层技术细节。安装同时,源码它支持TensorFlow、安装MXNet等主流AI开发框架,源码以及开发者自研算法框架,怎么读js源码提供极大便利。
然而,ModelArts在安装与使用中确实存在挑战,安装过程可能相对复杂,对初学者来说可能遇到困难,安装时间也可能较长。这些可能影响用户体验与对平台评价。
最近,TitanIDE已在其模版市场上线ModelArts,为云原生开发工具爱好者提供了便捷途径。TitanIDE安装教程可在其官网获取。
安装TitanIDE后,用户在模板市场可直接找到ModelArts,创建项目,输入名称,庄家尾盘指标源码选择MNIST手写数字识别,一分钟内即可完成安装,实现即装即用。
TitanIDE官方提供了详细教程与可直接运行的项目源代码,用户可根据需求进行修改。
在TitanIDE中使用ModelArts体验出色,响应速度快,配置流程流畅,简化了开发过程。ModelArts模板与TitanIDE集成无缝,自动完成配置,无需繁琐手动设置。
使用中,ModelArts响应速度快,快速完成数据加载、营养类app源码模型运行与训练,实时显示开发进展,节省等待时间,让开发者专注于算法与模型设计。
TitanIDE与ModelArts结合提供丰富开发功能与海量数据资源,支持复杂AI任务,带来便捷高效开发体验。TitanIDE与ModelArts不断优化升级,未来体验将更出色。
(三十八)通俗易懂理解——MXNet如何生成.lst文件和.rec文件
在MXNet中进行图像项目的处理时,图像读取方法有两路:一是通过.rec格式,虽然文件稳定可移植,但文件较大占用空间;二是利用.lst文件与图像结合,lst文件记录路径和标签,便于数据管理,源码涵盖的技巧但对图像格式要求高,且对文件路径的完整性敏感。对于分类和目标检测,流程略有差异。
首先,从文件结构开始,需在根目录下建立文件夹,如im2rec源码、空的mxrec存放打包文件,以及hot_dog、not_hot_dog等子文件夹。针对分类任务,执行im2rec.py工具,通过参数如`--list`生成lst文件,`--recursive`遍历子目录,`--train_ratio`设置训练与测试的比例,以及指定文件前缀和文件夹路径。打包完成后,就生成了lst和相应的rec、idx文件。
目标检测略有不同,不能直接使用im2rec,如VOC数据集,其xml文件包含了的标注信息。制作lst文件时,需要从xml中提取锚框坐标、id、名称和尺寸等信息,以'\t'分隔。然后,遵循分类的打包流程,将这些信息与图像一起打包成rec文件。
总结来说,MXNet通过lst和rec文件的配合,提供了灵活和稳定的数据管理方式,但需要注意文件格式的兼容性和路径完整性,具体操作根据任务类型(分类或目标检测)进行适当的调整。
GTX + macOS..2 + MXNet
æåæç®ä¹° Tiï¼åç° Ti+æå±åçç»åæ¯Gigabyte AORUS GTX Gaming Boxè´µå¾å¤ï¼ç¹è±«åä¸ï¼è¿æ¯è´ä¹°äºï¼å¦¥å¦¥å°å¤ç¨ã
Gigabyte AORUS GTX å®æ¹é©±å¨ä¸æ¯æmacOSãæçç³»ç»æ¯macOS..4ï¼æ¥è¿å¾å¤èµæåï¼åç°è§£å³æ¹æ¡æ¯è¾éº»ç¦ï¼éè¦ä½¿ç¨macOS ..3çkextï¼å¦ä¸å¾ï¼
æç»è¿æ¯å°ç³»ç»ä»..4éå°äº..2ãä¸¥æ ¼æç § æ¥éª¤ å®è£ ï¼
å®è£ æååå¨Graphics/DisplaysåNVIDIA Driver Managerå¯æ¥å°å¤ç½®æ¾å¡çä¿¡æ¯ï¼
ç®åæ æ³éè¿pipå®è£ GPUçæ¬çMXNetï¼åªè½éè¿ æºç )å®è£ ï¼
å®è£ 好CUDA9.1åï¼æµè¯GPUï¼
å®è£ 好cuDNN7.0.5ï¼æ建MXNetï¼æåéç¨åºäºMXNetçæµè¯ç¨ä¾éªè¯ä¸ä¸å ï¼
å®è£ è¿ç¨ä¸éè¦æ³¨æçæ¯ï¼
ç¨install_name_toolå°libæåä¿®æ¹ä¸ºæ£ç¡®çå³å¯ï¼
制作MXNET数据集
在MXNet框架中,读取图像主要采用两种方法:一种是处理.rec格式文件,类似于Caffe框架中的LMDB,优点在于文件稳定,移植性强,但在空间占用和数据增删灵活性上存在不足。另一种方式是结合.lst文件与图像,首先在生成.rec文件过程中会同步创建.lst文件,即图像路径与标签对应列表,以此灵活控制训练集与测试集变化,但对图像格式要求严格,且在图像路径变更或删除时可能无法找到对应图像。MXNet提供im2rec.py文件来生成.lst和.rec文件,源码可从官方GitHub下载,具体参数解释详尽,使用时只需指定.lst文件位置、图像文件夹及数据前缀。
使用im2rec.py文件生成.lst和.rec文件的步骤如下:
1. 首先,使用命令行运行im2rec.py,参数包括输出.lst文件位置、文件夹路径和数据前缀,例如:python im2rec.py --list /home/mark7/Downloads/data /home/mark7/Downloads/test_images。这将生成对应.lst文件,格式为:路径与标签的对应列表。
2. 其次,使用已生成的.lst文件和文件夹路径,运行另一条命令生成.rec文件,如:python im2rec.py /home/mark7/Downloads/data /home/mark7/Downloads/test_images,这将完成.rec文件的生成。
在自定义数据集时,需自行制作.lst文件。一种常用工具是labelme,其生成的标签文件可通过Python的json处理模块读取,获取标注数据。MXNet要求lst文件格式固定,需参照官方文档理解具体意义。在处理标注数据后,可自动生成lst文件,如使用python处理后的json文件内容制作lst文件,再使用im2rec.py生成.rec文件。最终,通过调用MXNet函数,即可利用自定义的rec、lst和inx文件进行模型训练。