1.ROS开源项目：（一）中文语音交互系统ROSECHO （二）教学级别无人车Tianracer
2.LLM优化：开源星火13B显卡及内存占用优化
3.有什么关于 Spark 的星火星火下载书推荐？

ROS开源项目：（一）中文语音交互系统ROSECHO （二）教学级别无人车Tianracer

       开发之路永无止境，往往在最后期限的设计设计白板上写着的计划，往往只是源码源码一份空想。年初时，星火星火下载我定下了两个目标，设计设计计划在年末完成，源码源码Xmpp ios 源码然而时间在拖延中流逝，星火星火下载直到如今，设计设计我才发现，源码源码真正的星火星火下载开源精神并非一个人的单打独斗，而是设计设计众人协作的火焰。

       记得一年前，源码源码我四处奔波，星火星火下载从开源社区汲取养分，设计设计同时也渴望贡献出自己的源码源码力量。然而，回顾过去，我却发现并没有做出任何贡献。这次，我希望能够集结各路伙伴，如果有志于参与开源项目，我们能共同打造一个GitHub上的百星、千星项目。几位资深程序员已经搭建好了基础，硬件改进较多，但程序完善程度未达预期。我们期望有更多的年轻朋友加入我们，与我们一起学习软件的版本控制、代码规范和团队协作，共同完成复杂的机器人项目，实现成长与蜕变。

       （一）中文语音交互系统ROSECHO

       ROSECHO的GitHub源码库已准备好，欢迎先star再深入阅读。此代码遵循BSD开源协议。

       详细中文介绍文档

       面对智能音箱市场，许多人或许会质疑我们的大气公司整站源码团队为何要涉足这个领域。然而，故事并非如此简单。在年，我们计划为一个大型展厅打造讲解机器人，采用流行于Android系统的接待引导机器人，其语音交互功能本无问题，但当时的挑战在于，尚未有集成cartographer在数千平米展厅中进行建图导航的方案。因此，我们决定打造一款完全基于ROS的讲解机器人。市场上虽然有众多智能音箱，但缺乏适用于ROS二次开发的产品。在科大讯飞一位大佬的介绍下，我们选择了AIUI方案，虽然开发难度大，但高度定制化，非常适合我们这样的开发团队。于是，我们主要任务转变为开发一款能够在ROS下驱动的智能音箱，ROSECHO便由此诞生。

       第一版智能音箱在年4月问世，包含W的大喇叭、6环麦克风，以及ROS主控制器，下方控制了一个云迹科技的水滴底盘。了解过ROS星火计划进阶课程的朋友大概知道，课程中的大作业之一是语音命令移动机器人端茶倒水，而我们的任务相当于完成了一个加强版的大作业。

       整个机器人在年7月完成，音箱分散到身体各个部分，环麦位于头顶，喇叭置于身体两侧。其他传感器、执行机构、决策、网站变成iapp源码定位导航均基于ROS，定制了条特定问答，调试的机器人在场馆中行走上下坡不抖动，定位准确，7*小时工作稳定。音箱在大机器人上使用效果出色，主要得益于讯飞的降噪和回声消除技术，使得远场对话和全双工对话得以实现。社区中许多小伙伴也尝试了软核解决方案，但由于环境限制较大。于是，我们决定将音箱从大家伙改为普通智能音箱大小，通电即为智能音箱，USB接入ROS后，只需启动launch，即可接收语音识别结果，发送TTS语料，配置网络、接收唤醒角度等。

       这次体验深刻地让我认识到，做大容易做小难。过完春节后，年8月ROS暑期夏令营期间，我们做了N款外壳，测试了M种喇叭，贴了P版外围电路，程序则改动不大。主要是由于时间有限，无法进行更多改进。样品均为手工制作，音质上，7w的喇叭配有一个无源辐射板，对于从森海HD入门的人来说，音质虽有瑕疵，但足以满足日常使用。易语言dos源码

       之前在想法中发布了一个使用视频，大家可参考运行效果。

       ROSECHO基本情况介绍完毕，如何开始呢？

       从零开始：推荐给手中已有讯飞AIUI评估板的小伙伴，记住，评估板而非麦克风降噪板（外观相似，简单区分是评估板售价元，降噪板元）。手头的评估板可通过3.5mm接口连接普通电脑音箱，再准备一根USB转转换头连接评估板DB9接口。后面需要根据实际串口修改udev规则，理论上可配合ROSECHO软件使用。硬件工作量较大，还需包含移动机器人所需机械设计、电气改造等。好处是拥有AIUI后台，可以定制云端语料和技能，但这又是另一个领域的能力，也不是三下五除二能完成的。

       从ROSECHO开始：直接购买ROSECHO，首发的十台会附赠ROS2GO，只需连接自带电源并用USB线连接电脑，配置无线SSID和密码即可。连接方便，我们维护云端语料，人设为智能机器人管家，大家只需关注如何利用识别后的词句控制机器人和进行应答。云端问答AIUI处理，一些自定义问答可在本地程序中处理，务必联网，因为语音识别本身需要网络。具体软件启动和简单demo请查看GitHub软件库的说明。

       然后做什么：要实现智能语音交互功能的移动机器人，需要对ROS中的actionlib非常熟悉。我们提供了简单的座位显示 系统 源码demo，可以控制机器人在turtlebot stage仿真环境中根据语音指令在两点之间移动，也可以根据唤醒方位进行旋转。之后还需增加音箱的TF变换。

       大机器人中的状态机采用层次状态机（Hierarchical state machines），适用于移动机器人的编程，框架准备开源，方便大家开发自己的智能移动机器人策略。参考下面链接，希望深入了解也可以购买译本，肯定是比ROS By Example中的Smach状态机更适合商用级产品开发。

       还计划做一套简单的语音遥控指令集，机器人问答库，在iflyos中构建适合机器人的技能库。何时能完成尚不确定，大家一起加油！

       （二）教学级别无人车Tianracer

       GitHub源码库已准备就绪，欢迎先star再深入阅读。遵循Hypha Racecar的GPLv3协议。

       这是最近更新的详细使用手册。相比ROSECHO，Tianracer的基本功能均已完成，至少可以拿来学习建图导航，了解SLAM。

       Tianracer是一个经过长时间准备的开源项目，年从林浩鋕手中接过Hypha Racecar后，希望将项目发扬光大。这两年改进了软件框架、周边硬件、机械结构，并增加了新的建图算法，但仍有大量工作待完成。这两个月在知乎想法和微信朋友圈分享了项目的进展，经历了多次迭代，现在大致分为入门、标准、高配三个版本。三个版本的软件统一，可通过环境变量更改设置。

       最近整个项目从Tianbot Racecar更名为TianRacer，经过长时间探索，终于实现了合理的传感器与处理器配置。相比Hypha Racecar，处理器从Odroid XU4更改为NVIDIA在上半年推出的Jetson Nano，车前方增加了广角摄像头，利用Nano的深度学习加速，可以接近实时处理图像数据。相比之前的单线激光，广角摄像头大大扩展了后续可实现的功能。

       TianRacer基本使用Python编写，从底层驱动到遥控等，目的是方便大家学习和二次开发。同时集成了cartographer和vins-fusion启动文件，可以尝试新的激光与视觉SLAM，基于Nano的深度学习物体识别等也是可以直接运行的。但目前功能尚未有机整合。

       从零开始搭建：TianRacer搭建可能难度较大，不仅需要RC竞速车的老玩家进行机械电子改装，还需要对ROS熟悉并修改软件以进行适配，同时可能需要嵌入式程序员的帮助。对于主要关心搭建的朋友，可以参考小林的Hypha Racecar和JetRacer Tamiya版本的搭建指南。

       从TianRacer开始：这批开发版本的无人竞速车附赠搭好环境的ROS2GO，TianRacer本身有开机自启功能，利用ROS2GO加上USB线对车体进行网络配置，就可以远程编程和调试。仔细参考提供的TianRacer看云文档（文档积极更新），大部分车体自带的功能都可以实现，包括但不限于建图、定位、导航、识别等。

       然后做什么：利用TianRacer学习无人车的基础框架，还可以通过JupyterLab学习Jetson Nano的深度学习算法。未来计划将交通标识识别、行人和车辆检测、车道线检测等无人车基础功能融合，但不确定Jetson Nano的算力是否足够。目标是在校园内进行低成本的无人车竞速比赛，希望像CMU的Mobot室外巡线比赛一样持续发展，至今已举办届。

       这个视频是搬运自YouTube。大家可深入了解非结构环境下的导航。对于不清楚结构化环境与非结构化环境的朋友，CMU和恩智浦的比赛完美诠释了两者之间的区别。

       一起来玩耍吧！

       在开源社区协作方面，我们也是第一次尝试，对于松散的协同开发经验不足，希望参与或组织过大型开源项目的朋友们加入我们，一起努力。有兴趣的朋友可以留言或私信。

       前几日与朋友们闲聊时，想起几年前高翔博士赞助一锅粥（orb-ygz-slam）1万元时，我也只能提供支持。这次真心希望可以贡献出代码，实现实实在在的贡献。

       年年底发布了开发者申请价格，但数量有限，早已连送带卖售罄。年又有几十位爱好者填写了问卷，忘记查阅。每年的双十一双十二我们都会有优惠活动，感谢大家的关注。

LLM优化：开源星火B显卡及内存占用优化

       本qiang近期接手了一个任务，旨在部署多个开源模型，并对比本地全量微调的模型与开源模型的性能表现。参与的开源模型包括星火B、Baichuan2-B、ChatGLM6B等。其他模型基于transformers架构，启动服务流畅，然而星火B基于Megatron-DeepSpeed框架实现，启动过程发现显卡占用量高达G-G，超出预期。本文主要围绕开源星火B的显存及内存使用优化进行整理与讨论。

       直观分析，星火B模型使用bf数据类型，预计显存占用为G左右，实际却高达G+，这解释了为什么星火开源模型讨论较少。穷人家的孩子，哪里有充足的显存资源。在排查原因时，需要对源码进行调试与分析。在启动推理服务的脚本run_iFlytekSpark_text_generation.py中，model_provider方法用于初始化模型并加载模型文件。在加载权重文件时，直接将权重文件加载至显卡，而非先加载至CPU再转移到GPU，这可能是优化点之一。

       深入源码，发现星火B模型的初始化过程中，包括Embedding层、线性转换层等的权重weight直接分配在GPU上运行。为优化此过程，可以调整模型初始化策略。通过在启动推理服务的脚本中加入参数" use_cpu_initialization"，模型初始化时可以先将权重加载至CPU，然后进行后续的GPU分配和转换。在加载模型文件时，先加载至CPU，避免直接在GPU上运行，加载完成后，利用垃圾回收机制清除CPU上的内存占用。

       实施优化后，显卡占用量从.5G减少至G，内存占用从.5G降低至.1G，效果显著。优化的核心在于使用CPU预加载模型，之后转换至GPU。

       总结而言，本文主要针对开源星火B显存及内存占用过大的问题提供了一种代码优化方法。关键在于调整模型初始化和加载策略，通过先在CPU上预加载模型，再进行GPU分配，有效降低了资源占用。对于遇到类似问题的读者，建议参考本文提供的优化思路。

有什么关于 Spark 的书推荐？

       《大数据Spark企业级实战》本书共包括章，每章的主要内容如下。

       第一章回答了为什么大型数据处理平台都要选择SPARK。为什么spark如此之快?星火的理论基础是什么?spark如何使用专门的技术堆栈来解决大规模数据处理的需要?第二章回答了如何从头构建Hadoop集群的问题。如何构建基于Hadoop集群的星火集群?如何测试火星的质量?第三章是如何在一个集成开发环境中开发和运行星火计划。如何开发和测试IDA中的spark代码?

       在这4章中，RDD、RDD和spark集成战斗用例API的作用类型将用于实际的战斗RDD。

第四章分析了星火独立模式的设计与实现、星火集群模型和星火客户端模式。

第五章首先介绍了spark core，然后通过对源代码的分析，分析了spark的源代码和源代码，仔细分析了spark工作的整个生命周期，最后分享了spark性能优化的内容。

       这说明了一步一步的火花的特点是使用了大约个实际案例，并分析了spark GraphX的源代码。

第八章，在星火SQL实践编程实践的基础上，详细介绍了星火SQL的内容。第九章讲了从快速启动机器学习前9章,MLlib的分析框架,基于线性回归、聚类,并解决协同过滤算法,源代码分析和案例启示MLlib一步一步,最后由基本MLlib意味着静态和朴素贝叶斯算法,决策树分析和实践,进一步提高的主要引发机器学习技巧。第十章详细描述了分布式存储文件系统、超轻粒子和超轻粒子的设计、实现、部署和使用。第十一章主要介绍了火花流的原理、源代码和实际情况。第十二章介绍了spark多语种编程的特点，并通过实例介绍了spark多语言编程。最后，将一个综合的例子应用到spark多语言编程的实践中。第十三章首先介绍了R语言的基本介绍和实践操作，介绍了使用sparkr和编码的火花，并帮助您快速使用R语言和数据处理能力。在第十四章中，详细介绍了电火花放电的常见问题及其调谐方法。首先介绍了个问题，并对它们的解决方案进行了优化。然后，从内存优化、RDD分区、对象和操作性能优化等方面对常见性能优化问题进行了阐述，最后阐述了火花的最佳实践。

       附录从spark的角度解释了Scala，并详细解释了Scala函数编程和面向对象编程。