皮皮网

1.ForkjoinPool -1
2.Linux进程和线程的基础与管理
3.哪里能够买到商用的django项目源码(2023年最新整理)
4.ThreadX系列 | 最新v6.1.6版本在MDK中的移植方法

ForkjoinPool -1

        ForkJoin是用于并行执行任务的框架， 是一个把大任务分割成若干个小任务，最终汇总每个小任务结果后得到大任务结果的框架。Fork就是把一个大任务切分为若干子任务并行的执行，Join就是合并这些子任务的执行结果，最后得到这个大任务的结果。

        下面是一个是一个简单的Join/Fork计算过程，将1—数字相加

        通常这样个模型，你们会想到什么？

        Release Framework ？ 常见的处理模型是什么？ task pool - worker pool的模型。 但是Forkjoinpool 采取了完全不同的模型。

        ForkJoinPool一种ExecutorService的实现，运行ForkJoinTask任务。ForkJoinPool区别于其它ExecutorService，主要是因为它采用了一种工作窃取(work-stealing)的机制。所有被ForkJoinPool管理的线程尝试窃取提交到池子里的任务来执行，执行中又可产生子任务提交到池子中。

        ForkJoinPool维护了一个WorkQueue的数组(数组长度是2的整数次方，自动增长)。每个workQueue都有任务队列(ForkJoinTask的数组)，并且用base、top指向任务队列队尾和队头。work-stealing机制就是工作线程挨个扫描任务队列，如果队列不为空则取队尾的任务并执行。示意图如下

        流程图：

        pool属性

        workQueues是pool的属性，它是WorkQueue类型的数组。externalPush和externalSubmit所创建的workQueue没有owner(即不是worker)，且会被放到workQueues的偶数位置；而createWorker创建的workQueue（即worker）有owner，且会被放到workQueues的奇数位置。

        WorkQueue的几个重要成员变量说明如下：

        这是WorkQueue的config，高位跟pool的config值保持一致，而低位则是workQueue在workQueues数组的位置。

        从workQueues属性的介绍中，我们知道，不是所有workQueue都有worker，没有worker的workQueue称为公共队列（shared queue），config的第位就是用来判断是否是公共队列的。在externalSubmit创建工作队列时，有：

        q.config = k | SHARED_QUEUE;

        其中q是新创建的workQueue，k就是q在workQueues数组中的位置，SHARED_QUEUE=1<<，注意这里config没有保留mode的信息。

        而在registerWorker中，则是这样给workQueue的config赋值的：

        w.config = i | mode;

        w是新创建的workQueue，i是其在workQueues数组中的位置，没有设置SHARED_QUEUE标记位

        scanState是workQueue的属性，是int类型的。scanState的低位可以用来定位当前worker处于workQueues数组的哪个位置。每个worker在被创建时会在其构造函数中调用pool的registerWorker，而registerWorker会给scanState赋一个初始值，这个值是奇数，因为worker是由createWorker创建，并会被放到WorkQueues的奇数位置，而createWorker创建worker时会调用registerWorker。

        简言之，worker的scanState初始值是奇数，非worker的scanstate初始值=INACTIVE=1<<，小于0（非worker的workQueue在externalSubmit中创建）。

        当每次调用signalWork（或tryRelease）唤醒worker时，worker的高位就会加1

        另外，scanState<0表示worker未激活，当worker调用runtask执行任务时，scanState会被置为偶数，即设置scanState的最右边一位为0。

        worker休眠时，是这样存储的

        worker的唤醒类似这样：

        在worker休眠的4行伪码中，让ctl的低位的值变为worker.scanState，这样下次就可以通过scanState唤醒该worker。唤醒该worker时，把该worker的preStack设置为ctl低位的值，这样下下次唤醒的worker就是scanState等于该preStack的worker。

        这里通过preStack保存下一个worker，这个worker比当前worker更早地在等待，所以形成一个后进先出的栈。

        runState是int类型的值，控制整个pool的运行状态和生命周期，有下面几个值（可以好几个值同时存在）：

        如果runState值为0，表示pool尚未初始化。

        RSLOCK表示锁定pool，当添加worker和pool终止时，就要使用RSLOCK锁定整个pool。如果由于runState被锁定，导致其他操作等待runState解锁（通常用wait进行等待），当runState设置了RSIGNAL，表示runState解锁，并通知（notifyAll）等待的操作。

        剩下4个值都跟runState生命周期有关，都可以顾名思义：

        当需要停止时，设置runState的STOP值，表示准备关闭，这样其他操作看到这个标记位，就不会继续操作，比如tryAddWorker看到STOP就不会再创建worker：

        而tryTerminate对这些生命周期状态的处理则是这样的：

        当前top和base的初始值为 INITIAL_QUEUE_CAPACITY >>>1= (1 << )>>>1 = /2。然后push一个task之后，top+=1，也就是说，top对应的位置是没有task的，最近push进来的task在top-1的位置。而base的位置则能对应到task，base对应最先放进队列的task，top-1对应最后放进队列的task。

        qlock值含义：1: locked, < 0: terminate; else 0

        即当qlock值位0时，可以正常操作，值=1时，表示锁定

        int SQMASK=0xe，则任何整数跟SQMASK位与后，得到的数就是偶数。

        证明：

        注意这里化为二进制是 ，尤其注意最右边第一位是0，任何数跟最右边第一位是0的数位与后，得到的数就是偶数，因为位与之后，第一位就是0，比如s=A&SQMASK，A可以是任意整数，然后把s按二进制进行多项式展开，则有s=2 n1+2 n2 ……+2^nn，这里n≥1，所以s可以被2整除，即s是偶数。

        所以一个数是奇数还是偶数，看其最右边第一位即可。

        我们知道workQueue有externalPush创建的和createWorker创建的worker，两种方式创建的workQueue，其放置到workQueues的位置是不同的，前者放到workQueue的偶数位置，而后者则放到奇数位置。不同workQueue找到自己在workQueues的位置的算法有点不同。

        下面看一下forkjoin框架获取workQueues中的偶数位置的workQueue的算法：

        这样就能获取workQueues的偶数位置的workQueue。m保证m & r & SQMASK这整个运算结果不会超出workQueues的下标，SQMASK保证取到的是偶数位置的workQueue。这里有一个有趣的现象，假设0到workQueues.length-1之间有n个偶数，m & r & SQMASK每次都能取到其中一个偶数，而且连续n次取到的偶数不会出现重复值，散列性非常好。而且是循环的，即1到n次取n个不同偶数，n+1到2n也是取n次不同偶数，此时n个偶数每个都被重新取一次。下面分析下r值有什么秘密，为何能保证这样的散列性

        ThreadLocalRandom内有一常量PROBE_INCREMENT = 0x9eb9，以及一个静态的probeGenerator =new AtomicInteger() ，然后每个线程的probe= probeGenerator.addAndGet(PROBE_INCREMENT)所以第一个线程的probe值是0x9eb9，第二个线程的值就是0x9eb9+0x9eb9，第三个线程的值就是0x9eb9+0x9eb9+0x9eb9以此类推，整个值是线性的，可以用y=kx表示，其中k=0x9eb9，x表示第几个线程。这样每个线程的probe可以保证不一样，而且具有很好的离散性。

        实际上，可以不用0x9eb9这个值，用任意一个奇数都是可以的，比如1。如果用1的话，probe+=1，这样每个线程的probe就都是不同的，而且具有很好的离散性。也就是说，假设有限制条件probe<n，超过n则产生溢出。则probe自加n次后才会开始出现重复值，n次前probe每次自加的值都不同。实际上用任意一个奇数，都可以保证probe自加n次后才会开始出现重复值，有兴趣可看本文最后附录部分。由于奇数的离散性，所以只要线程数小于m或者SQMASK两者中的最小值，则每个线程都能唯一地占据一个ws中的一个位置

        当一个操作是在非ForkjoinThread的线程中进行的，则称该操作为外部操作。比如我们前面执行pool.invoke，invoke内又执行externalPush。由于invoke是在非ForkjoinThread线程中进行的（这里是在main线程中进行），所以是一个外部操作，调用的是externalPush。之后task的执行是通过ForkJoinThread来执行的，所以task中的fork就是内部操作，调用的是push，把任务提交到工作队列。其实fork的实现是类似下面这样的：

        即fork会根据执行自身的线程是否是ForkJoinThread的实例来判断是处于外部还是内部。那为何要区分内外部？

        任何线程都可以使用ForkJoin框架，但是对于非ForkJoinThread的线程，它到底是怎样的，ForkJoin无法控制，也无法对其优化。因此区分出内外部，这样方便ForkJoin框架对任务的执行进行控制和优化

        forkJoinPool.invoke(task)是把任务放入工作队列，并等待任务执行。源码如下

        这里externalPush负责任务提交，externalPush源码如下：

Linux进程和线程的基础与管理

       一．进程的基本概念

       程序是为了完成某种任务而设计的软件，比如vi是程序。什么是进程呢? 进程就是运行中的程序。一个运行着程序，可能有多个进程。比如Web服务器是ts包源码Apache服务器，当管理员启动服务后，可能会有好多人来访问，也就是说许多用户同时请求mand_line()通过命令行参数，创建一个管理类。然后运行他的execute()。

       如果设置了reload，将会在启动前先check_errors。

       check_errors()是个闭包，所以上文结尾是(django.setup)()。

       直接看最后一句settings.INSTALLED_APPS。从settings中抓取app

       注意，这个settings还不是我们项目中的settings.py。而是一个对象，位于django\conf\__init__.py

       这是个Settings类的懒加载封装类，直到__getattr__取值时才开始初始化。taro 源码然后从Settings类的实例中取值。且会讲该值赋值到自己的__dict__上（下次会直接在自己身上找到，因为__getattr__优先级较低）

       为了方便debug，我们直接写个run.py。不用命令行的方式。

       项目下建个run.py，模拟runserver命令

       debug抓一下setting_module

       回到setup()中的最后一句apps.populate(settings.INSTALLED_APPS)

       开始看apps.populate()

       首先看这段

       这些App最后都会封装成为AppConfig。且会装载到self.app_configs字典中

       随后，分别调用每个appConfig的import_models()和ready()方法。

       App的装载部分大体如此

       为了方便debug我们改写下最后一句

       res的类型是Commanddjango.contrib.staticfiles.management.commands.runserver.Commandobjectat0xEDA0

       重点是第二句，让我们跳到run_from_argv()方法，这里对参数进行了若干处理。

       用pycharm点这里的handle会进入基类的方法，无法得到正确的走向。实际上子类Commond重写了这个方法。

       这里分为两种情况，如果是reload重载时，会直接执行inner_run()，而项目启动需要先执行其他逻辑。

       django项目启动时，分组源码实际上会启动两次，如果我们在项目入口(manage.py)中设置个print，会发现它会打印两次。

       第一次启动时，DJANGO_AUTORELOAD_ENV为None，无法进入启动逻辑。会进入restart_with_reloader()。

       在这里会将DJANGO_AUTORELOAD_ENV置为True，随后重启。

       第二次时，可以进入启动逻辑了。

       这里创建了一个django主线程，将inner_run()传入。

       随后本线程通过reloader.run(django_main_thread)，创建一个轮询守护进程。

       我们接下来看django的主线程inner_run()。

       当我们看到wsgi时，django负责的启动逻辑，就此结束了。接下来的springjar源码工作交由wsgi服务器了

       这相当于我们之前在fastapi中说到的，将fastapi的app交由asgi服务器。(asgi也是django提出来的，两者本质同源)

       那么这个wsgi是从哪来的？让我们来稍微回溯下

       这个settings是一个对象，在之前的操作中已经从settings.py配置文件中获得了自身的属性。所以我们只需要去settings.py配置文件中寻找。

       我们来寻找这个get_wsgi_application()。

       它会再次调用setup()，重要的是，返回一个WSGIHandler类的实例。

       这就是wsgiapp本身。

       load_middleware()为构建中间件堆栈，这也是wsgiapp获取setting信息的唯一途径。导入settings.py，生成中间件堆栈。

       如果看过我之前那篇fastapi源码的，应该对中间件堆栈不陌生。

       app入口→中间件堆栈→路由→路由节点→endpoint

       所以，wsgiapp就此构建完毕，服务器传入请求至app入口，即可经过中间件到达路由进行分发。alink源码

去哪里找python的开源项目

       GitHub是一个面向开源及私有软件项目的托管平台，因为只支持git作为唯一的版本库格式进行托管，故名GitHub。作为开源代码库以及版本控制系统，Github拥有超过万开发者用户。随着越来越多的应用程序转移到了云上，Github已经成为了管理软件开发以及发现已有代码的首选方法。在GitHub，用户可以十分轻易地找到海量的开源代码。

       下面给大家介绍一些GitHub上个开源项目：

       （1）TensorFlowModels

       如果你对机器学习和深度学习感兴趣，一定听说过TensorFlow。TensorFlowModels是一个开源存储库，可以找到许多与深度学习相关的库和模型。

       （GitHub：）

       （2）Keras

       Keras是一个高级神经网络API，用Python编写，能够在TensorFlow，CNTK或Theano之上运行。旨在完成深度学习的快速开发（GitHub：）

       （3）Flask

       Flask是一个微型的Python开发的Web框架，基于Werkzeug?WSGI工具箱和Jinja2模板引擎，使用BSD授权。

       （GitHub：）

       （4）scikit-learn

       scikit-learn是一个用于机器学习的Python模块，基于NumPy、SciPy和matplotlib构建。，并遵循BSD许可协议。

       （GitHub：）

       （5）Zulip

       Zulip是一款功能强大的开源群聊应用程序，它结合了实时聊天的即时性和线程对话的生产力优势。Zulip作为一个开源项目，被许多世界强企业，大型组织以及其他需要实时聊天系统的用户选择使用，该系统允许用户每天轻松处理数百或数千条消息。Zulip拥有超过名贡献者，每月合并超过次提交，也是规模最大，发展最快的开源群聊项目。

       （GitHub：）

       ：《Python入门教程》

       （6）Django

       Django是Python编程语言驱动的一个开源模型-视图-控制器（MVC）风格的Web应用程序框架，旨在快速开发出清晰，实用的设计。使用Django，我们在几分钟之内就可以创建高品质、易维护、数据库驱动的应用程序。

       （GitHub：）

       （7）Rebound

       Rebound是一个当你得到编译错误时即时获取StackOverflow结果的命令行工具。就用rebound命令执行你的文件。这对程序员来说方便了不少。

       （GitHub：）

       （8）GoogleImagesDownload

       这是一个命令行python程序，用于搜索GoogleImages上的关键字/关键短语，并可选择将图像下载到您的计算机。你也可以从另一个python文件调用此脚本。

       （GitHub：）

       （9）YouTube-dl

       youtube-dl是基于Python的命令行媒体文件下载工具，完全开源免费跨平台。用户只需使用简单命令并提供在线视频的网页地址即可让程序自动进行嗅探、下载、合并、命名和清理，最终得到已经命名的完整视频文件。

       （GitHub：/rg3/youtube-dl）

       （）SystemDesignPrimer

       此repo是一个系统的资源集合，可帮助你了解如何大规模构建系统。

       （GitHub：）

       （）MaskR-CNN

       MaskR-CNN用于对象检测和分割。这是对Python3，Keras和TensorFlow的MaskR-CNN实现。该模型为图像中对象的每个实例生成边界框和分割蒙版。它基于特FeaturePyramidNetwork（FPN）和ResNetbackbone。

       （GitHub：）

       （）FaceRecognition

       FaceRecognition是一个基于Python的人脸识别库，使用十分简便。这还提供了一个简单的face_recognition命令行工具，可以让您从命令行对图像文件夹进行人脸识别！

       （GitHub：）

       （）snallygaster

       用于扫描HTTP服务器上的机密文件的工具。

       （GitHub：）

       （）Ansible

       Ansible是一个极其简单的IT自动化系统。它可用于配置管理，应用程序部署，云配置，支持远程任务执行和多节点发布-包括通过负载平衡器轻松实现零停机滚动更新等操作。

       （GitHub：）

       （）Detectron

       Detectron是FacebookAI研究院开源的的软件系统，它实现了最先进的目标检测算法，包括MaskR-CNN。它是用Python编写的，由Caffe2深度学习框架提供支持。

       （）asciinema

       终端会话记录器和asciinema.org的最佳搭档。

       （GitHub：）

       （）HTTPie

       HTTPie是一个开源的命令行的HTTP工具包，其目标是使与Web服务的CLI交互尽可能人性化。它提供了一个简单的mon和ports组，选择AC5编译器。

       - 添加必要的.c和.s文件，并配置头文件和ASM路径，确保与STMLRCT6的架构兼容。

       然而，官方提供的tx_initialize_low_level.s试图自动接管处理器启动，这可能会引发一些问题。

二、问题与调整

       官方改动中涉及堆栈设置、向量表重定义和中断接管，这可能导致与STMLRCT6的中断管理冲突。为解决这个问题，我们定制了一个适配文件tx_initialize_low_level_bearpi.S：

       - 删除无用代码，注释掉官方部分，仅保留对STM启动文件中断处理的必要部分。

       接下来，移除HAL库的中断函数，转而使用STM的启动文件，确保中断处理更加精准。

三、应用代码编写

       在application_entry.c中，我们开始编写两个核心任务，它们将运行在创建的线程上：

       void my_thread1_entry(ULONG thread_input) {

        while(1) {

        printf("thread 1 application running...\r\n");

        tx_thread_sleep();

        }

       }

       void my_thread2_entry(ULONG thread_input) {

        while(1) {

        printf("thread 2 application running...\r\n");

        tx_thread_sleep();

        }

       }

       void tx_application_define(void *first_unused_memory) {

        tx_thread_create(&thread1, "thread 1", my_thread1_entry, ...);

        tx_thread_create(&thread2, "thread 2", my_thread2_entry, ..., thread2_stack, THREAD2_STACK_SIZE);

       }

       // 在main.c中启动内核

       void main() {

        printf("启动ThreadX在BearPi IoT Board上");

        tx_kernel_enter();

       }

       完成以上步骤后，将工程编译并下载到开发板，务必关注终端输出，观察任务运行情况。

       注意：移植过程中可能会遇到自定义应用程序入口的编译错误，这是正常现象，只需根据提示调整即可。

       通过以上详细步骤，你将能够成功将ThreadX v6.1.6移植到STMLRCT6，并开始构建你的实时操作系统应用。享受编程的乐趣，让多线程在BearPi IoT板上高效运转！