皮皮网

1.做软著软件的提交提交的源代码鉴定是原创的吗?
2.源码详解系列(四) ------ DBCP2的使用和分析（包括JNDI和JTA支持）已停更
3.PostgreSQL · 源码分析 · 回放分析（一）
4.HTTP服务器的本质:tinyhttpd源码分析及拓展
5.MySQL XA事务源码分析
6.怎样交源代码给老师？

做软著软件的提交的源代码鉴定是原创的吗?

       在办理软件著作权登记时，版权局只进行形式审查，源码源码而不是分析分析实质审查。版权局关注的提交是提交的源代码是否符合登记的形式要件，如每页程序是源码源码否达到一定行数，代码中的分析分析怎么编辑反源码版权声明是否归于提交者，软件版本号是提交否明确，并能提供证据证明前一版本也是源码源码提交者所有或已授权给提交者。版权局不负责鉴别代码的分析分析原创性。

       实际情况是提交，提交源代码进行登记的源码源码人往往不会提交核心代码，因为这没有必要。分析分析只要形式符合要求，提交提交的源码源码代码就能完成登记。部分人会提交公有领域代码、分析分析开源代码或前端可见的网页代码来糊弄登记，这种行为被形象地称为“保护技术秘密”。但另一方面，这也会导致自己在遇到软件著作权纠纷时难以证明代码的所有权。

       申请软件著作权登记，主要目的是为了在法律层面获得初步确权证明，公示权利归属。此外，它在商业上也带来一系列利益，如软件的重点保护依据、税收优惠、技术出资入股的依据、申请科技成果的依据以及取得“双软认证”的前提。中国版权保护中心负责形式审查，不会深入研究提交的代码是否为核心代码。申请时，电调程序源码应提交源程序和说明文档。选择一般交存方式的，应提交源程序和文档的特定页面，其中源程序每页不少于行，文档每页不少于行。对于核心代码，可以采用例外交存的方式进行部分遮盖。

       提交核心代码有利有弊。有利之处在于，如果在软件著作权侵权诉讼中需要证明代码的所有权，且由于其他原因导致无法提供其他证据时，可以申请法院调取登记时提交的核心代码作为证据。然而，如果在被控侵犯软件著作权时，不想提交源代码，一旦法院调取了登记时提交的代码，这可能会成为核心代码，不利于保护商业秘密或避免诉讼中因代码泄露而遭受不利影响。

       综上所述，提交核心代码是一个需要权衡利弊的决定。在法律层面，确权和公示权利归属是登记的主要作用，而在商业应用中，它为软件提供了更多保护。然而，提交核心代码也可能带来潜在风险，如在诉讼中被对方发现并利用。因此，企业在决定是否提交核心代码时，应充分考虑自身利益和风险控制策略。仿活动行源码

源码详解系列(四) ------ DBCP2的使用和分析（包括JNDI和JTA支持）已停更

       DBCP是一个用于创建和管理数据库连接的工具，通过连接池复用连接以减少资源消耗。它具备连接数控制、连接有效性检测、连接泄露控制和缓存语句等功能。Tomcat内置连接池、Spring团队推荐使用DBCP，阿里巴巴的druid也是基于DBCP开发的。

       DBCP支持通过JNDI获取数据源，并且可以获取JTA或XA事务中的连接对象，用于两阶段提交（2PC）的事务处理。本篇文章将通过例子来解释如何使用DBCP。

       以下是文章的详细内容：

       使用例子需求

       本例将展示如何使用DBCP连接池获取连接对象，并进行基本的增删改查操作。

       工程环境

       JDK：1.8.0_

       maven：3.6.1

       IDE：eclipse 4.

       mysql-connector-java：8.0.

       mysql：5.7.

       DBCP：2.6.0

       主要步骤

       创建Maven项目，打包方式为war（war也可以是jar，这里选择war是为了测试JNDI功能）。

       引入DBCP相关依赖。

       在resources目录下创建dbcp.properties文件，配置数据库连接参数及连接池基本参数。

       编写JDBCUtils类，实现初始化连接池、获取连接、管理事务和资源释放等功能。

       创建测试类，实现基本的增删改查操作。

       配置文件详解

       dbcp.properties文件包含数据库连接参数和连接池基本参数，如数据库URL、用户名、密码、培训选课系统源码连接池大小等。其中，数据库URL后面添加了参数以避免乱码和时区问题。建议根据项目需求调整参数设置。

       基本连接属性

       数据库URL

       用户名

       密码

       连接池大小

       缓存语句（在MySQL下建议关闭）

       连接检查参数（建议开启testWhileIdle，避免性能影响）

       事务相关参数（通常使用默认设置）

       连接泄漏回收参数

       其他参数（较少使用）

       源码分析

       DBCP主要涉及以下几个类：

       BasicDataSource：提供基本的数据库操作数据源。

       BasicManagedDataSource：BasicDataSource的子类，用于创建支持XA事务或JTA事务的连接。

       PoolingDataSource：BasicDataSource中实际调用的数据源，用于管理连接。

       ManagedDataSource：PoolingDataSource的子类，用于支持XA事务或JTA事务的连接。

       使用DBCP连接池创建连接时，首先创建BasicDataSource对象，初始化配置参数。然后从连接池中获取连接。连接获取过程涉及到数据源和连接池的创建，连接对象的包装和回收。

       通过JNDI获取数据源对象需求

       使用JNDI获取DBCP数据源对象，以PerUserPoolDataSource和SharedPoolDataSource为例。为了在tomcat容器中测试，需要配置JNDI上下文。

       引入依赖

       引入JNDI相关的依赖。

       编写context.xml文件，配置JNDI上下文。

       在web.xml中配置资源引用，将JNDI对象与web应用绑定。

       测试结果

       打包项目并部署到tomcat上运行，通过访问指定的jsp页面，验证JNDI获取数据源对象的源码输出无功放正确性。

       使用DBCP测试两阶段提交

       介绍如何使用DBCP实现JTA事务的两阶段提交（2PC）。使用DBCP的BasicManagedDataSource类支持事务处理。通过测试代码验证了2PC的正确性。

       以上内容涵盖了DBCP的使用、配置、源码分析、JNDI集成以及两阶段提交的实现，为开发者提供了全面的参考。

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，可能遇到非预期问题，如断电、崩溃。这些情况可能导致数据异常或丢失，影响业务。为了在数据库重启时恢复到崩溃前状态，确保数据一致性和完整性，我们引入了WAL（Write-Ahead Logging）机制。WAL记录数据库事务执行过程，当数据库崩溃时，利用这些记录恢复至崩溃前状态。

       WAL通过REDO和UNDO日志实现崩溃恢复。REDO允许对数据进行修改，UNDO则撤销修改。REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，回滚中断事务，恢复数据库一致性。ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，同时清理旧日志文件。WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，加快数据页面更新，提高重启恢复速度。在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、索引、序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。

HTTP服务器的本质:tinymit 流程

       省流版

       与外部 XA PREPARE 2PC 的不同

       与外部 XA COMMIT 的不同

       详细版：

       ------------------- PREPARE START -------------------------

       ------------------- PREPARE END -------------------------

       ------------------- COMMIT START -------------------------

       ------------------- COMMIT END -------------------------

       外部 XA ROLLBACK 流程

       省流版（Not Prepared Rollback 和 Prepared Rollback 的不同之处）

       详细版

       Not Prepared Rollback（在 end - prepare 之间 rollback）

       Prepared Rollback（在 prepare 之后 rollback）

       外部 XA RECOVERY 流程

       省流版

       详细版

       本地事务 RECOVERY 流程

       省流版

       详细版

       为什么只遍历最后一个binlog文件：

       rotate 到新的 binlog 文件前，redo log 强制落盘，因此redo commit记录会落盘，保证老的binlog文件没有正在提交的事务

怎样交源代码给老师？

       如果您想申请嵌入式软件著作权，您需要在申请软件著作权的时候提交软件的源代码、文档和说明等材料。对于嵌入式软件，由于它通常是嵌入到硬件设备中的，因此可能会存在以下情况：嵌入式软件的源代码无法直接提取。这种情况下，您需要提交可执行文件以及软件的文档和说明等材料，以便专业人员进行代码鉴定。嵌入式软件的源代码可以提取，但存在保密需求。这种情况下，您可以考虑在申请软件著作权之前与专业的知识产权代理机构或律师联系，以制定相应的保密方案并签署保密协议。嵌入式软件的源代码可以提取且无保密需求。这种情况下，您可以直接将源代码提交给软件著作权登记机构，同时附上软件的文档和说明等材料。需要注意的是，无论嵌入式软件的情况如何，您都需要确保您的软件满足软件著作权的申请条件，并遵循软件著作权的相关规定和要求。如果您对软件著作权的申请流程和要求有疑问，建议您咨询专业的知识产权代理机构或律师，以获得更准确的意见和建议。

Spark-Submit 源码剖析

       直奔主题吧：

       常规Spark提交任务脚本如下：

       其中几个关键的参数：

       再看下cluster.conf配置参数，如下：

       spark-submit提交一个job到spark集群中，大致的经历三个过程：

       代码总Main入口如下：

       Main支持两种模式CLI：SparkSubmit；SparkClass

       首先是checkArgument做参数校验

       而sparksubmit则是通过buildCommand来创建

       buildCommand核心是AbstractCommandBuilder类

       继续往下剥洋葱AbstractCommandBuilder如下：

       定义Spark命令创建的方法一个抽象类,SparkSubmitCommandBuilder刚好是实现类如下

       SparkSubmit种类可以分为以上6种。SparkSubmitCommandBuilder有两个构造方法有参数和无参数：

       有参数中根据参数传入拆分三种方式，然后通过OptionParser解析Args，构造参数创建对象后核心方法是通过buildCommand，而buildCommand又是通过buildSparkSubmitCommand来生成具体提交。

       buildSparkSubmitCommand会返回List的命令集合，分为两个部分去创建此List,

       第一个如下加入Driver_memory参数

       第二个是通过buildSparkSubmitArgs方法构建的具体参数是MASTER，DEPLOY_MODE，FILES，CLASS等等，这些就和我们上面截图中是对应上的。是通过OptionParser方式获取到。

       那么到这里的话buildCommand就生成了一个完成sparksubmit参数的命令List

       而生成命令之后执行的任务开启点在org.apache.spark.deploy.SparkSubmit.scala

       继续往下剥洋葱SparkSubmit.scala代码入口如下：

       SparkSubmit，kill，request都支持，后两个方法知识支持standalone和Mesos集群方式下。dosubmit作为函数入口，其中第一步是初始化LOG，然后初始化解析参数涉及到类

       SparkSubmitArguments作为参数初始化类，继承SparkSubmitArgumentsParser类

       其中env是测试用的,参数解析如下，parse方法继承了SparkSubmitArgumentsParser解析函数查找 args 中设置的--选项和值并解析为 name 和 value ，如 --master yarn-client 会被解析为值为 --master 的 name 和值为 yarn-client 的 value 。

       这之后调用SparkSubmitArguments#handle(MASTER, "yarn-client")进行处理。

       这个函数也很简单，根据参数 opt 及 value，设置各个成员的值。接上例，parse 中调用 handle("--master", "yarn-client")后，在 handle 函数中，master 成员将被赋值为 yarn-client。

       回到SparkSubmit.scala通过SparkSubmitArguments生成了args，然后调用action来匹配动作是submit,kill,request_status,print_version。

       直接看submit的action，doRunMain执行入口

       其中prepareSubmitEnvironment初始化环境变量该方法返回一个四元 Tuple ，分别表示子进程参数、子进程 classpath 列表、系统属性 map 、子进程 main 方法。完成了提交环境的准备工作之后，接下来就将启动子进程。

       runMain则是执行入口，入参则是执行参数SparkSubmitArguments

       Main执行非常的简单：几个核心步骤

       先是打印一串日志（可忽略），然后是创建了loader是把依赖包jar全部导入到项目中

       然后是MainClass的生成，异常处理是ClassNotFoundException和NoClassDeffoundError

       再者是生成Application，根据MainClass生成APP,最后调用start执行

       具体执行是SparkApplication.scala，那么继续往下剥~

       仔细阅读下SparkApplication还是挺深的，所以打算另外写篇继续深入研读~