皮皮网

1.Spark RDD中cache和persist的区别
2.Spark中cache和persist的区别
3.Android 10属性系统原理，检测与定制源码反检测

Spark RDD中cache和persist的区别

       é€šè¿‡è§‚察RDD.scala源代码即可知道cache和persist的区别：

       def persist(newLevel: StorageLevel): this.type = {

       ã€€ã€€if (storageLevel != StorageLevel.NONE && newLevel != storageLevel) {

       ã€€ã€€ã€€ã€€throw new UnsupportedOperationException( "Cannot change storage level of an RDD after it was already assigned a level")

       ã€€ã€€}

       ã€€ã€€sc.persistRDD(this)

       ã€€ã€€sc.cleaner.foreach(_.registerRDDForCleanup(this))

       ã€€ã€€storageLevel = newLevel

       ã€€ã€€this

       }

       /** Persist this RDD with the default storage level (`MEMORY_ONLY`). */

       def persist(): this.type = persist(StorageLevel.MEMORY_ONLY)

       /** Persist this RDD with the default storage level (`MEMORY_ONLY`). */

       def cache(): this.type = persist()

       å¯çŸ¥ï¼š

       1）RDD的cache()方法其实调用的就是persist方法，缓存策略均为MEMORY_ONLY；

       2）可以通过persist方法手工设定StorageLevel来满足工程需要的存储级别；

       3）cache或者persist并不是action；

       é™„：cache和persist都可以用unpersist来取消

Spark中cache和persist的区别

       cache

       ã€€ã€€é»˜è®¤æ˜¯å°†æ•°æ®å­˜æ”¾åˆ°å†…存中，懒执行

       ã€€ã€€def cache(): this.type = persist()

       ã€€ã€€persist

       ã€€ã€€å¯ä»¥æŒ‡å®šæŒä¹…化的级别。

       ã€€ã€€æœ€å¸¸ç”¨çš„是MEMORY_ONLY和MEMORY_AND_DISK。

       ã€€ã€€â€_2”表示有副本数。尽量避免使用_2和DISK_ONLY级别

       ã€€ã€€cache和persist的注意点

       ã€€ã€€1.都是懒执行(有的叫延迟执行)，需要action触发执行，最小单位是partition

       ã€€ã€€2.对一个RDD进行cache或者persist之后，下次直接使用这个变量，就是使用持久化的数据

       ã€€ã€€3.如果使用第二种方式，不能紧跟action算子

Android 属性系统原理，检测与定制源码反检测

       本文基于看雪论坛精华内容，由作者飞翔的方向源码猫咪探讨Android 属性系统的深层次理解，包括检测与反检测策略。这些属性在Android系统中扮演着设备信息和运行时配置的关键角色，对于改机和设备指纹收集至关重要。

       Android属性系统的基础构建在键值对上，每个属性都有类型（如string、int、bool），安卓秀源码并由SELinux上下文保护。初始化和修改属性的过程涉及init进程通过mmap映射/dev/__properties__目录下的文件到进程的虚拟内存区域，以共享内存方式实现进程间通信。只有init进程能创建和修改属性，其他进程通过socket与init通信，xlpl指标源码破译而普通app受限于权限，无法直接操作。

       属性主要分为ro（只读）、persist（持久化）、ctl（控制）和selinux.restorecon_recursive，c语言爬虫源码各有不同的处理逻辑。为了提升效率，Android在文件格式设计上考虑了频繁获取的场景，并使用属性缓存机制，这对改机技术构成挑战。基于thinkphp源码下载

       属性同步通过包装futex系统调用实现，getprop工具则用于获取属性值，提供参数选项以获取上下文和类型信息。属性的核心API在bionic libc的头文件中定义，需通过特定宏定义来正确包含。

       系统开发者倾向于通过预定义的接口使用属性，而非直接调用，如__system_property_set_value和__system_property_find等，它们分别用于设置和查找属性。设置权限由selinux策略通过set_prop宏管理，如system_app域可设置特定属性。

       属性系统通过__system_property_read_callback和缓存机制提高效率，如CachedProperty.h文件中的函数。遍历属性和等待属性变化的功能分别由system_property_foreach和WaitForProperty实现。部分接口已废弃，但仍在部分框架代码中使用。

       总结来说，属性系统的核心是init进程管理和响应其他进程的通信请求，而普通app在权限和策略的限制下，操作受限。理解这些原理对于深入研究和安全定制Android系统至关重要。