1.【0基础学爬虫】爬虫基础之抓包工具的码分使用
2.Android 抖音常用反编译工具，抖音API接口数据采集教程
3.python采集京东app端搜索商品数据(2023-11-15)
4.Python 爬虫 | 获取涨停原因
5.APP抓包大全
6.微信小程序反编译

【0基础学爬虫】爬虫基础之抓包工具的码分使用

       在大数据时代，网络爬虫的码分应用日益广泛。为了帮助零基础学习者快速入门爬虫技术，码分本篇将重点介绍抓包工具的码分使用。抓包工具，码分上轨线源码即用于抓取网络数据包信息的码分工具，最初主要应用于测试工作，码分以定位数据传输问题。码分随着技术发展，码分抓包工具的码分功能不断扩展，不仅能拦截、码分解析数据包，码分还能进行重发、码分编辑、码分替换等操作。对于爬虫开发者而言，理解和掌握目标网站交互中的数据传输过程至关重要，因此，熟悉抓包工具的使用成为必备技能。

       常见的抓包工具有很多，其中Fiddler、Charles、Wireshark等备受推崇。Fiddler和Charles专注于抓取应用层的有obj文件源码HTTP/HTTPS协议包，通过中间人代理拦截数据包，提供简单易用的界面。例如，Fiddler通过代理特定端口，拦截所有通过该端口的通信协议，并解析展示数据报文。对于HTTP请求，数据传输都是明文，Fiddler可以直接查看。然而，HTTPS请求在HTTP基础上增加了SSL/TLS协议，数据传输采用了加密，因此，抓包工具即使截取了数据包，也难以解析内容，需要事先安装证书。

       Wireshark则专注于抓取传输层的TCP/UDP协议，通过直接在网卡链路层截取数据包，提供更底层的数据分析能力。F开发者工具是另一种常用的抓包方式，结合浏览器的开发者控制台功能，提供了强大的网络监控和调试能力。F工具界面直观，功能强大，区块链竞猜源码包括元素、控制台、源代码、网络等面板。其中，网络面板是抓包操作的关键，允许实时监控网页的网络活动，查看请求和响应数据。

       使用F抓包操作简单，只需打开开发者工具，加载目标网址，即可自动抓取网页交互的网络数据。请求列表详细记录了与网站交互中的每个请求资源信息，包括常规信息、响应头信息、请求头信息、载荷信息和响应信息。通过分析这些信息，可以深入了解网站的数据传输流程。

       尽管F开发者工具功能强大，但在某些复杂场景下，如遇到加密算法或动态变化的代码，可能需要更为强大的抓包工具，如Fiddler、防pc蛋蛋源码Charles等。这些工具提供了更深入的数据分析和控制功能，如AutoResponder功能，允许开发者修改请求的响应内容，以适应逆向开发或调试需求。此外，重发和模拟请求等功能也极大地提高了工作效率。

       总结而言，选择合适的抓包工具对于网络爬虫开发者至关重要。从Fiddler、Charles到Wireshark，每种工具都有其独特的功能和适用场景。随着反爬虫技术的不断升级，爬虫开发者需要不断学习和掌握更强大的工具，以应对日益复杂的网络环境。同时，开发者应关注工具的最新发展，以确保高效、安全地执行爬虫任务。

Android 抖音常用反编译工具，抖音API接口数据采集教程

       Android 抖音常用反编译工具，抖音API接口数据采集教程

       在进行Android抖音应用的数据采集和分析时，反编译工具成为了解密和操作应用内部逻辑的关键。以下介绍了一些常用的源码修改后反编译工具，它们各自有着独特的功能和适用场景。

       apktool - 反编译apk，重构资源与代码。主要功能在于将资源解码，并在修改后可以重新构建apk。下载地址：ibotpeaches.github.io/A...

       dex2jar - 反编译apk，解压classes.dex文件。2.1版本支持多级dex反编译，2.0及之前版本不支持此操作。下载地址：down.pojie.cn/Tools/A...

       JD-GUI - 将class文件反编译成java源代码，支持图形化界面，交互式操作较为简单。下载地址：down.pojie.cn/Tools/A...

       AndroidKiller - 提供可视化、全自动的反编译、编译、签名功能，支持批量编译APK，操作界面友好。下载地址：down.pojie.cn/Tools/A...

       AndroidCrackTool - 专为Mac用户设计的反编译工具，提供下载链接：pan.baidu.com/s/1efZuAM... 提取码: h8je，GitHub链接：github.com/Jermic/Andro...

       GDA - 作为一款国产交互式反编译器，除了反编译功能外，还提供包过滤的分析功能、算法工具、文件转换工具等。下载地址：github.com/charles2gan/...

       jadx - 反编译利器，支持命令行和图形界面操作，适用于命令行和图形界面环境。下载地址：github.com/skylot/jadx

       autosign - 用于打包签名的软件，需配置好java环境以确保正常使用。专门针对签名操作设计。

       Xposed - hook框架，允许在不修改APK的情况下影响程序运行，修改系统的框架服务。下载链接：pan.baidu.com/s/WnJD8... 提取码: 7sgb

       IDAPro - 静态逆向工具，用于反汇编专业操作，适用于Windows版本。IDA Pro 7.0是世界范围内的顶级交互式反汇编专业工具之一。

       Unidbg - Java Hook框架，能在pc端直接调用so文件中的函数，提供下载链接：github.com/zhkl/uni...

       这些工具在Android应用开发、逆向工程、API接口数据采集等领域发挥着重要作用，帮助开发者深入理解应用内部逻辑，实现数据的获取与利用。在选择工具时，应根据具体需求和应用场景进行合理选择。

python采集京东app端搜索商品数据(--)

       一、技术要点：

       1、通过使用charles工具从手机app端进行抓包，可以获取到cookie信息；

       2、无需安装nodejs，整个项目采用纯python源码编写；

       3、搜索商品数据的接口为：functionId=search；

       4、clientVersion的值为".1.4"，同时也兼容更高版本的app；

       5、sign签名算法已经转换为python源码；

       6、body部分需要经过uri编码处理；

       7、sign签名所需的参数包括：

       sign=service.get_st_sign_sv(data_json, functionId, uuid, clientVersion)

       其中，data_json代表body内容；

       functionId表示接口类型，此处为：functionId="search"；

       uuid为设备标识，可以通过抓包获取，例如：uuid="d5aada6cce"；

       clientVersion为app版本号，例如：clientVersion=".1.4"。

Python 爬虫 | 获取涨停原因

       之前进行过对涨停股票数据的爬取，数据内容包括连扳数和炸板数等，但缺少最关键的涨停原因信息。在获取涨停原因方面，可以借助问财这一工具进行查询。建议在阅读本文前，了解相关技术实现方法，例如：Python 爬虫 | 问财绕过登录。

       目标网站的URL经过Base编码，解码后得到的是：/download/ 下载并安装。

       wxappUnpacker：从 /xuedingmiaojun/wxappUnpacker 获取，注意安装。

       微信开发者工具：访问 /miniprogram/dev/devtools/download.html 下载，直接安装。

       二、小程序包提取

       使用模拟器或安卓手机，确保手机已root，安装文件管理器如re文件管理器或MT管理器。

       在模拟器或手机中使用adb或夜神模拟器的nox_adb进行以下操作：

       执行`adb shell ls -l /data/data/com.tencent.mm/MicroMsg/`查看目录。

       在用户目录下查找exapkg包，执行`adb shell ls /data/data/com.tencent.mm/MicroMsg/db3beb9ebe0b5edab8d1/appbrand/pkg/`。

       删除小程序目录下所有文件，执行`adb shell rm -f /data/data/com.tencent.mm/MicroMsg/db3beb9ebe0b5edab8d1/appbrand/pkg/*`。

       三、使用微信开发者工具

       将提取的包发送到PC端，使用`adb pull`命令将整个pkg目录发送到PC的指定目录。

       四、配置wxappUnpacker

       安装wxappUnpacker依赖：`npm install`。

       五、运行wxappUnpacker

       执行`node wuWxapkg.js D:\tmp\tmp\pkg\_-_.wxapkg`。

       反编译后的文件将生成同名的文件夹，包含反编译的js文件。

       六、使用微信开发者工具打开源码

       点击“使用测试号创建”，即可查看反编译后的源码。

       抓包流程

       使用Proxifier或Charles抓包，具体步骤如下：

       对于Proxifier：

       安装Proxifier，添加代理指向burp/fuddler监听的端口。

       设置代理规则匹配微信小程序相关进程。

       对于Charles：

       下载并激活Charles代理软件。

       在Windows选项卡中设置默认不开启window代理，配置代理规则匹配所有流量，通过代理转发。

       最后提示：

       - 使用微信开发者工具和反编译工具进行微信小程序开发和研究。

       - 使用安全工具如Proxifier或Charles抓包，确保遵守法律和伦理规范。

       - 本教程仅用于学习和研究，避免非法用途。

Android APP抓包-安装系统证书

       在Android 7.0及以上的系统环境下，由于对用户级证书的信任限制，若想在Charles、BurpSuite等中间人抓包工具中抓取HTTPS数据，必须将证书安装到系统级证书目录中，而非设备自身的证书文件夹。以Charles为例，首先从Help菜单的SSL Proxying选项中选择Save Charles Root Certificate，导出证书，并通过openssl工具获取其哈希值，如上图所示的a4f6aa1f即为有效系统证书文件名。

       接下来，需要对证书文件进行重命名，例如将a4f6aa1f.0文件复制至系统证书目录——/system/etc/security/cacerts。这个过程可以通过Magisk模块，如Move Certificates来完成，但需注意，这个模块可能在刷入过程中出现安装失败的问题，需要从github.com/Magisk-Modul...获取源代码进行相应调整。

       另一种方法是通过MagiskTrustUserCerts模块，它在系统启动时会自动将用户证书目录的证书复制到系统证书目录。具体操作是，完成模块的刷入后，将a4f6aa1f.0文件移动到/data/misc/user/0/cacerts-added目录下。

       最后，重启设备，你将在信任的凭据中看到已安装的Charles证书。至此，证书的系统级安装和管理已完成。

软件的发展历史简介

       è½¯ä»¶ä¸šçš„历史要追溯到年前，它有半个世纪的发展。

       ç¬¬ä¸€ä»£ï¼šæ—©æœŸä¸“业服务公司，——。第一批独立于卖主的软件公司是为个人客户开发定制解决方案的专业软件服务公司。

       åœ¨ç¾Žå›½ï¼Œè¿™ä¸ªå‘展过程是由几个大软件项目推进的，这些项目先是由美国政府，后来是由几家美国大公司认购的。这些巨型项目为第一批独立的美国软件公司提供了重要的学习机会，并使美国在软件业中成了早期的主角。

       ç¬¬äºŒä»£ï¼šæ—©æœŸè½¯ä»¶äº§å“å…¬å¸ï¼Œâ€”— ã€‚在第一批独立软件服务公司成立年后，第一批软件产品出现了。它们被专门开发出来重复销售给一个以上的客户。一种新型的软件公司诞生了，这是一种要求不同管理技术的公司。

       ç¬¬ä¸‰ä»£ï¼šå¼ºå¤§çš„企业解决方案提供商的出现，—— 。

       IBM给软件与硬件分别定价的决定再次证实了软件业的独立性。在随后的岁月里，越来越多的独立软件公司破土而出，为所有不同规模的企业提供新产品——可以看出它们超越了硬件厂商所提供的产品。最终，客户开始从硬件公司以外的卖主那儿寻找它们的软件来源并确定为其付钱。

       ç¬¬å››ä»£ï¼šå®¢æˆ·å¤§ä¼—市场软件，—— 。个人计算机的出现建立了一种全新的软件：基于个人计算机的大众市场提交了它们的产品。这呼唤着极其不同的营销和销售方法。

       PARC为今日的PC确立了技术基础：由施乐年创立的帕洛阿尔托研究中心（PARC），用突破性的革新，诸如黑白屏幕、位映射显示、按钮、激光打印机、字处理器和网络（最值得一提的是以太网），为个人计算机革命奠定了基础。

       åœ¨PARC工作的科学家有些后来为苹果公司及微软工作，或者创立了他们自己的公司。

扩展资料：

       å¹´ä»£å’Œå¹´ä»£çš„平台：在年代和年代，许多企业解决方案提供商从大型计算机专有的操作系统平台转向诸如Unix（年）、IBM OS/2和微软NT等新的平台。这个转变通常使这些公司从使用它们自己所有的软件中赢得了暴利。

       Peoplesoft，一个新的未继承遗产的企业解决方案公司：朝向更新的操作系统平台的转变允许其他的公司进入这个市场。其中之一是Peoplesoft，由杜菲尔德（Dave Duffield）和莫里斯（Ken Morris）成立于年。

       ä»–们是Integral系统公司出来的两个软件工程师，看到了基于个人计算机的人力资源管理系统（HRMS）软件的潜力。 Peoplesoft能够在HRMS之下通过收购开发许多垂直功能市场（诸如健康保健和财务服务），使自己成了传统企业解决方案提供商的一个值得认真对待的竞争者。

       è¾…助合作者：大多数EPR公司严重依赖于合作者们以辅助和改制它们的产品。这些合作者们通常在一个大的系统安装中获得2至6倍于EPR卖家的收入。这样，两边都从年代初以来的巨大市场增长中有所获益。

       åœ¨EPR合作者的阵营里，特别是大会计公司，一种相当活跃的合并——集中化在年代和年代里发生了。年KPMG的合并，以及更近的年普华/永道合并，似乎是全球范围专业软件服务工业化的一个信号。

       å‚考资料来源：百度百科——软件