1.【原神】各角色Pixiv涩统计(二) Python爬虫爬取Pixiv上各角色涩并统计.
2.中国神话宇宙！山谷东方妖怪系列-龙的线源种类

【原神】各角色Pixiv涩统计(二) Python爬虫爬取Pixiv上各角色涩并统计.

       统计结果详情请参阅前一篇文章。

       已将代码开源至GitHub。码山

       诚然，谷线此项目为我完成过的山谷最具挑战性的爬虫任务，耗时两天半，线源android webview源码全无进展。码山

       Pixiv的谷线反爬机制使我不得不面对复杂的代码编写。

       为了统计各角色的山谷涩图数量，我们需要在Pixiv搜索角色名称。线源对于爬虫而言，码山正确的谷线链接应为：

       Pixiv主要使用的语言包括简体中文、繁体中文、山谷日文、线源英文和韩文。码山考虑到《原神》没有俄语版本，我们不统计俄语。

       同时，应注意，搜索出的角色名称可能与《原神》无关，因此不能将其纳入统计。

       综上，我们的统计逻辑如下：

       使用的库包括：

       首先，我们需要获取《原神》各角色名称，这可以从《原神》官网爬取。

       在实际爬取过程中，网站的语言切换经常失败或自动根据IP地址跳转，甚至返回一半英语一半日文内容。因此，我手动保存了网站各语言的源代码。简体中文名称可直接在《原神》国内官网找到，与国际版类似，但注意，一定注意。

       国内官网上刻晴和七七的顺序有误，需要在保存的源代码中调整。

       之后，用正则表达式识别各角色的各语言名称，并对一些稻妻角色名称进行适当调整，以增加搜索内容。

       注意，原神官网上没有荧和空，需进行特殊处理。

       判断作品是否与特定《原神》角色相关的方法是：如果作品中出现其他《原神》角色名称、除本语言外的本角色名称，或包含特定元素（如列表中的传奇源码泄漏元素），则认为其与该角色相关。

       忽略大小写。

       判断标签如下：

       标签包括：原神、Genshin、Impact、米哈游、HoYoLAB、원신、HOYOVERSE、miHoYo、蒙德、璃月、须弥、稻妻、枫丹、纳塔、至冬、提瓦特、Mondstadt、Liyue、Inazuma、Sumeru、Fontaine、Natlan、Snezhnaya、爷、派蒙、Paimon、旅行者、履刑者、屑、森林书、兰纳罗、双子、愚人众、Traveller、Traveler、雷音权现、七星、水、火、岩、冰、风、雷、帝王决战源码草、タル蛍、雷**、雷电真、雷**、黄金梦乡、深渊、Abyss、七圣召唤、Twins、崩坏、星穹铁道、爱莉希雅、Elysia、女仆、旅人、Travel、公子、捷德、风花节、海灯节、纠缠、Wish、Pull、海祈岛、珊瑚宫、渊下宫、尘歌、萍姥姥、龙脊雪山、苍风高地、风啸山坡、明冠山地、坠星山谷、珉林、璃沙郊、云来海、碧水原、甜甜花、层岩巨渊、Status、天理、琪亚娜、食岩之罚、仙跳墙、c dalfactory 源码佛跳墙、野菇鸡肉串、珊瑚宫、心海、Pyro、Cyro、Hydro、Nature、Anemo、Geo、Dendro、Electro、Swirl、原石、Primogem、Jade、God、Fate、Intertwined、纠缠之缘、Serenitea、Artifact、圣遗物、博士、doctor、同人。

       随后，便是核心环节：爬取Pixiv。

       由于Pixiv不接受未登录的爬虫，但我们可以巧妙绕过登录接口。我们通过复制登录后浏览器的cookie并写入header。

       (关于使用多个cookie的原因，我将在后面解释)

       有了cookie，我们在爬取tags时才能获取正常内容。请注意，内容并非直接在HTML页面中返回，而是需要通过请求另一个页面才能获得有意义的信息。特定链接用于生成请求，然后请求获取内容。

       链接生成方式简单，通过字符串拼接。

       之后，加载JSON数据，使用正则表达式筛选出有用信息。

       注意，java httpclient 源码Pixiv的响应速度较慢，短时间内的请求量过大，会返回空内容，因此需要判断内容是否为空。同时，如果某个tag下面没有内容，返回的也是空值。此外，网络不稳定也可能导致收到空内容或不完整内容。

       有时网络状况良好，Pixiv正确处理响应，但返回的内容不完整或与预期不符。

       最后，爬取完所有内容后，将page加1，继续爬取下一页内容。Pixiv不会返回错误，而是返回空值。

       还需注意，返回的内容可能包含重复信息，需要处理。

       如需自写代码，上述问题都需要考虑。我的代码中已考虑并测试通过。

       之前提到，Pixiv爬取速度慢，因此我们使用多线程。但多线程容易导致cookie失效，因此采用多个cookie，并设计算法决定使用哪个cookie。如果一次请求失败，该cookie的sleep time增加秒。更换cookie时，需睡眠对应cookie的睡眠时间。成功处理完6个角色（所有语言名称）后，将sleep time重置，避免退化为单cookie模式。

       至于main.py运行后的结果可视化，这部分内容较长且主要涉及matplotlib绘图，如有问题可至评论区询问。

       代码开源地址：

       前一篇文章：

       封面（AI）：

       荧 / Lumine

中国神话宇宙！东方妖怪系列-龙的种类

       感谢您的点赞和关注！

       关注我 @空名先生

       众所周知，人生是一个漫长的流程，不断克服困难，不断反思前进的过程。在这个过程中会产生很多对于人生的质疑和思考，于是我决定将自己的思考，经验和故事全部分享出来，以此寻找共鸣！！！ 专注于Android/Unity和各种游戏开发技巧，以及各种资源分享（网站、工具、素材、源码、游戏等）

       为什么会有这个系列？

       作者小空是一名程序员，平时消遣的时候会看小说或者玩游戏，偏向于玄幻神话搞笑种田武侠穿越类的，所以一直有个想法：能够开发一款帮助写手快速写文章的软件（减少素材的寻找）以及某个或多个类型的游戏。所以就有了这个系列，为此来积累素材灵感！！！

       注：该系列内容没什么标准，也不具有代表性，本身就是历史发展传说和想象的结合产物，请自行辨别。

       系列文章

       中国神话宇宙资料第十六更！！！

       空名先生：中国神话宇宙！上古洪荒神话系列-上古十大凶兽

       空名先生：中国神话宇宙！上古洪荒神话系列-上古十大神兽

       空名先生：中国神话宇宙！上古洪荒神话系列-上古十大神器

       空名先生：中国神话宇宙！上古洪荒神话系列-上古十二巫族魔神

       空名先生：中国神话宇宙！上古洪荒神话系列-开天五帝

       空名先生：中国神话宇宙！上古洪荒神话系列-五帝之三-喾（kù）

       空名先生：中国神话宇宙！上古洪荒神话系列-五帝之四-尧

       开始积累

       蛟

       一般指能发洪水的鳞甲龙。 传说蛟龙得水，能造云雾，能飞上天。 在古代文献中经常使用它来描述有才华的人表演的机会。 关于蛟的由来和形状，古典文献中众说纷纭，有的说“没有角的龙叫蛟”，也有的说“有鳞的龙叫蛟龙”。 而《墨客挥犀》第三卷则更为具体：蛟形如蛇，头如虎，长者可达数丈。 蛟若在岸边或山谷中看到行人，他会用嘴里的唾液围住他们，使人掉进水里，他会从胳膊下吸血，直到血流光为止。 岸边人和船民经常受苦。 刘义庆《世说新语》中，有 周处斩蛟的故事。 蛟可能是一条鳄鱼。

       夔kuí龙

       想象中的单足怪物是龙的萌芽阶段。 《山海经·大荒东经》形容夔为：“如牛，苍白无角，一足，出水必有风雨，光如日月，声如雷，名曰夔。 但更多的古籍说，夔是蛇形的怪物。在商末西周青铜器的纹饰中，夔龙纹是主要纹样之一，形象多为长条，以直线为主，弧线为辅，具有古朴的美感。

       虺huī

       一条早期的龙，形式蛇，经常在水中。 “虺五百年成龙，蛟千年成龙。” 这是龙的幼年。 出现在西周青铜器的纹饰上，但并不多。

       虬qiú

       一般来说，没有角的小龙被称为虬龙，是成长中的龙。 因此，古文献中有这样一句话：“有角曰虬，无角曰龙” 又有人说，幼龙长了角，就叫虬。 两种说法有区别。 但他们都将成长中的龙称为虬。

       蟠螭（pán chī）

       它是龙属的蛇形怪物，是早期的没有角的龙。 在《广雅》藏书中，有“无角龙”的描述。 盘池也有两个版本，一个是指黄无角龙，一个是指母龙。 春秋至秦汉时期，青铜器、玉雕、铜镜或建筑上，常用蟠螭的形状作装饰，其形式有单螭、双螭、三螭、五螭乃至群螭多种。或作衔牌状，或作穿环状，或作卷书状。

       角龙

       指角龙。 《书易记》云：“蛟千年化龙，龙化角龙需五百年。” 虬龙是龙族中的老者。

       应龙

       有翼的龙叫应龙。 据《书易记》记载：“龙为角龙要五百年，龙化应龙要一千年。” 应龙堪称龙之精华，所以长出了翅膀。 相传，应龙是古代黄帝的神龙。 它曾奉黄帝之命袭击蚩尤，杀蚩尤成为英雄。 禹治水时，神龙曾以尾巴扫地，为分水立下了汗马功劳。 这神龙也叫黄龙，黄龙就是应龙，所以应龙也是禹的英雄。 应龙的特点是两翅、鳞片、头大而长、鼻尖、鼻眼耳小、眼窝大、眉弓高、牙齿尖、前额突出、颈细腹大、尾巴尖 . 四肢长而强壮，像有翼的扬子鳄。 在战国时期的玉雕、汉代的石雕、帛画、漆器中，经常出现应龙的形象。

       火龙

       就是一条带有火buff的龙。 周身被紫火包围，火龙所过之处，一切都会被烧焦。

       蟠龙

       指蛰伏在地，尚未升天的龙。 龙的形状盘绕在周围。 在中国古代建筑中，龙盘绕在柱子上、龙在装饰梁上和天花板上，通常被称为蟠龙。 《太平御览》中对蟠龙有另一种解释：“蟠龙，四尺长，蓝黑色，常随水而下，入海。有毒，会杀人。”把蟠龙和蛟、蛇之类的混在一起。

       青龙

       为“四灵”或“四神”之一，又称苍龙。 中国古代天文学家将天上的几颗恒星划分为个星区，即宿，以观察月亮的运行和划分季节，并将宿分为四组，每组七宿，分别为东、南、西、北四个方向，青、红、白、黑四种颜色与龙、鸟、虎、玄武（龟蛇相交）四种动物相配，称为“四象”或“四宫”。 龙代表东方，蓝色，故称“东宫青龙”。 秦汉时期，“四象”成为“四灵”或“四神”（龙、凤、龟、林），神秘色彩越来越浓。 汉代“东宫苍龙星座”画像石，现藏南阳汉美术馆，由一条龙和十八颗星组成。

       鱼龙

       它是龙头鱼身的龙，《说苑》中有“昔日白龙下清冷之渊化为鱼”的记载，《长安谣》有“东海大鱼化龙”的记载。 民间传说中的鲤鱼跃龙门，都讲述了龙鱼互变的故事。 这种造型早在商代晚期就出现在玉雕中，历代都有发展。

       作者：小空和小芝中的小空 转载说明：务必注明来源： zhihu.com/people/zhimal... 这位道友请留步☁️，我观你气度不凡，谈吐间隐隐有王者霸气 ，日后定有一番大作为 ！！！旁边有点赞 收藏 今日传你，点了吧，未来你成功☀️，我分文不取，若不成功⚡️，也好回来找我。

       关注我 @空名先生

       『更多专栏』：