1.gatewayåzuulçåºå«ä¸èç³»
2.Gateway网关在url参数带有特殊字符的码分情况下转发失败(响应400)
3.使用Gateway作为SpringCloud网关
gatewayåzuulçåºå«ä¸èç³»
gatewayåzuulçåºå«ä¸èç³»ä½ç°å¨æ§è½ãæºä»£ç ç»´æ¤ç»ç»ä¸ã1ãæ§è½
spring cloud Gatewayæä¸ä¸ªå ¨æ°çéå µå¡çå½æ°å¼Reactive Webæ¡æ¶ï¼å¯ä»¥ç¨æ¥æ建å¼æ¥çãéå µå¡çãäºä»¶é©±å¨çæå¡ï¼å¨ä¼¸ç¼©æ§æ¹é¢è¡¨ç°é常好ï¼ä½¿ç¨éé»å¡APIï¼Websocketså¾å°æ¯æï¼å¹¶ä¸ç±äºå®ä¸Springç´§å¯éæãZuulæ¯ä¸ä¸ªåºäºé»å¡ioçAPI Gatewayï¼Zuulå·²ç»åå¸äºZuul2.xï¼åºäºNettyï¼ä¹æ¯éé»å¡çï¼æ¯æé¿è¿æ¥ï¼ä½Spring Cloudææ¶è¿æ²¡ææ´å计åã
2ãæºä»£ç ç»´æ¤ç»ç»
spring cloud Gatewayæ¯springæä¸spring cloudçä¸ä¸ªå项ç®ãè¿æä¸ç§è¯´æ³æ¯å 为zuul2è¿ç»è·³ç¥¨åzuul1çæ§è½è¡¨ç°ä¸æ¯å¾çæ³ï¼æ以å¬çäºspringåµåGateway项ç®ãzuulåæ¯netf1ixå ¬å¸ç项ç®ï¼åªæ¯springå°zuuléæå¨spring cloudä¸ä½¿ç¨èå·²ãå ³é®ç®åspringä¸æç®éæzuul2.xã
Spring Cloud Gatewayä¸å 个éè¦çæ¦å¿µï¼
1ãè·¯ç±ï¼è·¯ç±æ¯ç½å ³æåºç¡çé¨åï¼è·¯ç±ä¿¡æ¯æä¸ä¸ªIDãä¸ä¸ªç®çURLãä¸ç»æè¨åä¸ç»Filterç»æãå¦ææè¨è·¯ç±ä¸ºçï¼å说æ请æ±çURLåé ç½®å¹é ã
2ãæè¨ï¼å¹é çè§åãJava8ä¸çæè¨å½æ°ãSpring Cloud Gatewayä¸çæè¨å½æ°è¾å ¥ç±»åæ¯Spring5.0æ¡æ¶ä¸çServerWebExchangeãSpring Cloud Gatewayä¸çæè¨å½æ°å 许å¼åè å»å®ä¹å¹é æ¥èªäºhttprequestä¸çä»»ä½ä¿¡æ¯ï¼æ¯å¦è¯·æ±å¤´ååæ°çã
3ãè¿æ»¤å¨ï¼ä¸ä¸ªæ åçSpring webFilterãSpring cloud gatewayä¸çfilterå为两ç§ç±»åçFilterï¼åå«æ¯Gateway FilteråGlobal Filterãè¿æ»¤å¨Filterå°ä¼å¯¹è¯·æ±åååºè¿è¡ä¿®æ¹å¤çã
Gateway网关在url参数带有特殊字符的情况下转发失败(响应)
SpringCloud Gateway网关在处理url参数时,若参数包含空格或特殊字符,码分可能导致转发失败并返回错误码。码分本文将介绍两种场景下的码分解决方案。
首先,码分当参数中带有空格时,码分内网感染 源码Gateway会错误地将该空格视为分割符,码分导致无法正常解析协议。码分例如,码分参数为?码分phone= ****&type=时,网关无法正确解析协议,码分从而引发异常。码分
其次,码分当参数中包含特殊字符时,码分如?码分phone=|****&type=,虽然协议可以正常解析,但在转发过程中仍可能发生异常。
针对这些问题,我们可以通过以下步骤进行分析和解决:
1. 可用性问题分析:在可用性文档中,我们发现错误码(4xx)特别多,尤其是captcha源码解析响应错误码的情况。
2. 排查过程:通过匹配应用日志、Gateway网关日志和nginx日志,我们发现响应错误的日志主要集中在nginx日志中。
3. 问题分析:经过排查,我们发现请求参数中的空格(phone= ****&type=)是导致问题的原因。初步怀疑是nginx转发问题,因为网关未找到任何日志。经运维同事协助排查,发现是Gateway网关响应的错误码,没有日志是因为日志级别没有设置到debug,所以未打印。
4. 排查与复现:通过断点排查,我们发现问题出现在HttpObjectDecoder.splitInitialLine方法中,该方法将sb内容切割为一个数组,切割规则中包含空格作为分割符。为了解决这个问题,我们需要修改HttpObjectDecoder.splitInitialLine的逻辑,将切割出的所有元素进行重新组装。
5. 解决方案实现:通过查询网络资料,我们可以在Netty ChannelPipeline中添加ChannelHandler,vs源码编译替换NettyPipeline.HttpCodec的实现类,从而修改HttpObjectDecoder.splitInitialLine的逻辑。
6. URL带特殊字符处理:针对参数带特殊字符的情况,我们可以增加UrlParamHandler,对url的参数进行urlencode处理。
以上就是针对SpringCloud Gateway网关在url参数带有特殊字符的情况下转发失败(响应)问题的解决方案。
使用Gateway作为SpringCloud网关
本着能用原生就用原生的原则,我们这里使用SpringGateway来作为云服务的网关
配置
从官网的介绍来看,spring网关拥有的功能有,路由(配置,过滤,重写等),熔断以及流量控制
首先引入包
动态路由
路由的配置比较简单,有两种方法:使用配置文件和代码注入,我们这里简单展示下两种方法
或者使用
路由配置中id、uri、order、predicates.path/host没什么好说的,根据需求配置即可,filters相关参数,无缝滚动源码这里最好还是参考源码相关部分或者Spring Cloud Gateway比较全面,比如常用的前缀切割
这里我们以常用的两种filter,流量控制和熔断降级举例
流量控制
通常我们需要限流来保证服务的可用性,保护一些不太稳定的服务不会因为高并发的请求而挂掉,这里我们一般在网关层做流量控制,减少实际进入的请求达到平波峰的目的
计数器算法
如果某个服务会在请求中数量达到时候挂掉,请求平均时间为2s,我们给一段时间一个请求量的限制,比如2秒次,每次请求进入就减少计数,每2s开始时重新计数,这样就能保证服务请求中数量在以内。但是对于抢购类接口,可能前ms请求数量就用完了,后面所有请求都被拒绝,即请求突刺现象,这样的用户体验是非常差的所以我们需要尽可能在所有的时间内保证接口的可用性(计数器算法就像DRAM中的集中式刷新一样不太能被接受),而且短时间内大量请求运行在相同代码段是非常危险的,在设计不好的情况很可能会出现数据库死锁等等问题
漏桶算法
我们需要让请求尽可能地能进行来,就需要平波峰填波谷,cms源码网就上例而言,2s内最大请求为,也就是每个请求占用的时间比例为ms,我们设计一个容量为的桶(队列)每ms向接口发一个请求,可以让服务中请求数量不超过的情况下,每ms都能接受一个新的请求,这样就缓解了请求突刺现象。但是这里还有一个问题,对于抢购类接口,个容量可能ms就用完了,在第ms可能还会有个请求抢1个位置,个请求会被取消,这样也是相对来说不能被接受的
令牌桶算法
令牌桶算法就是目前spring cloud gateway采用的算法,这里采用的用户时间换用户失败的策略,假设我们认为用户的平均忍耐时间为8秒,接口超过8秒一些用户就要骂街了,减去实际执行的2秒,也就是说我们的可以利用6秒的时间容纳更多的请求。依上文而言每ms去调用这个端口,那么也就是说桶的设计可以更大,在桶里放上令牌,每个请求需要在桶里面拿到令牌才能调用,这里的桶容量就是6s/ms为个。但是我们的执行速度是不变的,也就是结果是,在请求多的情况下用户的执行时间在8秒左右,而在请求少的情况下执行速度在2s左右,这样就缓解了短时间内大量请求导致大量失败的问题了。这里比较重要的参数有两个,第一个是桶请求容量 defaultBurstCapacity,第二个是每秒执行的请求速度(也就是桶的填充速率)defaultReplenishRate
在这个例子中defaultBurstCapacity=而defaultReplenishRate=,这两个参数我们会在下方配置
这里我们需要引用redis包,再说明一下,本站使用的是jdk的版本,其他版本的配置和引用可能会稍有变化,需要调整
覆写KeyResolver的实现类
流量控制,这里同样有代码实现和配置文件实现,由于目前idea对于复杂配置文件的支持不太好,如果使用配置文件方式会疯狂报红,但是如果全部使用代码的话会不方便实现动态路由,因为gateway是先加载配置再处理代码的。所以这里我们路由使用配置,filter之类复杂的使用代码实现,下面是简单示例
这样全服务层面的接口流量控制就完成了,具体的哪些服务使用流量控制,具体控制参数的配置,自行稍作修改即可
测试流量控制的话,可以将令牌回复量和令牌总容量调至比较低的水平,然后再浏览器直接curl接口,比如令牌回复量和容量为1,则单秒内curl即可触发浏览器提示,线上大令牌容量测试能需要多线程curl了,这里参考官方文档给的lua脚本
ip限流
如果我们需要对某个ip进行限流,比如防止脚本抢货,我们这里需要KeyResolver的实现不再使用exchange.getRequest().getURI().getPath() ,而是使用 exchange.getRequest().getRemoteAddress() 。但是这里还有一个问题,我们请求是经过层层转发的,nginx,docker等,所以我们可能并不能拿到原始的请求地址,所以这里我们需要在最外层,比如nginx中将原始地址存到header或者cookie当中,这里给出简单示例
当然还有其他类似X-Forwarded-For的字段不再本文主要探讨范围就不多拓展了,在nginx中配置记录初始远程地址到header后,我们这里需要在程序中取出来,如果你这里使用的标准的X-Real-IP的字段去存储,那么只需要
即可获取真实地址,如果你这里自定义了一个header的key那么需要在exchange.getRequest().getHeaders()里面自己找出来了
最后我们这里给出对同一个接口同时配置两种限流的示例
我在ip限流这里修改了返回的code由改为了,方便测试,这里我们将ip的限流参数设置为(2,2),将path的限流参数设置为(1,)然后不断请求接口就发现一开始返回错误,后续path令牌桶用完后返回错误,即设置成功
补充
如果这里你不希望返回,并且要求返回一个用户可读的带有json信息结果,那么比较好的业务处理方式是前端完成。如果是对外接口的话,那么我们这里就只能重写RateLimiter的实现了,不再使用RedisRateLimiter的类,而是自己去继承RateLimiter接口去实现,
参考 SpringCloudGateway限流后,默认返回的改造:改跳转或增加响应body,这篇文章已经很详细,这里就不赘述了
熔断降级
熔断降级,即某个接口调用失败时使用其他接口代替,来保证整体服务对外的可用性
首先需要引入熔断包
circuitbreaker-reactor-resilience4j 熔断的相关配置分为两个部分,熔断逻辑本身的配置以及在集成到gateway中时候,网关的配置,熔断的重要的配置有,触发熔断的接口,代替接口,熔断超时时间(当然还有其他的,比如自定义熔断HttpStatus等等,详细参数参考 Spring Cloud Circuit Breaker以及resilience4j官网)
这里熔断触发接口和代替接口配置位于gateway中,这里我们使用代码实现,位置参考前述
这里setName的目的是和熔断包中的配置产生对应关系,下方为熔断包的配置,这里定义默认超时时间(也就是没有匹配到name的超时时间)为s,your_breaker_id的超时时间为3s
最后
到这里网关的基本功能就差不多了,自定义的一些业务功能配置,比如header,cookie,以及调用方ip的处理逻辑等等其实都是在网关层处理的,可以参考 Spring Cloud Gateway WebFilter Factories以及Writing Custom Spring Cloud Gateway Filters,但是这种配置基本都没什么坑,这里就不谈了
网关由于不经常作为业务逻辑被重构,所以网络上的资料相对比较少,我这里使用的又是最新的版本还是蛮多和前版本不一样的地方,尤其是webflux的一些东西,很多问题需要看源码才能解决,非常的消耗意志力。这里建议小伙伴们如果是业务使用的这种资料相对较少的架构,最好还是不要使用最新版本的比较好,毕竟万一遇到坑,踩个一两天是很正常的事情,而这种在业务场景可能就没那么容易接受了