皮皮网

1.高效相似度计算：局部敏感哈希算法Locality Sensitive Hashing (LSH)
2.从源码层面带你实现一个自动注入注解
3.rbf神经网络原理

高效相似度计算：局部敏感哈希算法Locality Sensitive Hashing (LSH)

       前言：最近工作接触文本相似度匹配的一些任务，对于使用的一些算法补下基础知识。

       一、摘要

       局部敏感哈希(LSH)是一种广泛应用于近似最近邻搜索(ANN)的技术。高效相似度搜索的解决方案是有利可图的，像谷歌、golang聊天系统源码Netflix、亚马逊、Spotify、优步等大公司的许多核心功能都依赖于相似度搜索。例如亚马逊使用相似度搜索来比较用户，以相似度最高的用户，根据其历史购买记录来寻找新产品推荐。

       二、背景

       想象一个包含数百万甚至数十亿个样本的数据集，我们如何有效地比较所有这些样本?

       即使在最好的硬件上，采用穷举法比较所有数据对是不可能的，这最多产生O(n²)的搜索复杂度。即使将单个查询与数十亿个样本进行比较，我们仍然产生最多为O(n)的搜索复杂度。此外还需要考虑单个相似性计算背后的复杂度。

       怎样才能避免这种情况呢？

       解决方案是近似搜索 ，不采用穷举搜索，而是 限制搜索范围，只搜索最相关的部分。

       LSH是一种为我们提供亚线性搜索时间的算法。

       三、等我去喊人源码算法简介

       当我们考虑寻找相似向量对的复杂性时，我们发现即使在相当小的数据集上，比较所有东西所需的计算数量也是难以想象得大。这里引入 向量索引，如果我们想要将所有这些向量相互进行比较，最佳排序方法是对数线性时间复杂度。所以我们需要一种 减少比较次数 的方法。理想情况下，我们只想比较我们认为是潜在匹配的向量（候选对），局部敏感散(LSH)允许我们这样做。

       LSH由多种不同的方法组成。在本文中，我们将介绍由多个步骤组成的传统方法——shingling、MinHashing和band的LSH函数。核心是允许对同一个样本进行分段和多次哈希，当一对向量至少被哈希到一次相同的值时，我们把它们标记为候选对（即潜在匹配的向量）。

       典型的哈希函数旨在将不同的值放入不同的桶中，尽量减少多个键值被映射到同一个桶的可能性（即尽量减少哈希碰撞），LSH的哈希函数与其正好相反，希望将相似的值放入相同的桶中，实现最大化哈希碰撞（理想情况下只针对相似的输入，但不可避免地存在不相似的向量被标记为候选对进行minhash）。

       在LSH中没有单一的哈希方法。事实上，它们都共享相同的CRMEB多商城源码“通过哈希函数的桶相似样本”逻辑，但它们可以有很大的不同。

       四、三个步骤：Shingling, MinHashing, Band and LSH

       本文探索LSH的方法包括三个步骤。首先，我们使用k-shingling(和one-hot编码)将文本转换为稀疏向量，然后使用minhashing创建“签名”，最后将签名向量传递给LSH环节以淘汰候选对。

       4.1 k-Shingling

       定义：k-Shingling（简称shingling）将一串文本转换为一组“shingles”的过程。这个过程类似于在我们的文本字符串中移动一个长度为k的窗口，并将每一步移动获取的k个字符 整理成去重的“shingle set”。

       4.2 Minhashing

       定义：在保持相相似度的情况下，Minhashing通过哈希函数将稀疏的one-hot编码向量映射到密集向量（minhash签名向量）。有了稀疏向量，我们所做的是为我们密集向量中的每个签名位置分配不同的minhash函数将稀疏向量映射到signature。

       Min Hashing算法解决了前面所说的计算复杂度：它通过将向量A、B映射到低维空间中的两个签名向量，并且近似保持A、B之间的相似度，降低了用户相似度在高维下的计算复杂度。

       4.3 Band 和 Hash

       我们将对LSH采用banding方法——它将获取我们的签名，对每个签名的片段进行哈希，并查找哈希冲突，将具有一些相似性的签名哈希到同一桶中，从而将其标识为候选对。

       定义：banding方法通过将密集向量分成b个子向量，通过相同的夜场网ktv源码哈希函数处理每个子向量并映射到一个哈希桶中，两个向量的子向量匹配，我们将各自的完整向量视为候选对。

       例如，想象一下，我们把一个维的向量分成个片段，这给了我们次机会来识别两个向量之间匹配的子向量。但这也增加了误报的数量(我们标记为候选对的样本，它们实际并不相似)，但是我们会尽量减少这些问题。

       五、优化Bands

       假设我们将signature向量分为[公式] 个band，每个band的大小为 [公式] ，两个用户向量之间的Jaccard相似度为 [公式] ：

       这个概率在[公式] 和 [公式] 取不同值时总是一个S形的曲线（这个S形曲线的特点在于，当 [公式] 超过一个阈值之后，两个用户成为candidate的概率会迅速增加并接近于1。这个阈值就是概率变化最陡的地方，近似为[公式] ）；

       上面的例子中[公式] ， [公式] ，可视化当前的概率值 [公式] -是否候选集 [公式] 之间的关系，我们注意到一个模式：虽然这种对齐并不完美，但我们可以看到理论计算的概率 [公式] 与真正的候选配对结果之间的相关性。

       现在，我们可以通过修改[公式] 来推测具有不同相似性分数的候选对的返回概率，通过优化 [公式] 值来移动LSH函数的相似性阈值。

       增加[公式] 值提供更多的子向量部分哈希碰撞的可能性更大，返回更多的视频解析地址源码候选对，将导致更多的误报（FP），也会减少一些漏网之鱼（FN）.

       六、源码

       Github源码： github.com/topics/local...

       Scala中基于Jaccard 距离的LSH相似度计算代码： spark.apache.org/docs/3...

       七、参考

       参考： Locality Sensitive Hashing (LSH): The Illustrated Guide | Pinecone

       参考： hunter7z：大规模数据的相似度计算：LSH算法

       参考： allen：一文纵览KNN（ANN）向量检索

从源码层面带你实现一个自动注入注解

       首先，需要了解到的是。SpringBean的生命周期

       在生命周期中。注入bean属性的位置是在以下代码：populateBean位置中

       那么我们在项目中使用注解产生一个bean的时候必定会经过以下代码进行一个bean的创建流程

/**省略代码**///开始初始化bean实例对象ObjectexposedObject=bean;try{ //<5>对bean进行填充，将各个属性值注入，其中，可能存在依赖于其他bean的属性populateBean(beanName,mbd,instanceWrapper);//<6>调用初始化方法exposedObject=initializeBean(beanName,exposedObject,mbd);}catch(Throwableex){ if(exinstanceofBeanCreationException&&beanName.equals(((BeanCreationException)ex).getBeanName())){ throw(BeanCreationException)ex;}else{ thrownewBeanCreationException(mbd.getResourceDescription(),beanName,"Initializationofbeanfailed",ex);}}/**省略代码**/

       在生命周期中populateBean进行填充bean数据。把其他依赖引入进来

       BeanPostProcessor是一个bean创建时候的一个钩子。

       以下代码是循环调用实现了BeanPostProcessor子类InstantiationAwareBeanPostProcessor#postProcessProperties方法

       Spring在以下代码中有自动注入的拓展点。关键就是实现InstantiationAwareBeanPostProcessor#postProcessProperties

/**省略代码**/for(BeanPostProcessorbp:getBeanPostProcessors()){ if(bpinstanceofInstantiationAwareBeanPostProcessor){ InstantiationAwareBeanPostProcessoribp=(InstantiationAwareBeanPostProcessor)bp;//对所有需要依赖检查的属性进行后处理PropertyValuespvsToUse=ibp.postProcessProperties(pvs,bw.getWrappedInstance(),beanName);if(pvsToUse==null){ //从bw对象中提取PropertyDescriptor结果集//PropertyDescriptor：可以通过一对存取方法提取一个属性if(filteredPds==null){ filteredPds=filterPropertyDescriptorsForDependencyCheck(bw,mbd.allowCaching);}pvsToUse=ibp.postProcessPropertyValues(pvs,filteredPds,bw.getWrappedInstance(),beanName);if(pvsToUse==null){ return;}}pvs=pvsToUse;}}/**省略代码**/

       我们展开来讲一下@Autowired的实现是怎么样的吧：

       实现类为AutowiredAnnotationBeanPostProcessor.java

       从上面可以得知，填充bean的时候。时调用了方法ibp.postProcessPropertyValues()

       那么AutowiredAnnotationBeanPostProcessor#postProcessPropertyValues()则会被调用

       调用findAutowiringMetadata获取class以及父类带有@Autowired或者@Value的属性或者方法：

/**省略代码**/publicPropertyValuespostProcessProperties(PropertyValuespvs,Objectbean,StringbeanName){ //获取所有可以注入的元数据InjectionMetadatametadata=findAutowiringMetadata(beanName,bean.getClass(),pvs);try{ //注入数据metadata.inject(bean,beanName,pvs);}catch(BeanCreationExceptionex){ throwex;}catch(Throwableex){ thrownewBeanCreationException(beanName,"Injectionofautowireddependenciesfailed",ex);}returnpvs;}privateInjectionMetadatafindAutowiringMetadata(StringbeanName,Class<?>clazz,@NullablePropertyValuespvs){ //缓存名字获取StringcacheKey=(StringUtils.hasLength(beanName)?beanName:clazz.getName());InjectionMetadatametadata=this.injectionMetadataCache.get(cacheKey);//获取是否已经读取过这个class类的InjectionMetadata有的话直接从缓存中获取出去if(InjectionMetadata.needsRefresh(metadata,clazz)){ synchronized(this.injectionMetadataCache){ //双重检查metadata=this.injectionMetadataCache.get(cacheKey);if(InjectionMetadata.needsRefresh(metadata,clazz)){ if(metadata!=null){ metadata.clear(pvs);}//构建自动注入的元数据metadata=buildAutowiringMetadata(clazz);this.injectionMetadataCache.put(cacheKey,metadata);}}}returnmetadata;}privateInjectionMetadatabuildAutowiringMetadata(finalClass<?>clazz){ if(!AnnotationUtils.isCandidateClass(clazz,this.autowiredAnnotationTypes)){ returnInjectionMetadata.EMPTY;}List<InjectionMetadata.InjectedElement>elements=newArrayList<>();Class<?>targetClass=clazz;do{ finalList<InjectionMetadata.InjectedElement>currElements=newArrayList<>();//循环targetClass的所有field并执FieldCallback逻辑（函数式编程接口，传入的是一个执行函数）ReflectionUtils.doWithLocalFields(targetClass,field->{ //获得字段上面的Annotation注解MergedAnnotation<?>ann=findAutowiredAnnotation(field);if(ann!=null){ //判断是否为静态属性如果是，则不进行注入if(Modifier.isStatic(field.getModifiers())){ if(logger.isInfoEnabled()){ logger.info("Autowiredannotationisnotsupportedonstaticfields:"+field);}return;}//注解是否为必须依赖项booleanrequired=determineRequiredStatus(ann);currElements.add(newAutowiredFieldElement(field,required));}});//循环targetClass的所有Method并执MethodCallback逻辑（函数式编程接口，传入的是一个执行函数）ReflectionUtils.doWithLocalMethods(targetClass,method->{ MethodbridgedMethod=BridgeMethodResolver.findBridgedMethod(method);if(!BridgeMethodResolver.isVisibilityBridgeMethodPair(method,bridgedMethod)){ return;}MergedAnnotation<?>ann=findAutowiredAnnotation(bridgedMethod);if(ann!=null&&method.equals(ClassUtils.getMostSpecificMethod(method,clazz))){ //判断是否为静态方法如果是，则不进行注入if(Modifier.isStatic(method.getModifiers())){ if(logger.isInfoEnabled()){ logger.info("Autowiredannotationisnotsupportedonstaticmethods:"+method);}return;}//判断静态方法参数是否为0if(method.getParameterCount()==0){ if(logger.isInfoEnabled()){ logger.info("Autowiredannotationshouldonlybeusedonmethodswithparameters:"+method);}}booleanrequired=determineRequiredStatus(ann);PropertyDescriptorpd=BeanUtils.findPropertyForMethod(bridgedMethod,clazz);currElements.add(newAutowiredMethodElement(method,required,pd));}});//数据加到数组最前方父类的的注解都放在靠前的位置elements.addAll(0,currElements);//如果有父类则设置targetClass为父类。如此循环targetClass=targetClass.getSuperclass();}while(targetClass!=null&&targetClass!=Object.class);returnInjectionMetadata.forElements(elements,clazz);}/**省略代码**/

       真正注入数据的是metadata.inject(bean,beanName,pvs);

       调用的是InjectionMetadata#inject方法

publicvoidinject(Objecttarget,@NullableStringbeanName,@NullablePropertyValuespvs)throwsThrowable{ Collection<InjectedElement>checkedElements=this.checkedElements;//带有注解的方法或者属性列表Collection<InjectedElement>elementsToIterate=(checkedElements!=null?checkedElements:this.injectedElements);if(!elementsToIterate.isEmpty()){ for(InjectedElementelement:elementsToIterate){ element.inject(target,beanName,pvs);}}}

       循环调用之前加入的带有注解的方法或者属性构建的对象AutowiredFieldElement#inject，AutowiredMethodElement#inject

/***属性上有注解构建的处理对象*/privateclassAutowiredFieldElementextendsInjectionMetadata.InjectedElement{ privatefinalbooleanrequired;privatevolatilebooleancached;@NullableprivatevolatileObjectcachedFieldValue;publicAutowiredFieldElement(Fieldfield,booleanrequired){ super(field,null);this.required=required;}@Overrideprotectedvoidinject(Objectbean,@NullableStringbeanName,@NullablePropertyValuespvs)throwsThrowable{ //获取属性名Fieldfield=(Field)this.member;Objectvalue;//Bean不是单例的话，会重复进入注入的这个操作，if(this.cached){ try{ value=resolvedCachedArgument(beanName,this.cachedFieldValue);}catch(NoSuchBeanDefinitionExceptionex){ //Unexpectedremovaloftargetbeanforcachedargument->re-resolvevalue=resolveFieldValue(field,bean,beanName);}}else{ //首次创建的时候进入该方法value=resolveFieldValue(field,bean,beanName);}if(value!=null){ //属性如果不为public的话，则设置为可访问ReflectionUtils.makeAccessible(field);field.set(bean,value);}}@NullableprivateObjectresolveFieldValue(Fieldfield,Objectbean,@NullableStringbeanName){ //构建DependencyDescriptor对象DependencyDescriptordesc=newDependencyDescriptor(field,this.required);desc.setContainingClass(bean.getClass());//注入bean的数量。有可能字段上是一个ListSet<String>autowiredBeanNames=newLinkedHashSet<>(1);Assert.state(beanFactory!=null,"NoBeanFactoryavailable");//获得beanFactory类型转换类TypeConvertertypeConverter=beanFactory.getTypeConverter();Objectvalue;try{ //查找依赖关系value=beanFactory.resolveDependency(desc,beanName,autowiredBeanNames,typeConverter);}catch(BeansExceptionex){ thrownewUnsatisfiedDependencyException(null,beanName,newInjectionPoint(field),ex);}synchronized(this){ if(!this.cached){ ObjectcachedFieldValue=null;if(value!=null||this.required){ cachedFieldValue=desc;//填入依赖关系registerDependentBeans(beanName,autowiredBeanNames);//判断如果注入依赖是只有一个if(autowiredBeanNames.size()==1){ StringautowiredBeanName=autowiredBeanNames.iterator().next();if(beanFactory.containsBean(autowiredBeanName)&&beanFactory.isTypeMatch(autowiredBeanName,field.getType())){ cachedFieldValue=newShortcutDependencyDescriptor(desc,autowiredBeanName,field.getType());}}}this.cachedFieldValue=cachedFieldValue;this.cached=true;}}returnvalue;}}/***方法上有注解构建的处理对象*/privateclassAutowiredMethodElementextendsInjectionMetadata.InjectedElement{ privatefinalbooleanrequired;privatevolatilebooleancached;@NullableprivatevolatileObject[]cachedMethodArguments;publicAutowiredMethodElement(Methodmethod,booleanrequired,@NullablePropertyDescriptorpd){ super(method,pd);this.required=required;}@Overrideprotectedvoidinject(Objectbean,@NullableStringbeanName,@NullablePropertyValuespvs)throwsThrowable{ //检查属性是不会在之前就已经注入过了。如果主如果则不进行二次覆盖if(checkPropertySkipping(pvs)){ return;}Methodmethod=(Method)this.member;Object[]arguments;if(this.cached){ try{ arguments=resolveCachedArguments(beanName);}catch(NoSuchBeanDefinitionExceptionex){ //Unexpectedremovaloftargetbeanforcachedargument->re-resolvearguments=resolveMethodArguments(method,bean,beanName);}}else{ //首次创建的时候进入该方法arguments=resolveMethodArguments(method,bean,beanName);}if(arguments!=null){ try{ //属性如果不为public的话，则设置为可访问ReflectionUtils.makeAccessible(method);//调用方法并传入参数method.invoke(bean,arguments);}catch(InvocationTargetExceptionex){ throwex.getTargetException();}}}@NullableprivateObject[]resolveCachedArguments(@NullableStringbeanName){ Object[]cachedMethodArguments=this.cachedMethodArguments;if(cachedMethodArguments==null){ returnnull;}Object[]arguments=newObject[cachedMethodArguments.length];for(inti=0;i<arguments.length;i++){ arguments[i]=resolvedCachedArgument(beanName,cachedMethodArguments[i]);}returnarguments;}@NullableprivateObject[]resolveMethodArguments(Methodmethod,Objectbean,@NullableStringbeanName){ //获取方法上有几个参数intargumentCount=method.getParameterCount();Object[]arguments=newObject[argumentCount];DependencyDescriptor[]descriptors=newDependencyDescriptor[argumentCount];Set<String>autowiredBeans=newLinkedHashSet<>(argumentCount);Assert.state(beanFactory!=null,"NoBeanFactoryavailable");TypeConvertertypeConverter=beanFactory.getTypeConverter();for(inti=0;i<arguments.length;i++){ //方法参数，从方法参数中取出i构造MethodParameter对象MethodParametermethodParam=newMethodParameter(method,i);DependencyDescriptorcurrDesc=newDependencyDescriptor(methodParam,this.required);currDesc.setContainingClass(bean.getClass());descriptors[i]=currDesc;try{ //获取方法中i参数的内容Objectarg=beanFactory.resolveDependency(currDesc,beanName,autowiredBeans,typeConverter);if(arg==null&

rbf神经网络原理

       什么是rbf神经网络

       RBF神经网络算法是由三层结构组成，输入层至隐层为非线性的空间变换，一般选用径向基函数的高斯函数进行运算；从隐层至输出层为线性空间变换，即矩阵与矩阵之间的变换。

       rbf神经网络原理是用RBF作为隐单元的“基”构成隐含层空间，这样就可以将输入矢量直接映射到隐空间，而不需要通过权连接。当RBF的中心点确定以后，这种映射关系也就确定了。

       RBF是一种前馈型的神经网络，也就是说他不是通过不停的调整权值来逼近最小误差的，的激励函数是一般是高斯函数和BP的S型函数不一样，高斯函数是通过对输入与函数中心点的距离来算权重的。

       简而言之，RBF神经网络其实就是， 具有不同激活函数和应用方向的前馈网络 。 4Deep Feed Forword(DFF)深度前馈神经网络 4DFF深度前馈神经网络 DFF深度前馈神经网络在年代初期开启了深度学习的潘多拉盒子。

全局逼近和局部逼近神经网络

       1、RBF神经网络算法是由三层结构组成，输入层至隐层为非线性的空间变换，一般选用径向基函数的高斯函数进行运算；从隐层至输出层为线性空间变换，即矩阵与矩阵之间的变换。

       2、BP网络本身的算法容易陷入局部最优而无法自拔，所以现在就有用遗传算法进行优化取得全局最优的的方法。

       3、RBF神经网络使用局部指数衰减的非线性函数（高斯函数就是一种典型的函数）对非线性输入输出映射进行局部逼近。

       4、预测效果较好的一般有：GRNN神经网络、RBF神经网络。局部逼近网络由于只需调整局部权值，因此训练速度较快，拟合精度也较高。Elman神经网络。

       5、rbf神经网络原理是用RBF作为隐单元的“基”构成隐含层空间，这样就可以将输入矢量直接映射到隐空间，而不需要通过权连接。当RBF的中心点确定以后，这种映射关系也就确定了。

       6、组合神经网络。取长补短，将全局搜索能力强的算法与局部逼近快的算法组合起来，如遗传算法优化初始权值，再训练。这种方法比较灵活，可以和许多算法融合。全面考虑影响因素。

rbf神经网络在java中如何实现原代码

       1、rbf神经网络原理是用RBF作为隐单元的“基”构成隐含层空间，这样就可以将输入矢量直接映射到隐空间，而不需要通过权连接。当RBF的中心点确定以后，这种映射关系也就确定了。

       2、java源代码是用来关联jar中的编译代码的。

       3、编写源代码 首先，在D盘下建立任意建立一个目录（建议是非中文的目录），这里我建立的目录是javacode。然后进入该目录，在该目录下建立一个文件名是：HelloWorld.java的普通文件。 使用文本打开该文件。

IDAS-分散式智能数据采集网络技术特点是什么？

       结构先进、安装方便，该产品高度1U，可以直接安装在标准机柜中，独特的散热技术，1U机箱有多个磁悬浮风扇散热。数据采集冗余设计：支持双机双网冗余通讯。

       其特点是近距离、低复杂度、自组织、低功耗、低数据速率。主要适合用于自动控制和远程控制领域，可以嵌入各种设备。zigbee技术和wifi、蓝牙可以有个对比。注重低功耗、短距离、低速率。

       主要技术特点：同步码分多址技术，智能天线技术和软件无线技术。它采用tdd双工模式，载波带宽为6mhz。tdd是一种优越的双工模式，因为在第三代移动通信中，需要大约mhz的频谱资源，在3ghz以下是很难实现的。

       ZigBee优点 第实际生活的数据信息传输是以ZigBee无线传感技术为通信网络的依靠，可以建立很多网络连接点，同时依靠网络辅助器还可以实时传输数据通讯。

       借智能机器优化统计，剖析多渠道数据 要利用好智能软件，对不同来源的数据做好目标分析。

       灵活。每个结点均有智能，可根据情况决定路由和对数据做必要的处理。迅速。以分组作为传送单位，在每个结点存储转发，网络使用高速链路。可靠。完善的网络协议；分布式多路由的通信子网。

rbf神经网络和bp神经网络有什么区别

       bp神经网络学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的。

       用途不同 前馈神经网络：主要应用包括感知器网络、BP网络和RBF网络。

       BP神经网络是ANN人工神经中的一种，常用的神经网络有BP、RBF、SOM、Hopfield等等，其功能不经相同，可总体来说ANN的主要功能是模式识别和分类训练。最本质的区别可以说是学习方法不同，或者说模型的优化方法不同。