博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
句子相似度比较的归一化
阅读量:5068 次
发布时间:2019-06-12

本文共 425 字,大约阅读时间需要 1 分钟。

我们将不同长度的句子(预处理并分词之后的长度)直接做比较其实是不公平的,举个例子:

 

Sentence 1 =  长度为2

Sentence 2 = 长度为1

Sentence 3 = 长度为3

(在取相似词TOP4,exp=0.7,的情况下)

即便Sent2与Sent1词的组成完全不同,base_similarity=0.2513

同样的,Sent3与Sent1完全不同,       base_similarity=0.2063

长度长的词本身就处于劣势,所以我考虑在相似度的基础上,减去base_similarity,并加上一个常数(纯粹为了好看,不然我其实应该使用正态分布作归一化,这个后续做)

 

此外,exp取0.6是我在分析近义词的时候得到的,讲道理我应该统计得到TOP1 TOP2 TOP3...的平均值或者中位数,这个也后续做把。。。先用经验值替代

 

转载于:https://www.cnblogs.com/yjybupt/p/9929362.html

你可能感兴趣的文章
一天一道算法题--5.30---递归
查看>>
switchcase的用法
查看>>
React.js 小书 Lesson15 - 实战分析:评论功能(二)
查看>>
Java基础03 构造器与方法重载
查看>>
kafka的使用
查看>>
Linux0.11内核--加载可执行二进制文件之1.copy_strings
查看>>
编写Nginx启停服务脚本
查看>>
这些老外的开源技术养活了很多国产软件
查看>>
看图软件推荐
查看>>
【IdentityServer4文档】- 欢迎来到 IdentityServer4
查看>>
安全测试的一些漏洞和测试方法
查看>>
spring框架学习笔记(八)
查看>>
JS取得绝对路径
查看>>
排球积分程序(三)——模型类的设计
查看>>
python numpy sum函数用法
查看>>
Linux中的SELinux详解--16
查看>>
php变量什么情况下加大括号{}
查看>>
less入门
查看>>
如何实现手游app瘦身?
查看>>
linux程序设计---序
查看>>