PaddleNLP/ examples / semantic
召回库转换成向量存入,然后查询的也转换成向量进行查询即可转换成向量的方式有很多种方式
语义索引模型的目标是: 给定输入文本,模型可以从海量候选召回库中快速、准确地召回一批语义相关文本。
简要介绍 In- 策略和 策略思路In- 核心思路In- 策略的训练数据为语义相似的 Pair 对,如下所示为 size = 4 的训练数据样例:我手机丢了,我想换个手机我想买个新手机,求推荐求秋色之空漫画全集求秋色之空全集漫画学日语软件手机上的手机学日语的软件侠盗飞车罪恶都市怎样改车侠盗飞车罪恶都市怎么改车In- 策略核心是在 1 个 内同时基于 N 个负例进行梯度更新,将 内除自身之外其它所有 Text 的相似文本 Text 作为负例,例如: 上例中 我手机丢了,我想换个手机 有 1 个正例(1.我想买个新手机,求推荐),3 个负例(1.求秋色之空全集漫画,2.手机学日语的软件,3.侠盗飞车罪恶都市怎么改车)。 核心思路 策略核心是在 1 个 内的所有负样本中先发掘出最难区分的负样本,基于最难负样本进行梯度更新。例如: 上例中 Text: 我手机丢了,我想换个手机 有 3 个负例(1.求秋色之空全集漫画,2.手机学日语的软件,3.侠盗飞车罪恶都市怎么改车),其中最难区分的负例是 手机学日语的软件,模型训练过程中不断发掘出近似这样的最难负样本,然后基于最难负样本进行梯度更新。
和前几种算法不同,HNSW( )是基于图存储的数据布局。
参数设置中,ef表示最近邻动态列表的大小(需要大于查找的topk),M表示每个结点的“友点”数,是平衡时间/准确率的超参数。可以根据服务器资源和查找的召回率等,做相应调整。本文介绍了几种常用的k近邻查找算法,是KNN的一种基本实现算法;考虑到并发、延时等要素,hnsw是可以在实际业务中落地的算法,其中bert/-bert+hnsw的组合会有不错的召回效果。
在 分别支持L2距离,向量内积以及相似度。在构建索引的过程中对应的具体参数为:
l2,ip,
构建索引的时候,通过传递参数确认检索最近邻需要使用的距离:
p = .( = ‘l2’, dim = dim)
1
2 构建参数
在索引初始化阶段的代码如下:
.(=, =200, M=16)
1
M: 表示在构建期间,每个元素创建的双向链表的数量。M合理的范围是2-100。M值较高的时候在高召回率数据集上效果好,M值较低在低召回率数据集上效果好。M值决意了算法内存消耗,大概是 M × ( 8 10 )B y t e s M \ (8~10);×(8 10)
【下载地址】
PaddleNLP/ examples / semantic下载帮助:如无法下载请先看下载帮助。
1.下载时迅雷软件如提示‘任务错误,未知错误,敏感资源,违规内容,版权等等’都是迅雷屏蔽资源的表现,和6v无关。请仔细浏览下载帮助,依旧可以正常下载。
2.迅雷对资源的屏蔽越来越严重,推荐大家使用BT类软件或各种网盘离线。
3.本站所有资源没有不良广告,请大家放心下载。
本站所有电影完全免费,推荐使用迅雷下载,下载的人越多下载速度越快,把资源分享给您的朋友可以大大提高下载速度。
1.下载时迅雷软件如提示‘任务错误,未知错误,敏感资源,违规内容,版权等等’都是迅雷屏蔽资源的表现,和6v无关。请仔细浏览下载帮助,依旧可以正常下载。
2.迅雷对资源的屏蔽越来越严重,推荐大家使用BT类软件或各种网盘离线。
3.本站所有资源没有不良广告,请大家放心下载。
本站所有电影完全免费,推荐使用迅雷下载,下载的人越多下载速度越快,把资源分享给您的朋友可以大大提高下载速度。
PaddleNLP/ examples / semantic中字网友评论:
匿名 发表于 2023-10-24 20:56:36 | |
热门电影电视剧
- 冰雪王子动画
- 诡事杂谈
- 蓝光原盘.The.Seven.Deadly.Sins.Dragon's.Judgement.2021.JPN.Bluray.1080p.AVC.LPCM.5.1
- 那是不能吃的漫画
- 葫芦兄弟七子降妖BT版下载
- LOL全英雄皮肤盘点推荐D51暗影之拳阿卡丽铁血女忍
- 禁播番剧千千万万,个个都是神作七大罪动画漫画
- 一品芝麻狐
- 超出作品本身的震撼
- 死神Bleach动漫全集免费在线观看
- 我打造了长生俱乐部漫画免费阅读下拉式
- 大神请把我吃掉全集12集在线观看
- 第15章上药
- 幻想漫画下拉式,免费看,观看全集,在线看
- 声之形
- 孝圣宪皇后
- 变形金刚HD中字
- 独占我的英雄老流氓高中教师,拯救不良少年,治愈
- 漫画4个人各自有着自己的秘密宣布TV动画化!来自深渊第二季2023年7月开播
- 阿衰漫画全集在线观看网站知道不
最新电影下载
- 古代卡通人物女子简笔画简笔画图片大全
- 超级飞侠小云来超级基地做客
- 江湖大佬,名利双收,晚年却称100个黑社会99个没好下场
- 筱田麻里子种子资源torrent下载筱田麻里子的资料黑历史ed2k番号全作品图
- 穿越火线动漫有哪些CF动漫有哪些
- 龙珠Z第245集
- 仙妻高嫁全文免费阅读
- 七龙珠AF第二十四集悟吉塔险胜,雷格二度变身!高清版
- 好看的动漫电影排行榜前十名
- 七大罪诸神之逆鳞高清全集在线观看-动漫-韩剧TV,韩剧网
- 90岁丁丁,永远年轻
- 一休和尚(01)
- 刺客伍六七总共有几季
- 热门纯爱漫画推荐,最新经典纯爱排行榜,纯爱在线阅读全集
- 聪明的一休国语全集聪明的一休全集目录
- 精灵宝可梦XY2樱花动漫全集免费在线观看
- 动画片死神的歌谣全集在线播放4399动画片网
- 监狱学园高清全集在线免费观看
- 凤于九天漫画凤于九天的漫画人设出自哪里
- 漫画外的男与女,柘植义春别离读书会!
最新电视剧下载
- 动话漫谈
- ss漫画页面免费漫画入口弹窗v0.36
- 中国石油新闻中心
- 一吻定情禾林漫画漫画全集
- 博人传宇智波佐良娜
- 魔术快斗第二季在线观看
- 龙珠新时代DRAGONBALLNEWAGE(七龙珠同人)漫画最新更新至第33话,龙珠新时代DRAGONBALLNEWAGE(七龙珠同人)在线漫画全集,最新漫画版更新至第33话
- 女孩喜爱的超炫动画小马宝莉第七季中文版MyLittlePony全26集高清720P下载
- 吉原由起的主要作品
- 动画片缘之空分集剧情介绍1
- 三国梦想月英无惨漫画
- 一吻定情1990年连载的日本校园漫画
- 光头强动画片全集80
- 七公主漫画第一季免费阅读
- 政宗君的复仇第二季动漫在线观看完整版
- 一拳超人豆瓣9.3,一口气刷全集,不正经的它绝对有毒!!
- 彩虹宝宝全集高清版
- 狐妖小红娘在线观看
- 黑猫男友的疼爱方式漫画免费阅读全集高清不卡在线观看
- 鬼父2全集在线手机播放