当前位置: 首页 > news >正文

福州专业制作网站百度号码认证平台官网首页

福州专业制作网站,百度号码认证平台官网首页,昆明app制作的公司,装修平台网站制作诸神缄默不语-个人CSDN博文目录 诸神缄默不语的论文阅读笔记和分类 论文名称:How Can We Know What Language Models Know? ArXiv网址:https://arxiv.org/abs/1911.12543 官方GitHub项目(prompt之类的都有):https:…

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文名称:How Can We Know What Language Models Know?

ArXiv网址:https://arxiv.org/abs/1911.12543

官方GitHub项目(prompt之类的都有):https://github.com/jzbjyb/LPAQA

本文是2020年TACL论文,作者来自卡耐基梅隆大学和博世北美研究所。

本文关注探索LM中蕴含的知识。以前已经有工作用完形填空的方式来探查知识(Obama is a __ by profession),但是这些填空模版(prompt)都是手工做的,因此可能是sub-optimal的(在上一篇论文最后也提及了),不能充分发挥LM的能力。
本文的解决方案是自动挖掘prompt(远程监督、回译、集成)

这篇工作的实验真的多,这也太能做了。

文章目录

  • 1. 探查知识的方案
  • 2. 实验
    • 1. 数据集
    • 2. LM
    • 3. baseline
    • 4. 实验设置
    • 5. 主实验结果
    • 6. 实验分析
      • Prediction Consistency by Prompt
      • POS-based Analysis
      • Cross-model Consistency
      • Linear vs. Log-linear Combination
    • 7. 失败trick集合

1. 探查知识的方案

在这里插入图片描述

从数据库中获取知识是deterministic的,但从LM中获取知识(完形填空)是不可靠的。
本文用的都是双向LM,做填空题的那种。

  1. mining-based methods:远程监督:从维基百科中找三元组出现的句子。
    1. 方法一:Middle-word Prompts(subject prompt object)
    2. 方法二:Dependency-based Prompts(句法分析→subject和object之间的依存路径)
      在这里插入图片描述
      (句法分析这块我也不懂总之大概是这么个意思吧)
  2. paraphrasing-based methods:对人工或挖掘得到的种子prompt进行回译
  3. 挑选和集成prompt
    1. Top-1 Prompt Selection:选择在训练集上准确率最高的prompt(这个准确率的公式定义比较复杂,但是反正就这个prompt对应的关系里object预测正确的占所有样本的比例)
    2. Rank-based Ensemble:top-K概率求和在这里插入图片描述
    3. Optimized Ensemble:大意是说对每个关系的T个prompt分别训练权重
      在这里插入图片描述
      在这里插入图片描述

这篇paper里面还提及了BERT跟LM的标准定义严格来说不一样这一茬:
在这里插入图片描述
感觉现在已经没人在乎了=== 随便吧==

2. 实验

1. 数据集

在这里插入图片描述

2. LM

BERT-base
BERT-large

增强了外部的实体表征:
ERNIE
Know-Bert

3. baseline

  1. Majority
  2. Man:手工prompt
  3. Mine
  4. Mine+Man
  5. Mine+Para
  6. Man+Para
  7. TopK:求平均
  8. Opti.:加权平均
  9. Oracle:所有prompt中有一个能预测正确,就算LM知道这个知识

4. 实验设置

mine 40个prompts
回译7个prompts

清洗噪音prompts

Adam
batch size: 32

5. 主实验结果

评估指标:micro-averaged accuracy

在这里插入图片描述

与手工prompt相比,效果得到了提升:
在这里插入图片描述

集成权重:
在这里插入图片描述

K的选择:
在这里插入图片描述

prompt做轻微修改也能改变效果:
在这里插入图片描述

两种远程监督方案的对比:
在这里插入图片描述

不同LM的实验结果:
在这里插入图片描述

在LAMA-HUN(一个比LAMA更难的benchmark)上的表现:
在这里插入图片描述

在Google-RE上的表现:
在这里插入图片描述

6. 实验分析

Prediction Consistency by Prompt

在这里插入图片描述
divergence是两个prompt预测结果不同的程度:
在这里插入图片描述
皮尔森相关系数是0.25,说明编辑距离和divergence之间确实存在弱相关性(prompt差别越大,预测结果差别越大)

POS-based Analysis

在这里插入图片描述

在这里插入图片描述
用排名分布而不是准确率分布,在脚注解释了一下是因为不同关系的准确率的量级不同

Cross-model Consistency

检测prompts能不能跨模型通用

在这里插入图片描述

在这里插入图片描述

Linear vs. Log-linear Combination

求和的权重

在这里插入图片描述

7. 失败trick集合

这块真实诚啊

  1. LM-aware Prompt Generation
    在这里插入图片描述
  2. Forward and Backward Probabilities
    在这里插入图片描述
http://www.mmbaike.com/news/59941.html

相关文章:

  • 有哪些网站可以做推广包包电子商务网站建设教程
  • asp类似wordpress北京seo怎么优化
  • 中劳网做网站宁波seo排名外包公司
  • wordpress导入图片不显示深圳知名seo公司
  • 上国外网站用什么机箱好互联网广告行业
  • 电脑企业网站设计关键词优化排名详细步骤
  • 互联网公司名称网站优化seo培
  • 网站建设与推广长春网络服务有限公司
  • 突唯阿网站seo社群营销怎么做
  • 全网展示型网站建设网站推广哪个好
  • 主流网站开发采用aso应用商店优化
  • 西安企业网站怎么建立十大免费最亏的免费app
  • 网站建设流程步骤网站怎么优化排名
  • 福建省住房和城乡建设厅网站aso如何优化
  • 做微网站价格百度官网地址
  • 搭建一个网站需要哪些技术成都网多多
  • 广州市做网站公司会计培训机构排名前十
  • 事业单位网站模板网站收录查询网
  • 新手学做网站 pdf爱廷玖达泊西汀
  • 怎样建网站视频教程免费推广网站2023mmm
  • 呼伦贝尔城乡建设委员会的网站网站seo优化发布高质量外链
  • 网站建设基本流程视频大数据分析网站
  • 北京房产信息网官网超云seo优化
  • bex5可以做网站吗营销渠道的概念
  • 局域网内部如何做网站微信营销软件有哪些
  • 唐山网站建设哪家专业百度法务部联系方式
  • 成人自考本科官网长春seo招聘
  • 重庆网站建设leco tec友情链接交换方式有哪些
  • 网站建设制作方法做一个网站需要多少钱大概
  • 贵阳手机网站建设一个完整的营销策划案范文