当前位置: 首页 > news >正文

java做网站的软件6广告图片

java做网站的软件6,广告图片,胶州胶东网站建设,做网站的人文章目录 1.目的:通过绝对位置编码的方式实现相对位置编码2.理解RoPE,在我看来有几个需要注意的点:3.本文相关复数概念:3.1.复数乘法的几何意义3.2.复数内积 VS. 复数乘法 4.REF: 1.目的:通过绝对位置编码的…

文章目录

  • 1.目的:通过绝对位置编码的方式实现相对位置编码
  • 2.理解RoPE,在我看来有几个需要注意的点:
  • 3.本文相关复数概念:
    • 3.1.复数乘法的几何意义
    • 3.2.复数内积 VS. 复数乘法
  • 4.REF:

1.目的:通过绝对位置编码的方式实现相对位置编码

  • 绝对位置编码比较简单,加或乘一个有次序的数
  • 实现相对位置编码,也即意味着,要蕴含位置差的信息:
    • 假设m是某个token的位置信息,n是另一个token的位置信息,要有类似 m − n m-n mn的信息,比较容易想到复数乘法会产生 m − n m-n mn,以及复数乘法和复数内积的性质。

2.理解RoPE,在我看来有几个需要注意的点:

  • 最重要的是 e i m θ e^{im\theta} eimθ 的构造,给二维的 q ⃗ \vec q q k ⃗ \vec k k 乘这个量(也即对 q ⃗ \vec q q k ⃗ \vec k k 做了旋转),旋转后再对二者进行内积便会产生 m − n m-n mn的相对位置信息,也就达成了相对位置编码的目的
  • 二维向量和复数平面存在一一对应的关系
  • 二维扩展到 2 ∗ N 2*N 2N维:既然二维的向量旋转后,再做内积有 m − n m-n mn的相对位置信息,那就直接把 q ⃗ \vec q q k ⃗ \vec k k 都分成2维一组,这样 q ⃗ \vec q q k ⃗ \vec k k 做内积时,就让分好的组与组之间做内积,就自然让各位置携带相对位置信息了
  • 向量旋转有两种计算方式,一种是复数乘取实部,另一种是通过构造旋转矩阵计算

3.本文相关复数概念:

3.1.复数乘法的几何意义

  • 两个复数相乘,得到的复数的模长是原来两个复数的模长的乘积,得到的复数的幅角是原来两个复数的幅角的相加。

3.2.复数内积 VS. 复数乘法

  • 复数内积: ⟨ ( a + b i ) , ( c + d i ) ⟩ = a c + b d {\left \langle (a+bi),(c+di)\right \rangle }=ac+bd (a+bi),(c+di)=ac+bd(不含i)
  • 复数乘法: ( a + b i ) ( c + d i ) = ( a c − b d ) + ( b c − a d ) i (a+bi)(c+di)=(ac-bd) + (bc-ad)i (a+bi)(c+di)=(acbd)+(bcad)i
  • 复数内积的结果跟复数乘法的实部相差了一个正负号,复数内积等于复数乘以另一个复数的共轭后取实部:
    • ⟨ ( a + b i ) , ( c + d i ) ⟩ = R E [ ( a + b i ) ( c + d i ) ∗ ] {\left \langle (a+bi),(c+di)\right \rangle }=RE[(a+bi)(c+di)^*] (a+bi),(c+di)=RE[(a+bi)(c+di)]
    • 也即: ⟨ ( a + b i ) , ( c + d i ) ⟩ = R E [ ( a + b i ) ( c − d i ) ] {\left \langle (a+bi),(c+di)\right \rangle }=RE[(a+bi)(c-di)] (a+bi),(c+di)=RE[(a+bi)(cdi)]

4.REF:

[1].https://zhuanlan.zhihu.com/p/642884818 (这篇讲的很清楚了)
[2].https://zhuanlan.zhihu.com/p/669797102
[3].https://zhuanlan.zhihu.com/p/647109286
[4].https://kexue.fm/archives/8265
[5].https://zhuanlan.zhihu.com/p/641865355
[6].https://zhuanlan.zhihu.com/p/646598747
[7].学习报告:向量与复数的联系
[8].复向量的内积,想不明白?
[9].https://arxiv.org/pdf/2104.09864.pdf

http://www.mmbaike.com/news/65217.html

相关文章:

  • 小说网站怎么用html做厦门seo计费
  • 什么叫商业网站seo公司厦门
  • 吉林做网站公司互联网推广是干什么的
  • 360网站建设价位谷歌seo技巧
  • 镇江网站制作哪家好网站推广策划报告
  • 河北省建设监理协会网站益阳网站seo
  • 沈阳营销型网站建设成都百度推广代理公司
  • 做网站建设销售员准备什么达内教育
  • 网站项目策划书模板百度图片识别搜索
  • 浙江信息港官网首页seo怎么优化软件
  • 网站制作中需要注意的地方竞价排名推广
  • 石家庄站列车时刻表网站建设公司大型
  • paypal可做网站电商seo与sem是什么
  • wordpress跳转青岛seo建站
  • 南康做网站百度电商平台
  • 个人做企业 网站北大青鸟软件开发培训学费多少
  • 单位网站建设目的神点击恶意点击软件
  • 最专业的网站建设公司游戏推广怎么做挣钱
  • 一个b2c网站多少钱百度资源平台链接提交
  • 在哪里找给公司做网站优化的人百度一下你就知道移动官网
  • 网站后端开发是什么seo网站优化师
  • 给别人开发一个网站多少钱南宁百度首页优化
  • 购物网站用模板好不好广告软文范例200字
  • 简洁大气的网站系统优化的意义
  • 哪个网站做婚礼邀请函好做一个网站需要多少钱
  • 怎么分析网站设计北京seo地址
  • 做外贸是哪里网站苹果看国外新闻的app
  • 公司搭建一个网站需要多少钱seo上首页排名
  • 网站被刷怎么办阿里指数在线查询
  • 男女做的那个视频网站网站交易平台