当前位置: 首页 > news >正文

网站开发使用的语言有哪些搜索引擎优化网页

网站开发使用的语言有哪些,搜索引擎优化网页,网站开发目录,家装网站自己做的pytorch 实现git地址 论文地址:Neural Discrete Representation Learning 1 论文核心知识点 encoder 将图片通过encoder得到图片点表征 如输入shape [32,3,32,32] 通过encoder后输出 [32,64,8,8] (其中64位输出维度) 量化码本 先随机构建一个码本,维度…

pytorch 实现git地址
论文地址:Neural Discrete Representation Learning

1 论文核心知识点

  • encoder
    将图片通过encoder得到图片点表征
    如输入shape [32,3,32,32]
    通过encoder后输出 [32,64,8,8] (其中64位输出维度)

  • 量化码本
    先随机构建一个码本,维度与encoder保持一致
    这里定义512个离散特征,码本shape 为[512,64]

  • encoder 码本中向量最近查找
    encoder输出shape [32,64,8,8], 经过维度变换 shape [32 * 8 * 8,64]
    在码本中找到最相近的向量,并替换为码本中相似向量
    输出shape [3288,64],维度变换后,shape 为 [32,64,8,8]

  • decoder
    将上述数据,喂给decoder,还原原始图片

  • loss
    loss 包含两部分
    a . encoder输出和码本向量接近
    b. 重构loss,重构图片与原图片接近

在这里插入图片描述

2 论文实现

2.1 encoder

encoder是常用的图片卷积神经网络
输入x shape [32,3,32,32]
输出 shape [32,128,8,8]

def __init__(self, in_dim, h_dim, n_res_layers, res_h_dim):super(Encoder, self).__init__()kernel = 4stride = 2self.conv_stack = nn.Sequential(nn.Conv2d(in_dim, h_dim // 2, kernel_size=kernel,stride=stride, padding=1),nn.ReLU(),nn.Conv2d(h_dim // 2, h_dim, kernel_size=kernel,stride=stride, padding=1),nn.ReLU(),nn.Conv2d(h_dim, h_dim, kernel_size=kernel-1,stride=stride-1, padding=1),ResidualStack(h_dim, h_dim, res_h_dim, n_res_layers))def forward(self, x):return self.conv_stack(x)

2.2 VectorQuantizer 向量量化层

  • 输入:
    为encoder的输出z,shape : [32,64,8,8]
  • 码本维度:
    encoder维度变换为[2024,64],和码本embeddign shape [512,64]计算相似度
  • 相似计算:使用 ( x − y ) 2 = x 2 + y 2 − 2 x y (x-y)^2=x^2+y^2-2xy (xy)2=x2+y22xy计算和码本的相似度
  • z_q生成
    然后取码本中最相似的向量替换encoder中的向量
  • z_1维度:
    得到z_q shape [2024,64],经维度变换 shape [32,64,8,8] ,维度与输入z一致
  • 损失函数:
    使 z_q和z接近,构建损失函数
    在这里插入图片描述

decoder 层

decoder层比较简单,与encoder层相反
输入x shape 【32,64,8,8】
输出shape [32,3,32,32]

class Decoder(nn.Module):"""This is the p_phi (x|z) network. Given a latent sample z p_phi maps back to the original space z -> x.Inputs:- in_dim : the input dimension- h_dim : the hidden layer dimension- res_h_dim : the hidden dimension of the residual block- n_res_layers : number of layers to stack"""def __init__(self, in_dim, h_dim, n_res_layers, res_h_dim):super(Decoder, self).__init__()kernel = 4stride = 2self.inverse_conv_stack = nn.Sequential(nn.ConvTranspose2d(in_dim, h_dim, kernel_size=kernel-1, stride=stride-1, padding=1),ResidualStack(h_dim, h_dim, res_h_dim, n_res_layers),nn.ConvTranspose2d(h_dim, h_dim // 2,kernel_size=kernel, stride=stride, padding=1),nn.ReLU(),nn.ConvTranspose2d(h_dim//2, 3, kernel_size=kernel,stride=stride, padding=1))def forward(self, x):return self.inverse_conv_stack(x)

2.3 损失函数

损失函数为重构损失和embedding损失之和

  • decoder 输出为图片重构x_hat
  • embedding损失,为encoder和码本的embedding近似损失
  • 重点:(decoder计算损失时,由于中间有取最小值,导致梯度不连续,因此decoder loss 不能直接对encocer推荐进行求导,采用了复制梯度的方式: z_q = z + (z_q - z).detach(),及
    for i in range(args.n_updates):(x, _) = next(iter(training_loader))x = x.to(device)optimizer.zero_grad()embedding_loss, x_hat, perplexity = model(x)recon_loss = torch.mean((x_hat - x)**2) / x_train_varloss = recon_loss + embedding_lossloss.backward()optimizer.step()
http://www.mmbaike.com/news/27696.html

相关文章:

  • 公众号申请嘉兴网站建设方案优化
  • 网站建设教程答允苏州久远网络重庆森林在线观看
  • 宜城做网站软文网站大全
  • 公司的官方网站怎么做想要导航推广网页怎么做
  • 无锡网站建设制作seo推广软件
  • iis7如何搭建网站广州中小企业seo推广运营
  • 网站目录怎么做陕西百度代理公司
  • 电商网站技术方案seo北京
  • WordPress网站hym地图推广的十种方式
  • 网址推广怎么推广厦门搜索引擎优化
  • 南京门户网站制作怎么优化网站关键词的方法
  • 下载类网站如何做想卖产品怎么推广宣传
  • b2c商城网站合同服装品牌策划及营销推广方案
  • 大连网络建站公司分析浙江百度代理公司
  • 用vs2010做购物网站seo排名优化工具
  • 网站开发设计论文百度问答平台入口
  • 网站管理规定太原seo团队
  • 做个网站多少钱怎么接广告广告软文怎么写
  • 动态网站怎么做seo排名点击软件推荐
  • 网站建设文化信息百度推广怎么优化关键词的质量
  • 帆软网站开发衡阳百度推广
  • 个人档案网站该怎么做海门网站建设
  • 建站教程流程图前端seo搜索引擎优化
  • 如何做网站二级域名网上如何推广自己的产品
  • 网站美工建设意见关键词调价工具哪个好
  • 互助盘网站怎么做的网站怎么做优化排名
  • 聊城市城乡建设委员会网站网站之家查询
  • 网站上怎么做福彩卖家上海网络营销seo
  • 定制网站建设公司哪家好网络营销的产品策略
  • wordpress怎样打开速度快哪里能搜索引擎优化