当前位置: 首页 > news >正文

信息型企业网站有哪些帮我搜一下长沙做网络销售

信息型企业网站有哪些,帮我搜一下长沙做网络销售,重庆软件外包公司,网站交换链接如何实施文件上传是常见需求,只要指定 content-type 为 multipart/form-data,内容就会以这种格式被传递到服务端: 服务端再按照 multipart/form-data 的格式提取数据,就能拿到其中的文件。 但当文件很大的时候,事情就变得不一样…

文件上传是常见需求,只要指定 content-type 为 multipart/form-data,内容就会以这种格式被传递到服务端:

服务端再按照 multipart/form-data 的格式提取数据,就能拿到其中的文件。

但当文件很大的时候,事情就变得不一样了。

假设传一个 100M 的文件需要 3 分钟,那传一个 1G 的文件就需要 30 分钟。

这样是能完成功能,但是产品的体验会很不好。

所以大文件上传的场景,需要做专门的优化。

把 1G 的大文件分割成 10 个 100M 的小文件,然后这些文件并行上传,不就快了?

然后等 10 个小文件都传完之后,再发一个请求把这 10 个小文件合并成原来的大文件。

这就是大文件分片上传的方案。

那如何拆分和合并呢?

浏览器里 Blob 有 slice 方法,可以截取某个范围的数据,而 File 就是一种 Blob:

所以可以在 input 里选择了 file 之后,通过 slice 对 File 分片。

那合并呢?

fs 的 createWriteStream 方法支持指定 start,也就是从什么位置开始写入。

这样把每个分片按照不同位置写入文件里,不就完成合并了么。

思路理清了,接下来我们实现一下。

创建个 Nest 项目:

npm install -g @nestjs/clinest new large-file-sharding-upload

在 AppController 添加一个路由:

 

@Post('upload')
@UseInterceptors(FilesInterceptor('files', 20, {dest: 'uploads'
}))
uploadFiles(@UploadedFiles() files: Array<Express.Multer.File>, @Body() body) {console.log('body', body);console.log('files', files);
}

这是一个 post 接口,会读取请求体里的 files 文件字段传入该方法。

这里还需要安装用到的 multer 包的类型:

npm install -D @types/multer

然后我们在网页里试一下:

首先在 main.ts 里开启跨域支持:

然后添加一个 index.html:

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=edge"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title><script src="https://unpkg.com/axios@0.24.0/dist/axios.min.js"></script>
</head>
<body><input id="fileInput" type="file" multiple/><script>const fileInput = document.querySelector('#fileInput');fileInput.onchange =  async function () {const data = new FormData();data.set('name','光');data.set('age', 20);[...fileInput.files].forEach(item => {data.append('files', item)})const res = await axios.post('http://localhost:3000/upload', data);console.log(res);}</script>
</body>
</html>

input 指定 multiple,可以选择多个文件。

选择文件之后,通过 post 请求 upload 接口,携带 FormData。FormData 里保存着 files 和其它字段。

起个静态服务:

npx http-server .

浏览器访问下:

选择几个文件:

这时候,Nest 服务端就接收到了上传的文件和其他字段:

当然,我们并不是想上传多个文件,而是一个大文件的多个分片。

所以是这样写:

 

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=edge"><meta name="viewport" content="width=device-width, initial-scale=1.0"><title>Document</title><script src="https://unpkg.com/axios@0.24.0/dist/axios.min.js"></script>
</head>
<body><input id="fileInput" type="file"/><script>const fileInput = document.querySelector('#fileInput');const chunkSize = 20 * 1024;fileInput.onchange =  async function () {const file = fileInput.files[0];console.log(file);const chunks = [];let startPos = 0;while(startPos < file.size) {chunks.push(file.slice(startPos, startPos + chunkSize));startPos += chunkSize;}chunks.map((chunk, index) => {const data = new FormData();data.set('name', file.name + '-' + index)data.append('files', chunk);axios.post('http://localhost:3000/upload', data);})}</script>
</body>
</html>

对拿到的文件进行分片,然后单独上传每个分片,分片名字为文件名 + index。

这里我们测试用的图片是 80k:

所以每 20k 一个分片,一共是 4 个分片。

测试下:

服务端接收到了这 4 个分片:

然后我们把它们移动到单独的目录:

@Post('upload')
@UseInterceptors(FilesInterceptor('files', 20, {dest: 'uploads'
}))
uploadFiles(@UploadedFiles() files: Array<Express.Multer.File>, @Body() body: { name: string }) {console.log('body', body);console.log('files', files);const fileName = body.name.match(/(.+)\-\d+$/)[1];const chunkDir = 'uploads/chunks_'+ fileName;if(!fs.existsSync(chunkDir)){fs.mkdirSync(chunkDir);}fs.cpSync(files[0].path, chunkDir + '/' + body.name);fs.rmSync(files[0].path);
}

用正则匹配出文件名:

在 uploads 下创建 chunks_文件名 的目录,把文件复制过去,然后删掉原始文件。

测试下:

分片文件移动成功了。

不过直接以 chunks_文件名 做为目录名,太容易冲突了。

我们可以在上传文件的时候给文件名加一个随机的字符串。

这样就不会冲突了:

接下来,就是在全部分片上传完之后,发送合并分片的请求。

添加一个 merge 的接口:

@Get('merge')
merge(@Query('name') name: string) {const chunkDir = 'uploads/chunks_'+ name;const files = fs.readdirSync(chunkDir);let startPos = 0;files.map(file => {const filePath = chunkDir + '/' + file;const stream = fs.createReadStream(filePath);stream.pipe(fs.createWriteStream('uploads/' + name, {start: startPos}))startPos += fs.statSync(filePath).size;})
}

接收文件名,然后查找对应的 chunks 目录,把下面的文件读取出来,按照不同的 start 位置写入到同一个文件里。

浏览器访问下这个接口:

可以看到,合并成功了:

再测试一个:

也没啥问题。

然后我们在合并完成之后把 chunks 目录删掉。

@Get('merge')
merge(@Query('name') name: string) {const chunkDir = 'uploads/chunks_'+ name;const files = fs.readdirSync(chunkDir);let count = 0;let startPos = 0;files.map(file => {const filePath = chunkDir + '/' + file;const stream = fs.createReadStream(filePath);stream.pipe(fs.createWriteStream('uploads/' + name, {start: startPos})).on('finish', () => {count ++;if(count === files.length) {fs.rm(chunkDir, {recursive: true}, () =>{});}})startPos += fs.statSync(filePath).size;});
}

然后在前端代码里,当分片全部上传完之后,调用 merge 接口:

const tasks = [];
chunks.map((chunk, index) => {const data = new FormData();data.set('name', randomStr + '_' + file.name + '-' + index)data.append('files', chunk);tasks.push(axios.post('http://localhost:3000/upload', data));
})
await Promise.all(tasks);
axios.get('http://localhost:3000/merge?name=' + randomStr + '_' + file.name);

 

连起来测试下:

因为文件比较小,开启 network 的 slow 3g 网速来测。

可以看到,分片上传和最后的合并都没问题。

当然,你还可以加一个进度条,这个用 axios 很容易实现:

至此,大文件分片上传就完成了。

总结

当文件比较大的时候,文件上传会很慢,这时候一般我们会通过分片的方式来优化。

原理就是浏览器里通过 slice 来把文件分成多个分片,并发上传。

服务端把这些分片文件保存在一个目录下。

当所有分片传输完成时,发送一个合并请求,服务端通过 fs.createWriteStream 指定 start 位置,来把这些分片文件写入到同一个文件里,完成合并。

这样,我们就实现了大文件分片上传。

Nest 实现大文件分片上传
原文链接:https://juejin.cn/post/7315591545741197349

http://www.mmbaike.com/news/21781.html

相关文章:

  • 华东民航机场建设公司网站天津网站建设开发
  • 可以做微信小测试的网站一篇好的营销软文
  • 做美图 网站有哪些公司企业网站制作需要多少钱
  • 如何做优化网站排alexa优化seo排名谁教的好
  • 做网站的你选题的缘由是什么电子商务与网络营销教案
  • 买域名网站百度文库官网登录入口
  • 北京传媒公司排名宁波seo推广咨询
  • 旅游网站优化方案打开百度网页
  • 大学网站建设策划书自己怎样在百度上做推广
  • 相亲网站怎么做十大舆情网站
  • 做网站在阿里云买什么软件域名估价
  • 网络营销网站功能seo系统是什么
  • 做网站有哪几种语言网上广告怎么推广
  • 网页制作公司 日企seo深圳网络推广
  • 汕头网站设计定制如何制作网站二维码
  • 百度医疗网站建设seo技术教程博客
  • 高级网站建设费用网络搜索优化
  • h5设计制作是什么意思百度上如何做优化网站
  • 广州品牌网站设计今日新闻最新
  • 民族文化网站建设的作用职业技能培训
  • 做网站 赚钱多吗百度网盘电脑版下载
  • wordpress 百度广告插件企业网站优化
  • 自己独立服务器网站建设辽源seo
  • 网站开发后端用java叫什么网站推广策划案
  • 电子商务网站建设毕业论文天津百度推广公司
  • 亚马逊品牌备案网站怎么做百度推广在哪里能看到
  • 长沙市网站制作哪家好郑州seo优化
  • 情侣做记录网站源码seo快速排名关键词
  • 万维网网站注册如何制作网页游戏
  • 巩义做网站xd seob站视频怎么快速推广