当前位置: 首页 > news >正文

小说网站怎么做防采集seo职位具体做什么

小说网站怎么做防采集,seo职位具体做什么,奇迹私服做网站,海南政府网站集约化建设React 想实现一个打字机的效果,类似千问、Kimi 返回的效果。调用大模型时,模型的回答通常是流式输出的,如果等到模型所有的回答全部完成之后再展示给最终用户,交互效果不好,因为模型计算推理时间比较长。本文将采用原生…

React 想实现一个打字机的效果,类似千问、Kimi 返回的效果。调用大模型时,模型的回答通常是流式输出的,如果等到模型所有的回答全部完成之后再展示给最终用户,交互效果不好,因为模型计算推理时间比较长。本文将采用原生 React 写一个简单的组件,调用本地 Ollama 模型进行对话。

服务端实现

由于要流式返回数据数据,正常的 http 请求是一来一回,不会一段一段返回,Websocket 是一个解决方案,Websocket比较重,模型对话只需要单向的返回就可以。所以,OpenAI提供的 API是基于 SSE (Server Sent Event)协议的,SSE 协议采用 Http Chunk Response 实现。下图中可以看到,Response 是 Chunked 编码的。
在这里插入图片描述

客户端实现

通过 Fetch 调用 Ollama 提供的接口,并对返回进行处理,Fetch API 默认支持 Chunk 编码。由于是流式输出,需要定义从 Reponse body 中获取一个 reader,代码如下:

import React, { useState, useEffect } from 'react';const ChunkedJSONResponseComponent = () => {const [responses, setResponses] = useState([]);const [loading, setLoading] = useState(true);useEffect(() => {const fetchData = async () => {const response = await fetch('http://10.91.3.116:11434/api/generate', {method: 'POST',headers: {'Content-Type': 'application/json'},body: JSON.stringify({model: "testllama3",prompt: "Why is the sky blue?",stream: true})});const reader = response.body.getReader();const decoder = new TextDecoder();#处理返回值const processChunk = ({ done, value }) => {if (done) {console.log('Stream complete');setLoading(false);return;}const chunk = decoder.decode(value, { stream: true });const lines = chunk.split('\n').filter(line => line.trim() !== '');lines.forEach(line => {try {const jsonObject = JSON.parse(line);setResponses(prevResponses => [...prevResponses, jsonObject.response]);} catch (e) {console.error("Failed to parse JSON:", e);}});reader.read().then(processChunk);};reader.read().then(processChunk);};fetchData();}, []);return (<div><h1>Chunked JSON Response</h1><p>{responses.map((response, index) => (<span>{response}</span>))}</p>{loading && <div>Loading...</div>}</div>);
};export default ChunkedJSONResponseComponent;

请添加图片描述

总结

OpenAI 设计的接口比较简单,后续出来的大模型都遵循了 OpenAPI 的接口格式,感谢各位大佬没有再造轮子。打字机效果实现很简单,由于原生 Fetch API 就支持 Chunk 编码,做对应的处理既可以完成。

http://www.mmbaike.com/news/29910.html

相关文章:

  • 番禺营销型网站建设景区营销案例100例
  • 沧州全网推网络科技有限公司苏州seo排名公司
  • 新疆生产建设兵团网站广告优化师
  • 自建站需要多少钱青岛关键词搜索排名
  • 品牌营销型网站建设seo什么意思简单来说
  • 陕西咸阳做网站的公司网络推广的方式
  • 做网站还是app微信小程序
  • 成都创意网站设计整合营销策划
  • 免费做任务赚钱的网站可口可乐营销策划方案
  • 一级a做爰片免费观看 安全网站足球进球排行榜
  • 网站备案取消流程网络营销的基本职能
  • 找人做app网站吗相亲网站排名前十名
  • 网站备案升级企业网站建站
  • 做网站业务员如何跟客户沟通seo百度发包工具
  • 网站设计制作费用营销策划推广公司
  • 投资公司网站建设意义怎么做属于自己的网站
  • 贸易公司网站制作百度推广网站平台
  • 平面设计套用模板网站爱战网关键词查询网站
  • 荆州公司做网站seo技术顾问
  • 付费论坛源码长沙seo顾问
  • 十大直播电商平台seo顾问收费
  • 成都网站建设g冠辰网站推广优化排名教程
  • 有哪些网站可以免费推广工具
  • 合肥电脑网站建站互联网营销怎么做
  • 网站价格明细表免费推广网
  • 顺德做网站的公司哪家好海外seo
  • 做网站制作郑州网站推广培训
  • 做汉字的教育网站西安网站搭建
  • 泉州网站建设报价上海最近3天疫情情况
  • wordpress制作视频站南宁seo结算