当前位置: 首页 > news >正文

长春做网站建设的公司竞价排名服务

长春做网站建设的公司,竞价排名服务,虹口做网站公司,武汉关键词seo排名SpiderFlow爬虫获取网页节点 一、SpiderFlow 文档地址:https://www.spiderflow.org/ 二、问题:获取一篇文章的标题、来源、发布时间、正文、下载附件该怎么获取? 举例:【公示】第三批智能光伏试点示范名单公示 三、抓取网页步骤…

SpiderFlow爬虫获取网页节点

一、SpiderFlow 文档地址:https://www.spiderflow.org/

二、问题:获取一篇文章的标题、来源、发布时间、正文、下载附件该怎么获取?

举例:【公示】第三批智能光伏试点示范名单公示

三、抓取网页步骤(简单版,分页、循环、多分支暂不涉及,具体看文档)

1.设置抓取网页链接

2.设置参数,如果需要设置参数的话(上面例子不需要参数)

3.执行抓取

抓取后返回抓取结果,结果默认就叫resp。可以在Var变量中定义具体的数值,定义的变量后面的流程都可以使用,使用方法为${变量名},此时定义了一个变量叫responseData,这个变量代表resp.html

  • resp都有什么?

resp.html 为页面的HTML

resp.json  为json结果

具体区分看下图,文档地址:https://www.spiderflow.org/course/variable.html#%E7%88%AC%E5%8F%96%E7%BB%93%E6%9E%9C

4.输出结果,检查返回的结果是否正确

可以看到在测试窗口中已经展现了resp.html完整的页面结构,也就是 在浏览器中 按F12看到的前端页面完整的节点结构

四、要获取标题、公示时间、地址、正文等内容还需要学习了解如何获取节点

1.获取节点

(1)抽取函数 extract,文档地址https://www.spiderflow.org/function/extra.html#selector

获取单个节点 使用 selector

获取多个节点使用 selectors

举例 获取 标题

 

标题只有一个,所有用 selector,可以看到 标题所在的层级如下 #app/.artDetail/.ant-row/.artDetail_content/h2 ,那需不需要一级一级往下找呢?

${extract.selector(resp.html,'#app .artDetail .ant-row .artDetail_content h2')} 

答案是不需要,只要能保证父级唯一就行,如果父级不唯一则继续往上找

两级就可以

${extract.selector(resp.html,'.artDetail_content h2')} 

可以看到标题已经输入成功了

2.获取 html、文本、href链接

3.css 选择器

Css 选择器 包括 元素选择器、类选择器、id选择器、后代选择器、子代选择器等等

具体用法可以参考 css选择器 文档

https://www.runoob.com/cssref/css-selectors.html

http://www.mmbaike.com/news/22517.html

相关文章:

  • 海南网站优化防恶意竞价点击软件
  • 做微博这样的网站网络营销师工作内容
  • 税务局门户网站建设百度网盘资源
  • 有了网站源码如何做网页steam交易链接是什么
  • wordpress 访问密码大连seo外包平台
  • 用wordpress复制一个网站模板你对网络营销的理解
  • 第三方专业网站制作公司有哪些谷歌seo服务公司
  • 做教师知识网站有哪些夫唯seo培训
  • 微信公众平台怎样开发百度seo公司
  • 网站功能优化的意义网络营销策略方案
  • 福建省建设厅网站官网比较成功的网络营销案例
  • 青岛开发区网站建设多少钱品牌推广
  • 汕头seo排名seo谷歌外贸推广
  • 手机网站设计平台网站搭建的流程
  • 网站加一个会员登陆怎么做深圳经济最新新闻
  • 网站建设功能模块价格河南网站seo费用
  • 网站域名更改了怎么换百度注册
  • 网站开发怎么使用维语网页模板免费html
  • 视频剪辑制作搜索引擎优化的方法与技巧
  • 网站怎样做301跳转百度推广需要什么条件
  • 最新网站开发语言百度平台投诉人工电话
  • flash网站制作软件百度网站app
  • 北京 营销型网站青岛网站设计
  • 网站要怎么做吸客户引眼球手机如何制作自己的网站
  • 网站切换语言怎么做沧州网站建设推广
  • 后台网站模板下载什么是长尾关键词举例
  • 网站建设报价 东莞天津网站建设技术外包
  • 无版权的图片素材网站网站建设关键词排名
  • 做电影网站赚钱吗站长工具日本
  • 商业空间设计案例网站sem扫描电子显微镜