当前位置： 首页 > news >正文

广东 网站建设最新的销售平台

news 2025/8/9 22:26:18
广东 网站建设,最新的销售平台,做App和网站 聚马,今天体育新闻直播前提 kettle是纯java编写的etl开源工具，目前kettle7和kettle8都需要java8或者以上才能正常运行。所以运行kettle前先检查java环境是否正确配置，java版本是否是8或者以上。 kettle安装 1、创建kettle目录，并将kettle的zip包解压到kettle目…

前提

kettle是纯java编写的etl开源工具，目前kettle7和kettle8都需要java8或者以上才能正常运行。所以运行kettle前先检查java环境是否正确配置，java版本是否是8或者以上。
在这里插入图片描述

kettle安装

1、创建kettle目录，并将kettle的zip包解压到kettle目录下

在这里插入图片描述

sudo unzip pdi-ce-8.2.0.0-342.zip

在这里插入图片描述

mv data-integration/ ./kettle/
在这里插入图片描述

2、查看以下sh文件使用都有执行的权限，如果没有请加上

在这里插入图片描述

3、执行kitchen.sh脚本

在这里插入图片描述

执行后如果出现warning，根据提示安装即可，不然可能导致部分特性无法使用（主要是spoon的使用，如果是无界面环境，可以忽略）

以下是包warning需要安装libwebkitgtk-1.0-0的详细处理步骤

vim /etc/apt/sources.list

在文件的末尾添加；

deb http://cz.archive.ubuntu.com/ubuntu bionic main universe

执行

sudo apt-get update

在Ubuntu更新源是，提示"没有数字签名。无法安全地用该源进行更新，所以默认禁用该源"，主要原因是由于apt-get update没有公钥，无法验证下列签名。

在这里插入图片描述
处理方法

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 3B4FE6ACC0B21F32

3B4FE6ACC0B21F32是缺少的密钥，缺少什么就下什么

执行安装

sudo apt-get install libwebkitgtk-1.0-0

有点慢耐心等待。。。

重新执行kitchen.sh脚本
在这里插入图片描述
安装好以后，warngin就没有了。出现以下的提示界面说明kettle可以正常使用了。

同时home目录下应该会有一个.kettle的目录。
在这里插入图片描述

./spoon.sh

kettle转换与作业执行

在kettle中pan和kitchen两个工具分别用来执行transformation
(转换)和job(作业)，如下所示
在这里插入图片描述
对于文件存储，不是数据库资源库，可以如下的方式存放文件：
所有的transformation文件存放在/srv/kettle/transfomation/
所有的job文件存放在/srv/kettle/jobs
所有的日志文件存放在/var/kettle/logs

1、使用pan执行transformation

pan语法

./pan.sh -option=value arg1 arg2

eg:

sudo ./pan.sh -file=/srv/kettle/transformation/EtltestTrans.ktr -level=Detailed > /var/kettle/log/EtltensTrans.log &

2、使用kitchen执行job

kitchen语法

./kitchen.sh -option=value arg1 arg2

eg

sudo ./kitchen.sh -file=/srv/kettle/jobs/EtltesJob.kjb -level=Detailed > /var/kettle/logs/EtltestJob.log &

常用参数列表：
在这里插入图片描述

kettle服务器端部署

1、通过Start组件定时执行任务

在kettle中我们可以通过start组件来设置定时任务，如下所示，这种方式不推荐使用，因为该job会一直占有一个进程，容易内存溢出。
在这里插入图片描述

2、通过crontab执行kettle任务

在linux中crontab是用来提交和管理用户周期性执行的任务。
例如（文件存储位置）：
所有的transformation文件存放在/srv/kettle/transformtions/
所有的job文件存放在/srv/kettle/jobs/
所有的日志文件存放在/var/kettle/logs/
所有的执行脚本存放在/srv/kettle/script/

1)首先我们创建一个脚本。因为是crontab执行任务，我们需要重新配置导入java配置。

export JRE_HOME=/opt/java/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin#cd workspace
cd /opt/kettle/data-integration/# exec job
./kitchen.sh -file=/srv/kettle/jobs/EtltestJob.kjb -level=Detailed > /var/kettle/logs/EtltestJob.log

2)在终端上，键入“contab -e” ,进入定时任务文件，添加任务。

# m h  dom mon dow command
0 2 * * * /srv/kettle/script

3)重启cron并查看任务

在这里插入图片描述

3、kettle通过carte远程调度

kettle的部署有很多种模式，上面讲的是最原生的模式（pan/kitchen）。但是这种方式不利于监控、调度和资源分配。kettle本身提供了一个用于调度的web服务carte。carte允许远程请求http进行监控、启动、停止在carte服务上运行的job和trans。要部署使用carte的大致过程如下所示：

1）修改xml配置文件

在这里插入图片描述

vim carte-config-master-8080.xml
在这里插入图片描述
在kettle.pwd的描述中可以知道默认的用户名密码都是cluster(不放心的话可以通过和节点设置用户名密码)，如果要修改密码可以在配置文件中配置

在这里插入图片描述

2）启动carte

启动时将刚刚的配置文件加上

nohub ./carte.sh pwd/carte-config-master-8080.xml &

启动完成后就可以访问carte了，界面非常的简陋。

3）配置子服务器

上面是成功的将carte服务打开，下面就需要将spoon连接到carte。在左侧的树中我们需要添加一个子服务器。如下所示：

在这里插入图片描述

4）创建一个新的运行配置，setting选择slave server

在这里插入图片描述

5)提交任务

http://www.mmbaike.com/news/87410.html

相关文章：

  • asp.net网站开发实例视频教程市场营销公司有哪些
  • 做推广可以上那些网站关键词优化排名软件推荐
  • 用ps做商城网站好做吗怎么做网站优化排名
  • 个人博客网站源码长春网站优化流程
  • 建设本地网站网站推广计划方法
  • 工业和信息网站备案管理系统天津短视频seo
  • 深圳国税局网站怎么做票种核定国外网站怎么推广
  • 59网站一起做网店普宁乐事薯片软文推广
  • 屏山移动网站建设百度小说排行榜
  • 分布式网站开发郑州网站推广报价
  • 陕煤建设集团网站推广方式有哪些
  • edu网站一般谁做的搜狗seo优化
  • 深圳php电商网站开发百度软件下载中心官方网站
  • 做单页网站容易排名吗seo试用软件
  • 建立站点的作用西安seo哪家好
  • 淘宝客怎样做网站软文发布推广平台
  • 荔湾建设网站曲靖新闻今日头条
  • ps怎样做网站首页图门户网站制作
  • 销售网站建设实验报告系统优化大师
  • 设计网站推荐大北京aso优化
  • 泰州哪里做网站北京seo代理公司
  • 减肥产品网站模板自动外链发布工具
  • 网站推广入口百度竞价优缺点
  • 云主机做网站域名打不开站长之家网站流量查询
  • 免费信息网站建设平台互联网营销的方法有哪些
  • 施工企业副总经理竞聘优化网站推广网站
  • metinfo怎么做网站怎么自己弄一个网站
  • 河北沧州网站建设百度指数查询手机版app
  • 西安网站建设中企建站广东疫情最新数据
  • dedecms美食网站石家庄网站建设排名