-
您的DBT项目必须有一个
deployment.yml
文件,这是特定于Fivetran,和一个
dbt_project.yml.
文件。了解更多关于
deployment.yml
文件,参见
第5步
.
-
默认情况下,Fivetran希望你的dbt项目位于Git repo的根目录。如果你的dbt项目在其他地方,你必须在Fivetran设置表单中指定它的文件路径
在步骤8.
.
-
如果你点击了
我准备连接我的git repo
,跳到前进
第7步
.如果你点击了
帮助我建立我的dbt项目
,继续
下一节
.
创建新的git存储库
链接
使用Git提供程序为新的dbt项目创建一个新的存储库。
建立一个基本的dbt项目
链接
-
打开终端窗口。
-
确保您已经安装了dbt在您的计算机上运行
DBT --Version.
命令。
-
跑过
dbt init my_git_repo_name.
命令创建Starter DBT包。
-
打开源代码编辑器。
-
打开新创建的dbt项目。
连接dbt到目的地
链接
注意:如果您已有DBT项目,请跳至
第5步
.
你会使用
profiles.yml.
文件将DBT连接到目标。该文件指定要连接的目标,凭据要访问该目的地的凭据,以及DBT将将转换数据加载到的模式。了解更多内容
dbt的配置您的配置文件文档
.
这
profiles.yml.
您将在此步骤中配置的文件通常用于本地开发和测试目的。一旦Fivetran开始运行DBT命令,我们会生成生产版本
profiles.yml.
无法查看或编辑DBT项目的文件。
-
打开
profiles.yml.
作为DBT安装的一部分自动创建的文件。
笔记:
profiles.yml.
是一个隐藏文件。它是在你的
〜/ .dbt.
文件夹,不在DBT项目中。
-
设置你的
profiles.yml.
文件以启用DBT要连接到目标。如何配置此文件的不同基于您的目的地。看
印度生物技术部的资料文档
用于目的地的设置说明。
有关其他帮助,请参见
DBT.
profiles.yml.
文件
.
-
请确保您的配置文件名称
dbt_project.yml.
文件匹配您的配置文件名称
profiles.yml.
文件。
注意:配置文件名称只需要匹配测试目的。一旦Fivetran开始运行您的DBT命令,我们忽略了您的配置文件名称
dbt_project.yml.
文件。
-
跑过
DBT运行
命令。如果你成功连接了你的目的地,你会看到一个
成功完成
信息。
写下DBT工作
链接
-
下载
这
deployment.yml
文件
.该文件包含一些作业,使Fivetran能够按计划运行dbt命令。
-
编辑作业
deployment.yml
文件来反映你希望Fivetran如何以及何时运行你的dbt命令。该文件包含了如何做到这一点的说明。
-
在你的源代码编辑器中,转到你的dbt项目并添加你编辑的代码
deployment.yml
文件到与此相同的文件夹
dbt_project.yml.
文件。
将dbt项目链接到Git仓库
链接
-
在终端窗口中,确保您在新DBT项目的目录中。
-
运行以下命令。替换示例URL
https://github.com/USERNAME/dbt-tutorial.git
使用Git存储库的URL。
$git init$git添加。$Git commit -m ' add your commit message here '$git远程添加原点https:// github.com/用户名/ dbt-tutorial.git$Git push -u origin master
-
打开Git存储库查看新的dbt项目。
授予fivetran访问git存储库
链接
-
回到Fivetran仪表盘。您将被重定向到dbt设置表单。
-
查找公钥并单击蓝色剪贴板图标以复制它。您需要它来授予FiveTran SSH访问您的Git存储库。
-
按照下面Git提供程序的说明授予Fivetran对存储库的SSH访问权。
GitHub.
-
在你的
GitHub简介
,转到存储库页面。
-
点击
设置
.
-
在存储库设置侧栏中,单击
部署的钥匙
.
-
点击
添加部署关键
.
-
在
标题
字段,输入键的名称(例如,'fivetran')。
-
在
钥匙
字段,粘贴您在发现的Fivetran公钥
步骤2
.
-
点击
添加密钥
.
GitLab
跟随
GitLab的部署关键指令
.在你的ssh钥匙上
钥匙
文本框,粘贴您在发现的FiveTran公钥
步骤2
.
BitBucket都
跟随
这些Bitbucket SSH键设置说明
.在你的ssh钥匙上
钥匙
字段,粘贴您在发现的Fivetran公钥
步骤2
.
Azure Repos.
跟随
微软Azure Repos SSH密钥设置说明的步骤2
.在你的ssh钥匙上
公钥数据
文本框,粘贴您在发现的FiveTran公钥
步骤2
.
AWS CodeCommit
-
打开你的
亚马逊我控制台
.
-
点击
添加用户
为Fivetran创建新的AWS IAM用户。此新用户必须具有对存储库的编程访问权和克隆访问权。
提示:设置克隆访问的最简单方法是给用户
AWSCodeCommitReadOnly
许可。
-
打开新创建的fivetran用户。
-
去
安全凭证
选项卡。
-
点击
上传SSH公钥
.
-
在
SSH公钥
字段,粘贴您在发现的Fivetran公钥
步骤2
.
完成Fivetran配置
链接
-
按照下面Git提供程序的说明找到Git存储库的URL。URL必须为
/ / repo.git git@host.xz:路径
(除了AWS代码通信)。
-
在GitHub中:
一世。转到存储库页面,然后单击
代码
.
2在下拉窗口中,选择
SSH
,然后复制出现在下面的文本框中的存储库URL。
-
在GitLab:
i.进入您的存储库页面并找到
https / ssh下拉
.
2选择
SSH
,然后复制右侧文本框中显示的存储库URL。
-
在bitbucket:
i.进入存储库
源
页面。
2点击
克隆
.
III。在弹出窗口中,选择
SSH
,然后复制下面的文本框中显示的存储库URL(务必删除
git clone.
前缀)。点击
关
.
-
在Azure回购协议:
一世。转到存储库页面,然后单击
克隆
.
2在弹出窗口中,选择
SSH
,然后复制出现在下面的文本框中的存储库URL。
III。关闭窗口。
-
在AWS CodeCommit,转到你的仓库页面并复制
SSH URL
.
重要提示:
SSH URL
必须是以下格式
ssh: / / - ssh密钥- id@git codecommit.us -东- 2. amazonaws.com/v1/repos/mydemorepo
.找到你的SSH密钥ID,转到你的
亚马逊我控制台
>
用户
>
您为fivetran创建的IAM用户
>
安全凭证
>
SSH键
.
-
在“DBT设置”表单中,输入您的GIT存储库的URL。
-
输入所选择的默认模式名称。此生产模式将包含您的转换数据。
-
默认情况下,Fivetran访问dbt转换的目的地使用与您在
目的地
你的Fivetran仪表盘的一部分。如果您的目的地是Snowflake,您可以选择自定义Fivetran使用的凭据。在
证书
部分,选择
自定义
选项并指定您的自定义凭据。
目标凭证(如果选择使用自定义dbt凭证,则与它们结合使用)定义目标数据库,dbt将在其中放置转换后的数据。默认情况下,dbt在同一个数据库中查找源数据。如果要从不同的数据库获取源数据,则必须定义
源属性
在您的DBT项目和覆盖中
源数据库
.
-
默认情况下,Fivetran与此合作
主
在存储库的分支中,在根文件夹中搜索一个DBT项目,并使用一个线程处理DBT命令。如果你想改变分支,dbt项目的路径或者使用的线程数,点击
显示高级选项
并输入所选值。
-
点击
保存和测试
.
-
保存更改并通过测试后,您将看到
所有连接测试都通过了!
信息。点击
转变
.
-
您将被重定向到主转换页面。Fivetran将在几分钟内同步您的项目。
-
在右上角,设置切换到
在
启用DBT转换。
-
您的DBT工作直接同步
deployment.yml
文件。如果您还没有添加任何DBT作业,请单击
帮我写dbt工作
学习如何。
安装Fivetran dbt包(可选)
链接
fivetran为此创建了DBT软件包
一些我们最受欢迎的连接器
.要安装Fivetran的dbt包,请执行以下步骤:
-
去
Fivetran的DBT中心
.
-
单击连接器的名称。
-
按照说明进行操作
安装
页面顶部的部分。
-
跑过
印度生物技术部deps
命令。连接器的DBT软件包将自动安装
dbt_modules
文件夹。
-
如果您已准备好启动DBT包,请运行
DBT运行
命令。