-
[Bug] [Task] SQL task prepareStatementAndBind error · Issue #10540 · apache/dolphinscheduler · GitHub
-
[Bug] SQL task prepareStatementAndBind error · Issue #10889 · apache/dolphinscheduler · GitHub
-
解决方案:
-
加H2 Ha数据源--未果
-
加大连接数、连接时长--定位到后台日志看(不好定位
-
使用之前成熟的shell
-
升级为支持hive cli的3.1.0
https://dolphinscheduler.apache.org/zh-cn/docs/2.0.6/guide/upgrade
-
自己改源码,使其支持hive cli
问题一:每日调度随机出现以下报错,但可通过多次重试执行成功 两种报错: TTransport:SocketTimeout:Read time out SQL task prepareStatementAndBind 分别对应以下bug [Bug] [Task] SQL task prepareStatementAndBind error · Issue #10540 · apache/dolphinscheduler · G
Dolphin
Scheduler
使用
常见问题
总结开发环境
常见问题
API
启动端口是8080不是12345找不到my
sql
驱动
开发环境
常见问题
API
启动端口是8080不是12345
在初始化环境中
api
默认配置12345,
编辑运行配置,增加如下配置
-Dserver-
api
-server -Dspring.profiles.active=
api
找不到my
sql
驱动
由于
Dolphin
Scheduler
默认使用的postgre
sql
,默认没有引入my
sql
驱动依赖。需要手动修改pom。
前往github官网寻找解决方案
https://github.com/
apache
/incubator-
dolphin
scheduler
/issues/3790
重点说明几个参数
以HDP部署为例也可以直接修改对应的配置文件conf/alert.properties
mail.server.host=smtp.exmail.qq.com
mail.smtp.ssl.trust=smtp.exmail.qq.com
mail.smtp.ssl.ena
sql
注入1
sql
注入2 防止
sql
注入 2.1使用pre
pa
reStatement+Bind-Variable 2.2 使用应用程序提供的转换函数 2.3 自定义函数校验
1
sql
注入
SQL
注入就是利用某些数据库的外部接口将用户数据插入到实际的数据库操作语言(
SQL
)当中,从而达到入侵数据库乃至操作系统的目的,如下实例:
1)创建用户表
create table
IF TRUE
INSERT INTO test SELECT 'total_check_report_static_all', TO_TIMESTAMP(tstr,'YYYYMMddHH24miss'), CURRENT_DATE ;
INSERT INTO test SELECT 'total_chec
以下是几个类似
Dolphin
Scheduler
的
调度
系统:
1.
Apache
Oozie:由
Apache
软件基金会开发的开源工作流引擎,可以
调度
Hadoop
作业,并支持多种任务
调度
方式。
2.
Apache
Airflow:由Airbnb开发的开源任务
调度
工具,支持Python编写的任务,可以在可视化界面中管理和
调度
任务。
3.
Apache
NiFi:由
Apache
软件基金会开发的开源数据流处理系统,可以用于将数据从各种来源移动到各种目标,支持任务
调度
和定时任务。
4. Azkaban:由LinkedIn开发的开源批处理工作流管理系统,可以
调度
Hadoop
和S
pa
rk作业,并支持可视化界面管理和
调度
任务。
以上是几个类似
Dolphin
Scheduler
的
调度
系统,它们都有各自的特点和优势,可以根据个人需求选择适合自己的系统。
CSDN-Ada助手: