使用X2Doris迁移Doris

X2Doris官网：https://www.selectdb.com/tools/x2doris
官方部署文档：https://docs.selectdb.com/docs/ecosystem/x2doris/x2doris-deployment-guide

简介

使用X2Doris可以高效的完成Doris迁移，可自动建表自动插入数据等。

问题

经过一些不成熟的测试，发现用此工具迁移doris仍然存在以下问题：

• 无法在公网上运行：公网情况下源fe会将be的内网地址返回，以至于内网外的X2Doris根本无法连接
• 迁移过程中比较消耗CPU：在8C16G的机器下，同时启动50+任务（表），CPU内存均爆掉
• 无法增量迁移

部署X2Doris

1. 下载安装包
   https://www.selectdb.com/download/tools#x2doris
   由于没有spark环境，所以选择 v1.0.1_scala_2.12 版本

   wget https://selectdb-doris-1308700295.cos.ap-beijing.myqcloud.com/x2doris/selectdb-x2doris-1.0.1_2.12-bin.tar.gz

2. 解压缩

   tar -zxvf selectdb-x2doris-1.0.1_2.12-bin.tar.gz

3. 初始化元数据

   1. 将系统的数据库类型改成 mysql

   修改 conf/application.yml 文件，将 spring.profiles.action 改成 mysql，默认的 h2, 是内存数据库，系统重启会导致数据丢失

   2. 修改 conf/application-mysql.yml 文件，指定 MySQL 的连接信息

   3. 执行脚本

      进入到 script 下：有两个目录，分别是 schema 和 data

      先执行 schema 下的 mysql-schema.sql 完成表结构的初始化

      再执行 data 下的 mysql-data.sql 完成元数据初始化

4. 启动

   ./bin/startup.sh

5. 访问
   默认访问地址： http://$host:9091 ，可以在 application.yml 里面进行修改。 默认用户名密码: admin/selectdb，登陆后可在主界面操作修改。

使用X2Doris

1. 在“数据源”配置源Doris信息
2. 在“系统设置”-“Target doris info”配置目标Doris信息，其他3个选项不用管
3. 在“作业中心”新增作业，选择源Doris，选择要迁移的数据库，选择创建 批量表 & 作业，填入目标Doris的数据库名（最好提前先建好create database dbname）, 选择创建作业，作业名称随便填，Master选择local，点击新建作业，然后对启动作业，等待迁移完成。
   注意：批量启动的时候不宜选择太多，10个就好，太多会占用大量CPU和内存导致机器崩掉。