Skip to content

Commit

Permalink
Add more details for dumpling (#18841) (#19631)
Browse files Browse the repository at this point in the history
  • Loading branch information
ti-chi-bot authored Jan 21, 2025
1 parent 750e5ae commit 30085e5
Showing 1 changed file with 3 additions and 3 deletions.
6 changes: 3 additions & 3 deletions dumpling-overview.md
Original file line number Diff line number Diff line change
Expand Up @@ -77,7 +77,7 @@ dumpling -u root -P 4000 -h 127.0.0.1 --filetype sql -t 8 -o /tmp/test -r 200000
- `-h``-P``-u` 分别代表地址、端口、用户。如果需要密码验证,可以使用 `-p $YOUR_SECRET_PASSWORD` 将密码传给 Dumpling。
- `-o`(或 `--output`)用于选择存储导出文件的目录,支持本地文件的绝对路径或[外部存储服务的 URI 格式](#存储服务的-uri-格式说明)
- `-t` 用于指定导出的线程数。增加线程数会增加 Dumpling 并发度提高导出速度,但也会加大数据库内存消耗,因此不宜设置过大。一般不超过 64。
- `-r` 用于开启表内并发加速导出。默认值是 `0`,表示不开启。取值大于 0 表示开启,取值是 INT 类型。当数据源为 TiDB 时,设置 `-r` 参数大于 0 表示使用 TiDB region 信息划分区间,同时减少内存使用。具体取值不影响划分算法。对数据源为 MySQL 且表的主键是 INT 的场景,该参数也有表内并发效果。
- `-r` 用于开启表内并发加速导出。默认值是 `0`,表示不开启。取值大于 0 表示开启,取值是 INT 类型。当数据源为 TiDB 时,设置 `-r` 参数大于 0 表示使用 TiDB region 信息划分区间,同时减少内存使用。具体取值不影响划分算法。对数据源为 MySQL 且表的主键或复合主键首列是 INT 的场景,该参数也有表内并发效果。
- `-F` 选项用于指定单个文件的最大大小,单位为 `MiB`,可接受类似 `5GiB``8KB` 的输入。如果你想使用 TiDB Lightning 将该文件加载到 TiDB 实例中,建议将 `-F` 选项的值保持在 256 MiB 或以下。

> **注意:**
Expand Down Expand Up @@ -257,7 +257,7 @@ Dumpling 也可以通过 `-B` 或 `-T` 选项导出特定的数据库/数据表
默认情况下,导出的文件会存储到 `./export-<current local time>` 目录下。常用选项如下:

- `-t` 用于指定导出的线程数。增加线程数会增加 Dumpling 并发度提高导出速度,但也会加大数据库内存消耗,因此不宜设置过大。
- `-r` 选项用于指定单个文件的最大记录数,或者说,数据库中的行数。开启后 Dumpling 会开启表内并发,提高导出大表的速度。当上游为 TiDB 且版本为 v3.0 或更新版本时,设置 `-r` 参数大于 0 表示使用 TiDB region 信息划分表内并发,具体取值不影响划分算法。对上游为 MySQL 且表的主键是 int 的场景,该参数也有表内并发效果。
- `-r` 选项用于指定单个文件的最大记录数,或者说,数据库中的行数。开启后 Dumpling 会开启表内并发,提高导出大表的速度。当上游为 TiDB 且版本为 v3.0 或更新版本时,设置 `-r` 参数大于 0 表示使用 TiDB region 信息划分表内并发,具体取值不影响划分算法。对上游为 MySQL 且表的主键或复合主键首列是 INT 的场景,该参数也有表内并发效果。
- `--compress <format>` 选项可以用于压缩导出的数据,支持 `gzip``snappy``zstd` 压缩算法。压缩可以显著降低导出数据的大小,同时如果存储的写入 I/O 带宽不足,可以使用该选项来加速导出。但该选项也有副作用,由于该选项会对每个文件单独压缩,因此会增加 CPU 消耗。

利用以上选项可以提高 Dumpling 的导出速度。
Expand Down Expand Up @@ -348,7 +348,7 @@ SET GLOBAL tidb_gc_life_time = '10m';
| --case-sensitive | table-filter 是否大小写敏感 | false,大小写不敏感 |
| -h 或 --host| 连接的数据库主机的地址 | "127.0.0.1" |
| -t 或 --threads | 备份并发线程数| 4 |
| -r 或 --rows | 用于开启表内并发加速导出。默认值是 `0`,表示不开启。取值大于 0 表示开启,取值是 INT 类型。当数据源为 TiDB 时,设置 `-r` 参数大于 0 表示使用 TiDB region 信息划分区间,同时减少内存使用。具体取值不影响划分算法。对数据源为 MySQL 且表的主键是 INT 的场景,该参数也有表内并发效果。 |
| -r 或 --rows | 用于开启表内并发加速导出。默认值是 `0`,表示不开启。取值大于 0 表示开启,取值是 INT 类型。当数据源为 TiDB 时,设置 `-r` 参数大于 0 表示使用 TiDB region 信息划分区间,同时减少内存使用。具体取值不影响划分算法。对数据源为 MySQL 且表的主键或复合主键首列是 INT 的场景,该参数也有表内并发效果。 |
| -L 或 --logfile | 日志输出地址,为空时会输出到控制台 | "" |
| --loglevel | 日志级别 {debug,info,warn,error,dpanic,panic,fatal} | "info" |
| --logfmt | 日志输出格式 {text,json} | "text" |
Expand Down

0 comments on commit 30085e5

Please sign in to comment.