🔁 一、全量导入（Import）

1. 导入 MySQL 表到 HDFS

sqoop import \
--connect jdbc:mysql://localhost:3306/testdb \     # MySQL JDBC连接
--username root \                                  # 用户名
--password root \                                  # 密码
--table emp \                                      # 要导入的MySQL表名
--target-dir /user/hadoop/emp \                    # 数据导入到的HDFS目录
--delete-target-dir \                              # 删除原有目录（防止重复）
--fields-terminated-by '\t' \                      # 指定字段分隔符为tab
--num-mappers 1                                    # 使用一个Map任务（方便查看）

2. 导入 MySQL 表到 Hive 表中

sqoop import \
--connect jdbc:mysql://localhost:3306/testdb \     # 连接MySQL数据库
--username root \                                  # 用户名
--password root \                                  # 密码
--table emp \                                      # 表名
--hive-import \                                    # 导入到Hive中
--hive-table emp_hive \                            # 指定Hive表名
--fields-terminated-by '\t' \                      # 字段分隔符
--num-mappers 1                                    # 一个Map任务

🔄 二、增量导入（Incremental Import）

1. 模式一：追加模式（append）按ID导入新数据

sqoop import \
--connect jdbc:mysql://localhost:3306/testdb \     # MySQL连接
--username root \                                  # 用户名
--password root \                                  # 密码
--table emp \                                      # 表名
--incremental append \                             # 使用追加模式
--check-column id \                                # 检查id字段的值
--last-value 1000 \                                # 上次最大id，导入id > 1000的数据
--target-dir /user/hadoop/emp_increment \          # HDFS目标路径
--fields-terminated-by '\t' \                      # 字段分隔符
--num-mappers 1                                    # Map任务数量

2. 模式二：按更新时间（lastmodified）

sqoop import \
--connect jdbc:mysql://localhost:3306/testdb \     # MySQL连接
--username root \                                  # 用户名
--password root \                                  # 密码
--table emp \                                      # 表名
--incremental lastmodified \                       # 使用lastmodified模式
--check-column last_updated \                      # 检查更新时间字段
--last-value "2024-01-01 00:00:00" \               # 上次导入时间
--target-dir /user/hadoop/emp_updated \            # HDFS路径
--fields-terminated-by '\t' \                      # 字段分隔符
--num-mappers 1                                    # Map任务数量

🔃 三、导出（Export）从 HDFS 到 MySQL

sqoop export \
--connect jdbc:mysql://localhost:3306/testdb \     # 目标MySQL数据库
--username root \                                  # 用户名
--password root \                                  # 密码
--table emp_backup \                               # 要导出的MySQL表
--export-dir /user/hadoop/emp \                    # HDFS中源数据路径
--fields-terminated-by '\t' \                      # 字段分隔符要和导入时一致
--num-mappers 1                                    # 使用一个Map任务导出

📌 附加说明