鼠鼠大王
· 默认分类
连接器升级标准流程
一、升级前先采集现状(必须做)
bash
NS=ljq
BASE=/data/update_ljq_V230-TO-V240_x86_20260924
# 1. 当前 Pod / Deployment / 镜像
kubectl -n $NS get pods -o wide
kubectl -n $NS get deploy -o wide
kubectl -n $NS get deploy digital-modem -o jsonpath='{.spec.template.spec.containers[*].image}'; echo
kubectl -n $NS get deploy modem-nginx -o jsonpath='{.spec.template.spec.containers[*].image}'; echo
# 2. 当前 flyway 版本表(先导出留存)
kubectl -n $NS exec -it mysql-0 -- mysql -uroot -p'Single&2020' -e \
"SELECT installed_rank, version, script, checksum, success FROM db_modem.flyway_schema_history ORDER BY installed_rank;" \
> /tmp/flyway-before-$(date +%Y%m%d%H%M%S).txt
# 3. 当前 ConfigMap key 列表
kubectl -n $NS get configmap digital-modem-env -o jsonpath='{.data}' | tr ',' '\n' | grep -oE '"[A-Za-z0-9_]+":' | sort -u
# 4. 当前 Service / nginx-svc 情况
kubectl -n $NS get svc
kubectl -n $NS get endpoints nginx-svc 2>&1
# 5. 记录 NODE_FP(应用启动日志里有)
kubectl -n $NS logs -l app=digital-modem --tail=1000 | grep -iE 'LICENSE|NODE_FP'如果 nginx-svc 不存在或 Endpoints 为空,提前记下来,后面 modem-nginx 会用到。二、备份(先建目录,再备份)
bash
BK=$BASE/shoudongbeifen
mkdir -p $BK
# 1. 数据库全量备份,等它跑完,不要 Ctrl+C
kubectl -n ljq exec -n ljq mysql-0 -- mysqldump -uroot -p'Single&2020' --all-databases \
> $BK/$(date +%Y%m%d%H%M%S).sql
ls -lh $BK/*.sql
# 文件必须是 GB 级,不能是 0 字节
# 2. 备份当前实际在用的 YAML(用 find 找,不要硬编码旧路径)
find / -maxdepth 5 -name 'digital-modem-deploy.yml' 2>/dev/null
find / -maxdepth 5 -name 'digital-modem-configmap.yaml' 2>/dev/null
find / -maxdepth 5 -name 'modem-nginx-deploy.yml' 2>/dev/null
find / -maxdepth 5 -name 'modem-nginx-configmap.yml' 2>/dev/null
# 找到后逐个 cp 到 $BK,例如:
# cp /实际路径/digital-modem-deploy.yml $BK/digital-modem-deploy.yml.bak这台机器没有旧部署包也没关系,数据库备份必须做。
三、升级数据库前,先对比“数据库版本表”和“目标 v2.4.0 包版本”
不要直接无脑 source sql230-240.sql。先对比:
bash
# 1. 当前数据库版本表
kubectl -n ljq exec -it mysql-0 -- mysql -uroot -p'Single&2020' -e \
"SELECT installed_rank, version, script, checksum FROM db_modem.flyway_schema_history ORDER BY installed_rank;"
# 2. 找一套已经升级成功的同版本环境(例如 -003),导出它的版本表作为“目标版本基线”
# 在成功环境上执行:
kubectl -n ljq exec -it mysql-0 -- mysql -uroot -p'Single&2020' -e \
"SELECT installed_rank, version, script, checksum FROM db_modem.flyway_schema_history ORDER BY installed_rank;"对比规则:
| 情况 | 处理 |
|---|---|
| 数据库有、目标包没有的高版本记录(如 2.3.7/2.3.8) | 不要补回。升级脚本 DELETE version > '2.3.2' 删掉是合理的。若已补回,先删掉,或加 SPRING_FLYWAY_IGNORE_MISSING_MIGRATIONS=true |
| 数据库没有、目标包有的中间版本(如 2.3.3) | 如果 schema 已包含该变更,插入一条版本记录;否则用 SPRING_FLYWAY_OUT_OF_ORDER=true 让 Flyway 执行 |
| 两边版本都有但 checksum 不同 | 按目标包的值 UPDATE checksum |
最稳的做法:以成功环境 -003的版本表为准,把-001的版本表调整成和它一致,再启动 v2.4.0。
四、执行数据库升级脚本
bash
# 1. 如果 flyway_schema_history_bak 已存在,先重命名保留,不要直接删
kubectl -n ljq exec -it mysql-0 -- mysql -uroot -p'Single&2020' -e \
"RENAME TABLE db_modem.flyway_schema_history_bak TO db_modem.flyway_schema_history_bak_$(date +%Y%m%d%H%M%S);"
# 2. 把 SQL 拷进 Pod
kubectl -n ljq cp sql230-240.sql mysql-0:/tmp/
# 3. 非交互执行,出错能立刻看到
kubectl -n ljq exec -i mysql-0 -- \
mysql -uroot -p'Single&2020' db_modem < sql230-240.sql
# 4. 检查版本表
kubectl -n ljq exec -it mysql-0 -- mysql -uroot -p'Single&2020' -e \
"SELECT installed_rank, version, script, checksum, success FROM db_modem.flyway_schema_history ORDER BY installed_rank;"如果执行前已经补回/删除了某些记录,按第三步的对比结果调整。不要重复执行 source导致 flyway_schema_history_bak已存在;遇到 1050 先重命名_bak再执行。
五、补 ConfigMap 缺失 key
v2.4.0 的 YAML 会引用 DM_LICENSE、REDIS_TYPE 等 key,旧 ConfigMap 可能没有,会导致 CreateContainerConfigError。
bash
# 对比 YAML 引用的 key 和 ConfigMap 实际 key
grep -oE 'key: [A-Za-z0-9_]+' $BASE/digital-modem-deploy.yml | sort -u
kubectl -n ljq get configmap digital-modem-env -o jsonpath='{.data}' | tr ',' '\n' | grep -oE '"[A-Za-z0-9_]+":' | sort -u
# 缺 DM_LICENSE / REDIS_TYPE 时补上(License 先空占位)
kubectl -n ljq patch configmap digital-modem-env --type merge \
-p '{"data":{"DM_LICENSE":"","REDIS_TYPE":"single"}}'不要用 echo " DM_LICENSE: ''" >> yaml文件 这种方式改 YAML,会破坏结构。
六、升级 digital-modem 应用
bash
# 1. apply v2.4.0 的 all-in-one YAML
kubectl -n ljq apply -f $BASE/digital-modem-deploy.yml
# 2. 确认镜像
kubectl -n ljq get deploy digital-modem -o jsonpath='{.spec.template.spec.containers[*].image}'; echo
# 3. 等 rollout
kubectl -n ljq rollout status deployment/digital-modem --timeout=300s
# 4. 看 Pod
kubectl -n ljq get pods -o wide | grep digital-modem如果新 Pod CrashLoopBackOff,看 Flyway 日志:
bash
kubectl -n ljq logs -l app=digital-modem --tail=500 | grep -iE 'flyway|migrat|checksum|Resolved locally|Applied to database|Detected|Started|ERROR|already exists'Flyway 异常处理速查
| 日志关键字 | 原因 | 处理 |
|---|---|---|
Migration checksum mismatch for migration version X | 数据库 checksum 和 v2.4.0 包不一致 | 从日志抄 Resolved locally,UPDATE flyway_schema_history SET checksum=<值> WHERE version='X',再重启 |
Detected applied migration not resolved locally: X | 数据库有、v2.4.0 包没有 | kubectl set env deployment/digital-modem SPRING_FLYWAY_IGNORE_MISSING_MIGRATIONS=true,或删除该版本记录 |
Detected resolved migration not applied to database: X | v2.4.0 包有、数据库没有 | 若 schema 已包含该变更,插入版本记录;否则 SPRING_FLYWAY_OUT_OF_ORDER=true 让 Flyway 执行 |
Table/Column already exists | 迁移 DDL 已执行过但版本表没记录 | 插入版本记录,或设置 outOfOrder=true 后让 Flyway 跳过 |
CreateContainerConfigError | ConfigMap 缺 key | 按第五步补 key,重启 |
日志是日志,不是命令。只抄日志里的数字去 UPDATE,不要整段复制到终端。
七、升级 modem-nginx
modem-nginx 不走 Flyway,常见问题是 nginx-svc 解析失败。
bash
# 1. 先查 nginx-svc 是否存在、有没有 Endpoints
kubectl -n ljq get svc | grep nginx
kubectl -n ljq get endpoints nginx-svc 2>&1
# 2. 看新 Pod 日志
kubectl -n ljq logs -l app=modem-nginx --tail=100情况 A:nginx-svc 不存在,或存在但 Endpoints 为空
说明它是死 Service,直接改 ConfigMap,把引用它的 location 改成 return 404:
bash
kubectl -n ljq get configmap modem-nginx-conf -o jsonpath='{.data.nginx\.conf}' > /tmp/nginx-clean.conf
sed -i 's#proxy_pass http://nginx-svc:80/;#return 404;#g' /tmp/nginx-clean.conf
grep -n -A2 'location /modem/sc/\|location /sc/' /tmp/nginx-clean.conf
kubectl -n ljq create configmap modem-nginx-conf \
--from-file=nginx.conf=/tmp/nginx-clean.conf \
--dry-run=client -o yaml | kubectl -n ljq apply -f -情况 B:nginx-svc 有健康 Endpoints
把 ConfigMap 里的 http://nginx-svc:80/ 改成完整 FQDN,例如:
nginx
proxy_pass http://nginx-svc.project-n1.svc.cluster.local:80/;然后切 v2.4.0 镜像
bash
kubectl -n ljq set image deployment/modem-nginx \
modem-nginx=crpi-xok010tm4ktyhwww.cn-beijing.personal.cr.aliyuncs.com/hlht-dev/modem-nginx:v2.4.0_dev_base-x86-20260918180913
kubectl -n ljq rollout status deployment/modem-nginx --timeout=180s
kubectl -n ljq logs -l app=modem-nginx --tail=50八、配置 License(每套连接器单独申请)
每套连接器的 NODE_FP 都不同,License 不能混用。
bash
# 1. 抓 NODE_FP
kubectl -n ljq logs -l app=digital-modem --tail=1000 | grep -iE 'LICENSE|NODE_FP'
# 2. 把 NODE_FP 提交给授权方,拿到该环境专用 License
# 3. 写入 ConfigMap
kubectl -n ljq patch configmap digital-modem-env --type merge \
-p '{"data":{"DM_LICENSE":"<该环境License>"}}'
# 4. 重启
kubectl -n ljq rollout restart deployment/digital-modem
kubectl -n ljq rollout status deployment/digital-modem --timeout=300s
# 5. 验证不再报 LICENSE-ACTIVATION-REQUIRED
kubectl -n ljq logs -l app=digital-modem --tail=1000 | grep -iE 'LICENSE|NODE_FP'三套环境指纹示例:
| 环境 | NODE\_FP |
|---|---|
-001 | sha256:2f913022f8270692eab4d7db65319183c14fa5ac6c863fd2d33847b7e4162309 |
-002 | sha256:63c8bc22504bb1a642f1b028b600af23043391485ba2dc34037deec33d065462 |
-003 | sha256:c4756c32e69038bfe2a10adda6bfb499debb81f864106dad12aa9c22ff016297 |
九、最终验证清单
bash
# 1. Pod 全部 Running
kubectl -n ljq get pods -o wide
# 2. 两个 Deployment 镜像都是 v2.4.0
kubectl -n ljq get deploy digital-modem modem-nginx \
-o custom-columns='NAME:.metadata.name,IMAGE:.spec.template.spec.containers[*].image'
# 3. Flyway 版本表最高到 2.4.x,全部 success=1
kubectl -n ljq exec -it mysql-0 -- mysql -uroot -p'Single&2020' -e \
"SELECT installed_rank, version, script, success FROM db_modem.flyway_schema_history ORDER BY installed_rank DESC LIMIT 10;"
# 4. 应用日志 Started,无 ERROR
kubectl -n ljq logs -l app=digital-modem --tail=500 | grep -iE 'Successfully applied|Started|ERROR'
# 5. 前端健康检查(NodePort 按实际端口)
curl -k -s -o /dev/null -w 'health: %{http_code}\n' https://127.0.0.1:30081/check_backend_active.html
# 6. 废弃路径返回 404(如果改成了 return 404)
curl -k -s -o /dev/null -w 'sc: %{http_code}\n' https://127.0.0.1:30081/sc/
curl -k -s -o /dev/null -w 'modem/sc: %{http_code}\n' https://127.0.0.1:30081/modem/sc/期望:Pod 全 Running,镜像 v2.4.0,版本表最高 2.4.x,日志 Started DigitalModemApplication,健康检查 200。
十、回滚要点
如果升级失败需要回滚:
先恢复数据库 checksum,用
flyway_schema_history_bak里的旧值:
bashUPDATE db_modem.flyway_schema_history f JOIN db_modem.flyway_schema_history_bak b ON f.installed_rank=b.installed_rank SET f.checksum=b.checksum;- 再
kubectl rollout undo deployment/digital-modem deployment/modem-nginx - 不要只回滚应用不恢复 checksum,否则旧应用也会因 checksum mismatch 起不来。
下一次升级按这个顺序记
- 采集现状 + 导出版本表
mkdir -p备份目录 +mysqldump全量备份- 对比当前版本表和目标成功环境版本表
- 处理
flyway_schema_history_bak,执行sql230-240.sql - 补 ConfigMap 缺的 key(
DM_LICENSE、REDIS_TYPE) kubectl apply -f $BASE/digital-modem-deploy.yml升 digital-modem- 看 Flyway 日志,按 checksum / missing / out-of-order 处理
- 查
nginx-svc,改 modem-nginx ConfigMap,切 v2.4.0 镜像 - 抓
NODE_FP,单独申请 License,patchDM_LICENSE,重启 - 按第九节验证清单收尾
最关键的三个坑: 不要用旧 v2.2.0 路径的 YAML;不要用 echo 往 YAML 追加内容;kubectl apply 多文件每个都要 -f。数据库那边,先对比版本表再执行脚本,不要盲目补回被删的高版本记录。