跳到正文
返回员工论坛
鼠鼠大王
· 默认分类

连接器升级标准流程

一、升级前先采集现状(必须做)

bash

NS=ljq
BASE=/data/update_ljq_V230-TO-V240_x86_20260924

# 1. 当前 Pod / Deployment / 镜像
kubectl -n $NS get pods -o wide
kubectl -n $NS get deploy -o wide
kubectl -n $NS get deploy digital-modem -o jsonpath='{.spec.template.spec.containers[*].image}'; echo
kubectl -n $NS get deploy modem-nginx  -o jsonpath='{.spec.template.spec.containers[*].image}'; echo

# 2. 当前 flyway 版本表(先导出留存)
kubectl -n $NS exec -it mysql-0 -- mysql -uroot -p'Single&2020' -e \
"SELECT installed_rank, version, script, checksum, success FROM db_modem.flyway_schema_history ORDER BY installed_rank;" \
> /tmp/flyway-before-$(date +%Y%m%d%H%M%S).txt

# 3. 当前 ConfigMap key 列表
kubectl -n $NS get configmap digital-modem-env -o jsonpath='{.data}' | tr ',' '\n' | grep -oE '"[A-Za-z0-9_]+":' | sort -u

# 4. 当前 Service / nginx-svc 情况
kubectl -n $NS get svc
kubectl -n $NS get endpoints nginx-svc 2>&1

# 5. 记录 NODE_FP(应用启动日志里有)
kubectl -n $NS logs -l app=digital-modem --tail=1000 | grep -iE 'LICENSE|NODE_FP'
如果 nginx-svc 不存在或 Endpoints 为空,提前记下来,后面 modem-nginx 会用到。

二、备份(先建目录,再备份)

bash

BK=$BASE/shoudongbeifen
mkdir -p $BK

# 1. 数据库全量备份,等它跑完,不要 Ctrl+C
kubectl -n ljq exec -n ljq mysql-0 -- mysqldump -uroot -p'Single&2020' --all-databases \
  > $BK/$(date +%Y%m%d%H%M%S).sql

ls -lh $BK/*.sql
# 文件必须是 GB 级,不能是 0 字节

# 2. 备份当前实际在用的 YAML(用 find 找,不要硬编码旧路径)
find / -maxdepth 5 -name 'digital-modem-deploy.yml' 2>/dev/null
find / -maxdepth 5 -name 'digital-modem-configmap.yaml' 2>/dev/null
find / -maxdepth 5 -name 'modem-nginx-deploy.yml' 2>/dev/null
find / -maxdepth 5 -name 'modem-nginx-configmap.yml' 2>/dev/null

# 找到后逐个 cp 到 $BK,例如:
# cp /实际路径/digital-modem-deploy.yml $BK/digital-modem-deploy.yml.bak
这台机器没有旧部署包也没关系,数据库备份必须做。

三、升级数据库前,先对比“数据库版本表”和“目标 v2.4.0 包版本”

不要直接无脑 source sql230-240.sql。先对比:

bash

# 1. 当前数据库版本表
kubectl -n ljq exec -it mysql-0 -- mysql -uroot -p'Single&2020' -e \
"SELECT installed_rank, version, script, checksum FROM db_modem.flyway_schema_history ORDER BY installed_rank;"

# 2. 找一套已经升级成功的同版本环境(例如 -003),导出它的版本表作为“目标版本基线”
# 在成功环境上执行:
kubectl -n ljq exec -it mysql-0 -- mysql -uroot -p'Single&2020' -e \
"SELECT installed_rank, version, script, checksum FROM db_modem.flyway_schema_history ORDER BY installed_rank;"

对比规则:

情况处理
数据库有、目标包没有的高版本记录(如 2.3.7/2.3.8)​不要补回​。升级脚本 DELETE version > '2.3.2' 删掉是合理的。若已补回,先删掉,或加 SPRING_FLYWAY_IGNORE_MISSING_MIGRATIONS=true
数据库没有、目标包有的中间版本(如 2.3.3)如果 schema 已包含该变更,插入一条版本记录;否则用 SPRING_FLYWAY_OUT_OF_ORDER=true 让 Flyway 执行
两边版本都有但 checksum 不同按目标包的值 UPDATE checksum
最稳的做法:​以成功环境 ​-003 的版本表为准​,把 -001 的版本表调整成和它一致,再启动 v2.4.0。

四、执行数据库升级脚本

bash

# 1. 如果 flyway_schema_history_bak 已存在,先重命名保留,不要直接删
kubectl -n ljq exec -it mysql-0 -- mysql -uroot -p'Single&2020' -e \
"RENAME TABLE db_modem.flyway_schema_history_bak TO db_modem.flyway_schema_history_bak_$(date +%Y%m%d%H%M%S);"

# 2. 把 SQL 拷进 Pod
kubectl -n ljq cp sql230-240.sql mysql-0:/tmp/

# 3. 非交互执行,出错能立刻看到
kubectl -n ljq exec -i mysql-0 -- \
  mysql -uroot -p'Single&2020' db_modem < sql230-240.sql

# 4. 检查版本表
kubectl -n ljq exec -it mysql-0 -- mysql -uroot -p'Single&2020' -e \
"SELECT installed_rank, version, script, checksum, success FROM db_modem.flyway_schema_history ORDER BY installed_rank;"
如果执行前已经补回/删除了某些记录,按第三步的对比结果调整。​不要重复执行 ​source 导致 ​flyway_schema_history_bak 已存在​;遇到 1050 先重命名 _bak 再执行。

五、补 ConfigMap 缺失 key

v2.4.0 的 YAML 会引用 DM_LICENSE、REDIS_TYPE 等 key,旧 ConfigMap 可能没有,会导致 CreateContainerConfigError。

bash

# 对比 YAML 引用的 key 和 ConfigMap 实际 key
grep -oE 'key: [A-Za-z0-9_]+' $BASE/digital-modem-deploy.yml | sort -u
kubectl -n ljq get configmap digital-modem-env -o jsonpath='{.data}' | tr ',' '\n' | grep -oE '"[A-Za-z0-9_]+":' | sort -u

# 缺 DM_LICENSE / REDIS_TYPE 时补上(License 先空占位)
kubectl -n ljq patch configmap digital-modem-env --type merge \
  -p '{"data":{"DM_LICENSE":"","REDIS_TYPE":"single"}}'

不要用 echo " DM_LICENSE: ''" >> yaml文件 这种方式改 YAML,会破坏结构。


六、升级 digital-modem 应用

bash

# 1. apply v2.4.0 的 all-in-one YAML
kubectl -n ljq apply -f $BASE/digital-modem-deploy.yml

# 2. 确认镜像
kubectl -n ljq get deploy digital-modem -o jsonpath='{.spec.template.spec.containers[*].image}'; echo

# 3. 等 rollout
kubectl -n ljq rollout status deployment/digital-modem --timeout=300s

# 4. 看 Pod
kubectl -n ljq get pods -o wide | grep digital-modem

如果新 Pod CrashLoopBackOff,看 Flyway 日志:

bash

kubectl -n ljq logs -l app=digital-modem --tail=500 | grep -iE 'flyway|migrat|checksum|Resolved locally|Applied to database|Detected|Started|ERROR|already exists'

Flyway 异常处理速查

日志关键字原因处理
Migration checksum mismatch for migration version X数据库 checksum 和 v2.4.0 包不一致从日志抄 Resolved locally,UPDATE flyway_schema_history SET checksum=<值> WHERE version='X',再重启
Detected applied migration not resolved locally: X数据库有、v2.4.0 包没有kubectl set env deployment/digital-modem SPRING_FLYWAY_IGNORE_MISSING_MIGRATIONS=true,或删除该版本记录
Detected resolved migration not applied to database: Xv2.4.0 包有、数据库没有若 schema 已包含该变更,插入版本记录;否则 SPRING_FLYWAY_OUT_OF_ORDER=true 让 Flyway 执行
Table/Column already exists迁移 DDL 已执行过但版本表没记录插入版本记录,或设置 outOfOrder=true 后让 Flyway 跳过
CreateContainerConfigErrorConfigMap 缺 key按第五步补 key,重启
日志是日志,不是命令。只抄日志里的数字去 UPDATE,不要整段复制到终端。

七、升级 modem-nginx

modem-nginx 不走 Flyway,常见问题是 nginx-svc 解析失败。

bash

# 1. 先查 nginx-svc 是否存在、有没有 Endpoints
kubectl -n ljq get svc | grep nginx
kubectl -n ljq get endpoints nginx-svc 2>&1

# 2. 看新 Pod 日志
kubectl -n ljq logs -l app=modem-nginx --tail=100

情况 A:nginx-svc 不存在,或存在但 Endpoints 为空

说明它是死 Service,直接改 ConfigMap,把引用它的 location 改成 return 404:

bash

kubectl -n ljq get configmap modem-nginx-conf -o jsonpath='{.data.nginx\.conf}' > /tmp/nginx-clean.conf
sed -i 's#proxy_pass http://nginx-svc:80/;#return 404;#g' /tmp/nginx-clean.conf
grep -n -A2 'location /modem/sc/\|location /sc/' /tmp/nginx-clean.conf

kubectl -n ljq create configmap modem-nginx-conf \
  --from-file=nginx.conf=/tmp/nginx-clean.conf \
  --dry-run=client -o yaml | kubectl -n ljq apply -f -

情况 B:nginx-svc 有健康 Endpoints

把 ConfigMap 里的 http://nginx-svc:80/ 改成完整 FQDN,例如:

nginx

proxy_pass http://nginx-svc.project-n1.svc.cluster.local:80/;

然后切 v2.4.0 镜像

bash

kubectl -n ljq set image deployment/modem-nginx \
  modem-nginx=crpi-xok010tm4ktyhwww.cn-beijing.personal.cr.aliyuncs.com/hlht-dev/modem-nginx:v2.4.0_dev_base-x86-20260918180913

kubectl -n ljq rollout status deployment/modem-nginx --timeout=180s
kubectl -n ljq logs -l app=modem-nginx --tail=50

八、配置 License(每套连接器单独申请)

每套连接器的 NODE_FP 都不同,License 不能混用。

bash

# 1. 抓 NODE_FP
kubectl -n ljq logs -l app=digital-modem --tail=1000 | grep -iE 'LICENSE|NODE_FP'

# 2. 把 NODE_FP 提交给授权方,拿到该环境专用 License

# 3. 写入 ConfigMap
kubectl -n ljq patch configmap digital-modem-env --type merge \
  -p '{"data":{"DM_LICENSE":"<该环境License>"}}'

# 4. 重启
kubectl -n ljq rollout restart deployment/digital-modem
kubectl -n ljq rollout status deployment/digital-modem --timeout=300s

# 5. 验证不再报 LICENSE-ACTIVATION-REQUIRED
kubectl -n ljq logs -l app=digital-modem --tail=1000 | grep -iE 'LICENSE|NODE_FP'

三套环境指纹示例:

环境NODE\_FP
-001sha256:2f913022f8270692eab4d7db65319183c14fa5ac6c863fd2d33847b7e4162309
-002sha256:63c8bc22504bb1a642f1b028b600af23043391485ba2dc34037deec33d065462
-003sha256:c4756c32e69038bfe2a10adda6bfb499debb81f864106dad12aa9c22ff016297

九、最终验证清单

bash

# 1. Pod 全部 Running
kubectl -n ljq get pods -o wide

# 2. 两个 Deployment 镜像都是 v2.4.0
kubectl -n ljq get deploy digital-modem modem-nginx \
  -o custom-columns='NAME:.metadata.name,IMAGE:.spec.template.spec.containers[*].image'

# 3. Flyway 版本表最高到 2.4.x,全部 success=1
kubectl -n ljq exec -it mysql-0 -- mysql -uroot -p'Single&2020' -e \
"SELECT installed_rank, version, script, success FROM db_modem.flyway_schema_history ORDER BY installed_rank DESC LIMIT 10;"

# 4. 应用日志 Started,无 ERROR
kubectl -n ljq logs -l app=digital-modem --tail=500 | grep -iE 'Successfully applied|Started|ERROR'

# 5. 前端健康检查(NodePort 按实际端口)
curl -k -s -o /dev/null -w 'health: %{http_code}\n' https://127.0.0.1:30081/check_backend_active.html

# 6. 废弃路径返回 404(如果改成了 return 404)
curl -k -s -o /dev/null -w 'sc: %{http_code}\n' https://127.0.0.1:30081/sc/
curl -k -s -o /dev/null -w 'modem/sc: %{http_code}\n' https://127.0.0.1:30081/modem/sc/

期望:Pod 全 Running,镜像 v2.4.0,版本表最高 2.4.x,日志 Started DigitalModemApplication,健康检查 200。


十、回滚要点

如果升级失败需要回滚:

  1. ​先恢复数据库 checksum​,用 flyway_schema_history_bak 里的旧值:
    bash

    UPDATE db_modem.flyway_schema_history f
    JOIN db_modem.flyway_schema_history_bak b ON f.installed_rank=b.installed_rank
    SET f.checksum=b.checksum;
  2. 再 kubectl rollout undo deployment/digital-modem deployment/modem-nginx
  3. 不要只回滚应用不恢复 checksum,否则旧应用也会因 checksum mismatch 起不来。

下一次升级按这个顺序记

  1. 采集现状 + 导出版本表
  2. mkdir -p 备份目录 + mysqldump 全量备份
  3. 对比当前版本表和目标成功环境版本表
  4. 处理 flyway_schema_history_bak,执行 sql230-240.sql
  5. 补 ConfigMap 缺的 key(DM_LICENSE、REDIS_TYPE)
  6. kubectl apply -f $BASE/digital-modem-deploy.yml 升 digital-modem
  7. 看 Flyway 日志,按 checksum / missing / out-of-order 处理
  8. 查 nginx-svc,改 modem-nginx ConfigMap,切 v2.4.0 镜像
  9. 抓 NODE_FP,单独申请 License,patch DM_LICENSE,重启
  10. 按第九节验证清单收尾

最关键的三个坑: 不要用旧 v2.2.0 路径的 YAML;不要用 echo 往 YAML 追加内容;kubectl apply 多文件每个都要 -f。数据库那边,​先对比版本表再执行脚本,不要盲目补回被删的高版本记录​。

7 0

员工论坛

0

还没有回复,来说两句。

目录

目录