大数据技术实践者头像
一文讲透SecondaryNameNode:检查点到底做什么封面图

一文讲透SecondaryNameNode:检查点到底做什么

一个几百台机器的 HDFS 集群,NameNode 宕机了。有人很镇定地说:"别急,不是还有个 SecondaryNameNode 吗,它会顶上。“结果集群迟迟没有恢复,SecondaryNameNode 既不接管服务,也没有 NameNode 的实时状态。这个名字里带着 Secondary 的角色,到底是"备用机”,还是另有所图?

上一篇我们把 NameNode 彻底讲透:它靠 fsimage 全量快照加 edits 预写日志保证掉电不丢。这篇单独讲 HDFS 里最容易被误解的一个角色——SecondaryNameNode(SNN)。它既不存数据、也不对外服务、更不是热备,却能决定 NameNode 重启要花多久。

一、它是为了解决什么问题而生

先回到 NameNode 的工作方式:每一个写操作(创建、重命名、删除、追加)都会先追加进 edits 日志,再修改内存;而 fsimage 只是命名空间在某一个历史时刻的全量快照。

这里有个隐患:edits 是只追加的,如果一直不合并,它会无限膨胀。NameNode 重启时要把 fsimage 载入内存,再逐条重放 edits 里的所有操作。edits 里攒了几十万、上百万条操作,重启就会慢到难以接受,集群长时间停在安全模式。

这和数据库是同一个问题:事务日志(redo log)不能无限长,必须周期性地把日志"固化"进一个新的基线快照,让日志回到很短,这个动作叫检查点(Checkpoint)。HDFS 里干这件事的,就是 SecondaryNameNode:

  • 定期把 fsimage 和 edits 合并成一个新的 fsimage,让 NameNode 手里的 edits 回归很小;
  • 合并后即便重启,NameNode 也只需重放很少的日志,重启时间大幅缩短。

一句话:SecondaryNameNode 存在的首要目的是给 NameNode 减负、缩短重启时间,而不是做备份。

二、它是谁,又不是谁

SecondaryNameNode 是一个独立的守护进程,生产环境通常单独部署在一台机器上,而不是跑在 NameNode 里的一个线程。它的边界划得很清楚:

  • 不接收客户端的任何读写请求,不参与文件读写,不保存 Block 数据;
  • 只和 NameNode 通信,走 HTTP 协议把 fsimage、edits 拉过来,把新 fsimage 推回去;
  • 它不对外提供文件系统服务,NameNode 宕机时它不会自动顶上。

这里要特别纠一个命名上的坑:Secondary 的含义是"辅助、次要",不是"备用"。HDFS 里真正的"备用 NameNode"是 HA 架构里的 Standby NameNode,二者完全是两回事。

图1

图 1 SecondaryNameNode 的角色定位与数据通路:只做检查点合并,不对外服务

三、检查点合并的完整过程

合并的核心是"拉过来、在内存里重放、推回去"。完整流程分七步,其中的关键是让 NameNode 先把日志滚动起来,避免合并期间新老操作混在一起。

  1. 初始状态:集群首次启动时 NameNode 生成一个空的 fsimage,之后的写操作持续记入 edits;
  2. 滚动日志:触发合并时,SecondaryNameNode 先请求 NameNode 滚动出新的 edits 文件,合并期间的新写操作写进新日志,老 edits 段被冻结;
  3. 下载文件:SecondaryNameNode 通过 HTTP GET 把当前的 fsimage 和被冻结的老 edits 下载到自己本地;
  4. 内存重放:它把 fsimage 加载进自己的内存,再逐条应用老 edits 里的操作,得到最新命名空间,然后序列化成一个新的 fsimage 写到本地磁盘;
  5. 回传新快照:再通过 HTTP PUT 把新的 fsimage 发回 NameNode,NameNode 先存成一个 .ckpt 临时文件;
  6. 原子替换:NameNode 校验后把临时文件重命名,正式替换掉旧 fsimage;此刻它手上是一个新的 fsimage,加一个很小的新 edits(合并期间产生的新操作都在里面);
  7. 周期重复:之后 SecondaryNameNode 按同样的步骤周期性地执行合并。

需要特别注意第 4 步的代价:SecondaryNameNode 要在自己的内存里装下整个命名空间并完整重放,这意味着它的内存需求和 NameNode 是同一个数量级。这也是它要单独部署、且这台机器不能太弱的根本原因——它干的是和 NameNode 启动时一样重的活。

图2

图 2 SecondaryNameNode 检查点合并七步时序:滚动日志 → 下载 → 内存重放 → 回传替换

四、什么时候触发一次合并

检查点不是每时每刻都在做,而是"时间到了"或"事务攒够了"就触发,两个条件是或的关系,先到先合并,由三个参数控制:

  • dfs.namenode.checkpoint.period:默认 3600 秒(1 小时),按时间间隔周期性合并;
  • dfs.namenode.checkpoint.txns:默认 1,000,000,edits 累计操作事务达到 100 万条也触发合并;
  • dfs.namenode.checkpoint.check.period:默认 60 秒,每隔 1 分钟检查一次事务数是否达到阈值。

在高并发集群里,往往不到 1 小时事务数就已破百万,真正生效的是事务数条件;而在负载很轻的集群里,通常是时间条件先到。

<property>
  <name>dfs.namenode.checkpoint.period</name>
  <value>3600</value>
</property>
<property>
  <name>dfs.namenode.checkpoint.txns</name>
  <value>1000000</value>
</property>
<property>
  <name>dfs.namenode.checkpoint.check.period</name>
  <value>60</value>
</property>

五、它到底能不能当备份用

很多人把它当备份,这个说法对了一半。

它确实提供了有限的冷备份能力:每次合并后新 fsimage 同时存在于 NameNode 和 SecondaryNameNode 两处。如果 NameNode 的本地磁盘损坏,理论上可以从 SecondaryNameNode 上拷回一份 fsimage 来做冷恢复,不至于从零开始。

但它绝不是高可用方案:

  • 它是周期性快照,状态最多滞后一个检查点周期;这一周期内的最新操作如果没同步过去,丢了就找不回;
  • 它不会自动切换、不会自动接管,恢复需要人工停机、拷文件、重启,是分钟到小时级的操作;
  • 它本地没有 NameNode 的实时内存状态,也没有完整的最新 edits。

所以准确的定位是:SecondaryNameNode 是"减负工具 + 一份有丢失窗口的冷备份",不是热备,更不是高可用。

六、HA 时代:谁取代了 SecondaryNameNode

从 Hadoop 2.x 引入高可用(HA)后,SecondaryNameNode 的活被一个更合理的架构接管了。

非 HA 架构是一个 Active NameNode 加一个 SecondaryNameNode:单点对外服务,SNN 只做周期性检查点,NameNode 宕机只能人工冷恢复。

HA 架构则是两个 NameNode 加一组 JournalNode:

  • 一个 Active NameNode 对外服务,一个 Standby NameNode 实时热同步;
  • Active 把 edits 写到由奇数个 JournalNode(QJM,Quorum Journal Manager) 组成的共享日志里,Standby 持续从中读取并重放,保持与 Active 几乎一致;
  • 检查点由 Standby 顺手完成,并周期性把新 fsimage 回传给 Active——SecondaryNameNode 原本的工作被 Standby 接管;
  • ZooKeeper + ZKFC 负责健康探测和自动故障转移,Active 挂掉后 Standby 秒级顶上。

这就解释了一个常见现象:开启 HA 的集群里根本没有 SecondaryNameNode 进程,它被 Standby NameNode 取代了;只有非 HA 的单点集群才会部署 SecondaryNameNode。

图3

图 3 非 HA(SNN 定期检查点)与 HA(Active+Standby+JournalNode)架构对比

  • 非 HA · SecondaryNameNode:单点对外;定期检查点;故障无自动接管,只能人工冷恢复,存在一个检查点周期的数据丢失窗口。
  • HA · Standby NameNode:双 NameNode;Standby 持续同步并做检查点;ZooKeeper 自动切换,秒级接管,是真正的热备。

七、常见误区与排查命令

先把最容易踩的五个坑列出来:

  1. 把 SecondaryNameNode 当热备/备用机:它只做检查点,不会接管服务;
  2. 以为它实时同步:它每 1 小时或每 100 万事务才合并一次,状态有延迟;
  3. 以为它的机器可以很弱:它要在内存里装下整个命名空间,内存与 NameNode 同数量级;
  4. 以为有了它就零丢失:最多会丢失一个检查点周期内的操作,且要人工恢复;
  5. 以为 HA 集群还需要它:HA 下检查点由 Standby 完成,不再部署 SNN。

日常排查可以用这几条命令:

# 查看进程,确认 SecondaryNameNode 是否在跑
jps

# 查看当前 checkpoint 相关参数
hdfs getconf -confKey dfs.namenode.checkpoint.period

# 手动滚动 edits(让当前日志段封口、开启新段)
hdfs dfsadmin -rollEdits

# 离线查看 fsimage 与 edits 内容(只读,不影响运行)
hdfs oiv -i fsimage_0000000000001234567 -o fsimage.xml -p XML
hdfs oev -i edits_inprogress_0000000000001234567 -o edits.xml

端口方面,SecondaryNameNode 的 HTTP 页面默认在 50090;NameNode 的 Web UI 在 Hadoop 2.x 是 50070、3.x 是 9870,可以在页面上直观看到 fsimage、edits 的事务号和检查点时间。

写在最后

SecondaryNameNode 的设计体现了一个很典型的取舍:把"重而不紧急"的活从主路径上剥离出去。全量加载 fsimage 并重放 edits 很耗内存和时间,但它不在读写关键路径上,于是交给一个独立的辅助进程周期性去做,NameNode 就可以轻装上阵,专注高并发的元数据服务。它和 JVM 的分代回收、数据库的检查点归档、日志的滚动压缩,本质上是同一种工程思想。

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/zmj_0817/article/details/168343505

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--