一个几百台机器的 HDFS 集群,NameNode 宕机了。有人很镇定地说:"别急,不是还有个 SecondaryNameNode 吗,它会顶上。“结果集群迟迟没有恢复,SecondaryNameNode 既不接管服务,也没有 NameNode 的实时状态。这个名字里带着 Secondary 的角色,到底是"备用机”,还是另有所图?
上一篇我们把 NameNode 彻底讲透:它靠 fsimage 全量快照加 edits 预写日志保证掉电不丢。这篇单独讲 HDFS 里最容易被误解的一个角色——SecondaryNameNode(SNN)。它既不存数据、也不对外服务、更不是热备,却能决定 NameNode 重启要花多久。
一、它是为了解决什么问题而生
先回到 NameNode 的工作方式:每一个写操作(创建、重命名、删除、追加)都会先追加进 edits 日志,再修改内存;而 fsimage 只是命名空间在某一个历史时刻的全量快照。
这里有个隐患:edits 是只追加的,如果一直不合并,它会无限膨胀。NameNode 重启时要把 fsimage 载入内存,再逐条重放 edits 里的所有操作。edits 里攒了几十万、上百万条操作,重启就会慢到难以接受,集群长时间停在安全模式。
这和数据库是同一个问题:事务日志(redo log)不能无限长,必须周期性地把日志"固化"进一个新的基线快照,让日志回到很短,这个动作叫检查点(Checkpoint)。HDFS 里干这件事的,就是 SecondaryNameNode:
- 定期把 fsimage 和 edits 合并成一个新的 fsimage,让 NameNode 手里的 edits 回归很小;
- 合并后即便重启,NameNode 也只需重放很少的日志,重启时间大幅缩短。
一句话:SecondaryNameNode 存在的首要目的是给 NameNode 减负、缩短重启时间,而不是做备份。
二、它是谁,又不是谁
SecondaryNameNode 是一个独立的守护进程,生产环境通常单独部署在一台机器上,而不是跑在 NameNode 里的一个线程。它的边界划得很清楚:
- 不接收客户端的任何读写请求,不参与文件读写,不保存 Block 数据;
- 只和 NameNode 通信,走 HTTP 协议把 fsimage、edits 拉过来,把新 fsimage 推回去;
- 它不对外提供文件系统服务,NameNode 宕机时它不会自动顶上。
这里要特别纠一个命名上的坑:Secondary 的含义是"辅助、次要",不是"备用"。HDFS 里真正的"备用 NameNode"是 HA 架构里的 Standby NameNode,二者完全是两回事。

图 1 SecondaryNameNode 的角色定位与数据通路:只做检查点合并,不对外服务
三、检查点合并的完整过程
合并的核心是"拉过来、在内存里重放、推回去"。完整流程分七步,其中的关键是让 NameNode 先把日志滚动起来,避免合并期间新老操作混在一起。
- 初始状态:集群首次启动时 NameNode 生成一个空的 fsimage,之后的写操作持续记入 edits;
- 滚动日志:触发合并时,SecondaryNameNode 先请求 NameNode 滚动出新的 edits 文件,合并期间的新写操作写进新日志,老 edits 段被冻结;
- 下载文件:SecondaryNameNode 通过 HTTP GET 把当前的 fsimage 和被冻结的老 edits 下载到自己本地;
- 内存重放:它把 fsimage 加载进自己的内存,再逐条应用老 edits 里的操作,得到最新命名空间,然后序列化成一个新的 fsimage 写到本地磁盘;
- 回传新快照:再通过 HTTP PUT 把新的 fsimage 发回 NameNode,NameNode 先存成一个
.ckpt临时文件; - 原子替换:NameNode 校验后把临时文件重命名,正式替换掉旧 fsimage;此刻它手上是一个新的 fsimage,加一个很小的新 edits(合并期间产生的新操作都在里面);
- 周期重复:之后 SecondaryNameNode 按同样的步骤周期性地执行合并。
需要特别注意第 4 步的代价:SecondaryNameNode 要在自己的内存里装下整个命名空间并完整重放,这意味着它的内存需求和 NameNode 是同一个数量级。这也是它要单独部署、且这台机器不能太弱的根本原因——它干的是和 NameNode 启动时一样重的活。

图 2 SecondaryNameNode 检查点合并七步时序:滚动日志 → 下载 → 内存重放 → 回传替换
四、什么时候触发一次合并
检查点不是每时每刻都在做,而是"时间到了"或"事务攒够了"就触发,两个条件是或的关系,先到先合并,由三个参数控制:
dfs.namenode.checkpoint.period:默认 3600 秒(1 小时),按时间间隔周期性合并;dfs.namenode.checkpoint.txns:默认 1,000,000,edits 累计操作事务达到 100 万条也触发合并;dfs.namenode.checkpoint.check.period:默认 60 秒,每隔 1 分钟检查一次事务数是否达到阈值。
在高并发集群里,往往不到 1 小时事务数就已破百万,真正生效的是事务数条件;而在负载很轻的集群里,通常是时间条件先到。
<property>
<name>dfs.namenode.checkpoint.period</name>
<value>3600</value>
</property>
<property>
<name>dfs.namenode.checkpoint.txns</name>
<value>1000000</value>
</property>
<property>
<name>dfs.namenode.checkpoint.check.period</name>
<value>60</value>
</property>
五、它到底能不能当备份用
很多人把它当备份,这个说法对了一半。
它确实提供了有限的冷备份能力:每次合并后新 fsimage 同时存在于 NameNode 和 SecondaryNameNode 两处。如果 NameNode 的本地磁盘损坏,理论上可以从 SecondaryNameNode 上拷回一份 fsimage 来做冷恢复,不至于从零开始。
但它绝不是高可用方案:
- 它是周期性快照,状态最多滞后一个检查点周期;这一周期内的最新操作如果没同步过去,丢了就找不回;
- 它不会自动切换、不会自动接管,恢复需要人工停机、拷文件、重启,是分钟到小时级的操作;
- 它本地没有 NameNode 的实时内存状态,也没有完整的最新 edits。
所以准确的定位是:SecondaryNameNode 是"减负工具 + 一份有丢失窗口的冷备份",不是热备,更不是高可用。
六、HA 时代:谁取代了 SecondaryNameNode
从 Hadoop 2.x 引入高可用(HA)后,SecondaryNameNode 的活被一个更合理的架构接管了。
非 HA 架构是一个 Active NameNode 加一个 SecondaryNameNode:单点对外服务,SNN 只做周期性检查点,NameNode 宕机只能人工冷恢复。
HA 架构则是两个 NameNode 加一组 JournalNode:
- 一个 Active NameNode 对外服务,一个 Standby NameNode 实时热同步;
- Active 把 edits 写到由奇数个 JournalNode(QJM,Quorum Journal Manager) 组成的共享日志里,Standby 持续从中读取并重放,保持与 Active 几乎一致;
- 检查点由 Standby 顺手完成,并周期性把新 fsimage 回传给 Active——SecondaryNameNode 原本的工作被 Standby 接管;
- ZooKeeper + ZKFC 负责健康探测和自动故障转移,Active 挂掉后 Standby 秒级顶上。
这就解释了一个常见现象:开启 HA 的集群里根本没有 SecondaryNameNode 进程,它被 Standby NameNode 取代了;只有非 HA 的单点集群才会部署 SecondaryNameNode。

图 3 非 HA(SNN 定期检查点)与 HA(Active+Standby+JournalNode)架构对比
- 非 HA · SecondaryNameNode:单点对外;定期检查点;故障无自动接管,只能人工冷恢复,存在一个检查点周期的数据丢失窗口。
- HA · Standby NameNode:双 NameNode;Standby 持续同步并做检查点;ZooKeeper 自动切换,秒级接管,是真正的热备。
七、常见误区与排查命令
先把最容易踩的五个坑列出来:
- 把 SecondaryNameNode 当热备/备用机:它只做检查点,不会接管服务;
- 以为它实时同步:它每 1 小时或每 100 万事务才合并一次,状态有延迟;
- 以为它的机器可以很弱:它要在内存里装下整个命名空间,内存与 NameNode 同数量级;
- 以为有了它就零丢失:最多会丢失一个检查点周期内的操作,且要人工恢复;
- 以为 HA 集群还需要它:HA 下检查点由 Standby 完成,不再部署 SNN。
日常排查可以用这几条命令:
# 查看进程,确认 SecondaryNameNode 是否在跑
jps
# 查看当前 checkpoint 相关参数
hdfs getconf -confKey dfs.namenode.checkpoint.period
# 手动滚动 edits(让当前日志段封口、开启新段)
hdfs dfsadmin -rollEdits
# 离线查看 fsimage 与 edits 内容(只读,不影响运行)
hdfs oiv -i fsimage_0000000000001234567 -o fsimage.xml -p XML
hdfs oev -i edits_inprogress_0000000000001234567 -o edits.xml
端口方面,SecondaryNameNode 的 HTTP 页面默认在 50090;NameNode 的 Web UI 在 Hadoop 2.x 是 50070、3.x 是 9870,可以在页面上直观看到 fsimage、edits 的事务号和检查点时间。
写在最后
SecondaryNameNode 的设计体现了一个很典型的取舍:把"重而不紧急"的活从主路径上剥离出去。全量加载 fsimage 并重放 edits 很耗内存和时间,但它不在读写关键路径上,于是交给一个独立的辅助进程周期性去做,NameNode 就可以轻装上阵,专注高并发的元数据服务。它和 JVM 的分代回收、数据库的检查点归档、日志的滚动压缩,本质上是同一种工程思想。
转载自 CSDN-专业IT技术社区
原文链接:https://blog.csdn.net/zmj_0817/article/details/168343505




