对于河内坂良那，许衡一直耿耿于怀，希望有朝一日可以寻回佛头，奉还朝廷，恢复家族名誉。为此，他拼命钻研金石玉石的鉴别之道，逐渐在当地有了名气，娶妻生子，把根扎在了岐山。儿子成年之后，许衡把家业与鉴古手艺传承给他，留下一篇《自叙》给家人，毅然离开岐山。
在《自叙》里，许衡先是把玉佛的来龙去脉讲了一遍，然后表示自己的时日无多，希望能在临死前去日本，毫无顾忌地放手一搏，才算对得起自己当年的誓言。许衡还表示，如果他没有回到中土，说明佛头的任务失败了，那么这个使命，将由许家子孙一代代传下去，直到玉佛身首归为一为止。
据说后来他化装成僧人，混入鉴真大师的队伍，从此再无任何消息。究竟他是在海难中身亡，还是在日本被杀，就没人知道了。
但许家没有遗忘家族祖先的遗训，将祖先交托的使命一代一代传了下去。笔记里列了一个很详细的家谱清单，上面的记录显示，许家从没有忘记过这个遗训，一直把佛身保护得很好，再窘迫的时候，也没人会提出卖掉它。
几百年下来，许家的金石鉴定之术已成为权威，更逐渐吸引了一批志同道合者，形成了五脉鉴古的雏形。而先祖许衡的嘱托，历代许家子孙也未敢遗忘，每一代总有人会前往岐山，守护玉佛身。笔记关于这一部分的记录，零散而琐碎，都是在记叙哪一代什么人做的关于玉佛的什么事。