林远图是辟邪剑法的创始人，不过当年林远图是通过葵花宝典才领悟出辟邪剑法，欲练此功也要跨过自宫这个门槛，如果林远图自宫练剑为什么他还会有孩子呢?林远图早年是福建莆田少林寺红叶禅师的弟子，法号渡元。当时红叶禅师担心葵花宝典会危害江湖，所以将秘籍烧毁，随后派渡元前往华山向岳肃和蔡子峰解释情况。其实渡元早就私自偷看了秘籍，而且将内容抄在了自己的袈裟上，华山一行后渡元再也没有回到少林，而是给红叶禅师写了一封信，说自己打算还俗。几年后，江湖上便出现了一位高手，凭借辟邪剑法威震武林，还创立福威镖局，这个人就是渡元禅师，还俗后改名林远图。当时林远图的辟邪剑法已经十分了得，那他究竟是如何娶妻生子的呢?
有人说林远图是在自宫以前便有了家室，还有人认为林远图的儿子并非他亲生。针对前一种说法其实有一定可能性，虽然林远图此前一直是佛门弟子，但在寺外或许早已定下姻缘。因为林远图还俗以后做的还是行侠仗义的事情，证明他并没有忘记师傅的教诲，林远图偷学剑法也不是为了称霸武林，而是建立镖局能让家人生活的更稳定。所以我们可以推测，林远图早就有还俗的打算，只是突然出现一个能让他接触到葵花宝典的机会，所以才产生此后的变数。
如此看来第一种可能性是成立的。那第二种可能性有没有可能呢?答案也是有可能的，而且可能性还会稍大一些。林远图在外如果没有另一半，那他应该就是不想继续当和尚，而是通过还俗过上更自由的生活，而辟邪剑法就是他立足的本钱。当时林远图肯定是很快的研习剑法，希望能够早日大功告成，所以根本没时间顾及儿女情长。但林家始终需要继承人，所以就领养了长子林伯奋和次子林仲雄。
林远图直到70岁才金盆洗手，把福威镖局传给了次子林仲雄。大儿子林伯奋考上武举，此时可以说是林家最巅峰的时刻，不仅有人为官，镖局的生意更是蒸蒸蒸日上。但林远图的几个儿子武功都不如他，不过镖局的名声和林家的辟邪剑谱已经无人不知无人不晓，外人也不敢轻易和福威镖局作对。直到林震南接管镖局，才爆发了林家被灭门的惨案。
其实有一点十分奇怪，好像林家除了林远图，他的后代都没有学会完整的辟邪剑谱，所以实力一直上不去。感觉他们更像是生意人，所以余沧海才有机会血洗整个林家。那究竟是他们自己不想自宫学剑，还是林远图不让他们学呢?
