石器时代的人们用他们的燧石刀和燧石斧能切割种种物品。但很早时他们就发现，用一种齿状的或者说带有据齿的刀口，更容易把坚硬的材料切割开来。考古学家们发现了至少已达1万年之久的带有锯齿刀口的燧石刀身。
但这些带锯齿的刀子部切割不了木头。因此，一种锋利的薄金属锯子就是必需的了。没有人知道这类锯子第一次出现的确切时间，但是古代埃及人大概在其他地区人拥有之前--可能早在公元前4000年时，就已拥育了它们。
这些锯子有着细长的、刀剑似的刀身，连着木制把手。使用最初的锯子的，切割是拉动式的，不像大多数的现代锯子那样是推动式的。
古希腊人和古罗马人继承了埃及人的刀剑式锯子。罗马人还研制了一种“框锯”，一个长的金属刀身插在一个3面有框的木制把手里。这类锯子一般用于粗加工。框锯可做成挺大的，常常是由两个人操作，木料的两边各站一个人。
如合框锯仍然广泛地应用于齐根锯断原木和贮木场的作业。现代形式的埃及锯子仍然被木匠们用于较精细的活。
