关税大概是人类最为古老的一种税种。一个政治共同体，在自己能够控制的水陆交通要道设立关卡，让通过的人留下买路钱，这就是关税最早的起源。比起其他工商税收和人头税来，关税最为原始直接，聚集财富也最为方便。但在中国的历史上，儒家学派一直是反对随意设立关卡，向过往的商人尤其是向过往的行人征收过关税的。春秋时期鲁国的臧文仲设置了六个收税的关卡，被孔子指责为“三不仁”。孟子给齐国的国王提出的仁政建议，就包括“关讥而不征，则天下之旅皆悦而愿出于其路矣”。意思是对出入关口的人携带的物品或货物进行检查，只要没有携带违禁物品就可放行，不必征税，这样，四方商贾都愿意到这儿来做生意。这些思想，与后来西方自由主义思想家所要求的贸易自由、降低关税有一定的共同点。
事实上，古代各国设立关卡，征收关税，针对的是商人和商人用于销售谋利的商品或者说是货物，一般老百姓的自带物品，则不在征收的范围之内。这是常识，是不言而喻的事情。不但反对征收重税的孟子和荀子都将关税与商人联系起来，就是主张征收苛重关税的商鞅，谈到关税时也只说商人。他说：“重关市之赋则农恶商。”也就是说，关税征收得重一些，农民就不会再羡慕商人，去经商了。显然，关税征税的对象，应该是商人的货物，而不是一般人自带的生活必需品。
这一点，国外历史上也有明确规定。比如，法国圣奥梅尔12世纪的海关关税摘录：“购买布料自用的人可免税”，“对于被称为Hoswades的Buysscheure居民，如果他们不是商人的话，可以免税”。法国圣奥梅尔13世纪的海关关税摘录：“除非从商品中谋利，Morkebneed的居民无须缴纳任何关税。”
这就是说，无论中国还是外国，历史上一般认为关税应该向商人征收，应该向用于谋利的商品或物品征收。相反，历史上一些政权为了聚敛财富，设立关卡对过往人员课以重税，是作为暴政或苛政被记入历史，受到世世代代的谴责的。在中国的南北朝时期，政府就曾经征收桁税和牛埭税，只要经过浮桥或牛埭（设有用牛力拉船装置的土坝），不管是运送货物的商人还是徒手空行的行人，都要纳税，结果弄得怨声载道。
到了晚清时期，中国的关税被英国人主持，政府并无关税可征，在镇压太平天国需要军费的情况下，各地就发明了厘金，在各地设立厘金局，向过往的客商征收厘金。当时有人向皇帝上奏说明厘金的弊端的时候就说，不论是资本微末的小店铺还是肩挑步担的小贩，甚至行人携带的盘缠、包裹，都要收刮。显然，即使是在清末苛捐杂税多如牛毛，政治腐败的形势下，向行人的盘缠和包裹课税也被人为是一种不能容忍的、令人震惊的搜刮行为。
