中国古代对外贸易起步很早，但隋唐之前该项事务多由所在地方行政官员进行管理，朝廷没有设立专门机构。唐宋以后海上丝绸之路兴起，海外贸易激增，朝廷意识到实行统一管理将促进贸易活动，同时也增加朝廷收入，市舶使、市舶司于是应运而生。
源自唐朝
中国拥有漫长的海岸线，海外经济交往自古以来就很频繁，汉代的商船可远达印度东南海岸，与印度半岛、马来半岛的许多国家和地区建立了直接贸易关系。三国时期，曹魏在北方与日本有经贸往来，孙吴在南方与东南亚国家建立有贸易联系。不过当时海外贸易总量有限，在贸易形式上，除一部分商业性贸易活动外，官方贸易主要以朝贡方式进行，也就是各国派使臣携带物资来中国朝贡，中国皇帝以赏赐名义将产自中国的货物交给各国使臣运回，从贸易角度看相当于物物交换。
隋朝之前，商业性海外贸易一般称“市舶”，进贡性质的海外贸易称“贡舶”。隋炀帝在洛阳定鼎门外设四方馆，接待东西南北四方少数民族及外国使臣，该馆隶属鸿胪寺，下面分设使者四人，其中南蛮使者主要负责南方地区对外交往，包括“市舶”“贡舶”在内的海外贸易名义上都由四方馆管理。不过，四方馆设置原则是“量事繁简，临时损益”，加之隋朝存续时间不长，所以海外贸易的管理体系还没有建立起来，还不能把四方馆称为中国古代最早的海关。
唐朝中期之前，中国对外交往和贸易的主通道是陆上丝绸之路，由于战乱及经济重心南移等原因，海上丝绸之路随后兴起，逐渐成为中外贸易交流的主通道。在此背景下，海外贸易管理体系也发生了重大改革，唐高宗显庆六年（661）朝廷在广州设市舶使，总管海路方向的邦交和外贸，包括向前来贸易的船舶征收关税、为宫廷采购外国货物以及管理海外商人向皇帝进贡的物品等。在此之前，海外贸易实际上由各地方的行政官员兼管，新设的市舶使则由专官充任。
市舶使设立后，唐朝政府虽然介入了海外贸易事务，但并没有把关税作为朝廷的一项重要税收看待，设置市舶使的初衷更多是为皇家采购海外舶来的奇珍异品，所以市舶使在管理上多“拱手监临大略而已”，唐朝政府规定“除舶脚、收市、进奉外， 任其来往通流，自为交易”，当时海外客商在广州的指定区域可“列肆而市”。五代十国期间，割据在东南的各政权大体也承袭了唐朝的做法，设立有博易务、榷货务、榷利院等机构，职权与市舶使一样，负责管理和发展沿海一带的海上贸易，这样的做法一直延续到宋朝。
垂直领导
北宋建立后致力于发展经济，商业活动越来越发达，其中尤以江南地区经济增长速度最快，拥有河港、海港达100多处。宋朝政府意识到商税在增加朝廷财政收入中的重要作用，为加强对外贸易管理，宋太祖开宝四年（971）在广州设市舶司，宋太宗瑞拱二年（989）、宋真宗咸平二年（999 年）又分别设市舶司于杭州、明州（今浙江省宁波市），之后温州、泉州等地的市舶司也相继设立，在一些较小的港口则设立市舶务或市舶场， 它们的共同职责就是管理对外贸易。
一开始，宋朝政府仍采取“州郡兼领”的办法管理市舶司，由地方官员充任市舶使，《宋会要辑稿》记载：“初于广州置司，以知州为使，通判为判官，及转运使司掌其事，又遣京朝官、三班、内侍三人专领之。”宋太祖开宝四年（971）首任广州市舶使的就是同知广州的潘美和尹崇坷。宋神宗继位后朝廷重视“理财”，经济领域里的常平、坑冶、茶马等职能相继独立，这些领域“俱号监司”，相继实行了“垂直领导”。在此背景下，宋神宗元丰三年（1080）海外贸易体制再次改革，《宋会要辑稿》记载：“尚书省言，广州市舶条已修定，乞专委官推行。诏广东以转运使孙迥，广西以运召陈倩，两浙以转运副使周直孺，福建以转运判官王子京。迥、直孺兼提举推行，倩、子京兼觉察拘栏。其广南东路安抚使更不带市舶使。”也就是说，从此时起免除地方长官的市舶兼职﹐改由“专委官”的运转使直接负责市舶司事务。
宋徽宗时，冗官、冗兵、冗费等“三冗”问题更加突出，朝廷财政压力增大，为增收收入，宋徽宗在经济领域广泛推行“专置提举制”，即由朝廷派人直接管理各项重要经济事务，在这种背景下成立了提举市舶司，也简称为“市舶司”，长官称“提举市舶”，相当于朝廷的“派出机构”。此举施行后，朝廷对海外贸易活动的控制和管理进一步加强。从北宋到南宋，经过多次整合、撤并，所设置的重要市舶司共有4处，其中广南路广州市舶司设置最早，存在时间也最长，其他还有两浙路杭州市舶司、福建路泉州市舶司和京东路密州市舶司等3处。没有设置市舶司但同样较为重要的对外贸易港口，则设市舶务、市舶场等，相当于各市舶司的下属机构。
对于市舶机构体制变化的过程，宋元之际史学家马端临在《文献通考》中总结：“旧制虽有市舶司，多州郡兼领；元丰中，始令转运使兼提举，而州郡不复预矣；后专置提举，而转运亦不复预矣。”上述变化，反映出唐宋以后中国海外贸易越来越繁荣，其在经济领域的地位也越来越高，同时也反映出朝廷对海外贸易带来的收益越来越重视。经过多次改革后的市舶司，已经初步具备了海关的职能。
抽解博买
宋神宗元丰三年（1080）市舶改革中所推出的《市舶条法》是中国古代第一部独立的海外贸易法，其中详细规定了市舶司的职守和相关管理政策，这些政策包括：外贸船只必须在相应市舶司领取公凭才能出海，否则以违令论罪；回舶船只必须回到原发舶地登记，抽解纳税；各市舶司负责管理本区域内相应的外国朝贡船舶、贡使及其活动，为减少成本，各国进贡物品一般不再运送京师，而就地变卖；对市舶领域内的违令、犯罪行为实施严厉打击，遇朝廷大赦也不减刑免刑。
随着市舶管理的规范化，市舶司内部体制也固定下来。市舶司的主要官员一般有4人，分别是提举市舶司、监官、勾当公事、监门官，其中提举市舶司即通常所说的市舶使，是市舶司长官，负责全面工作；监官主管“抽买舶货，收支钱物”；勾当公事也称“舶干”，主持市舶司日常杂务；监门官主管市舶库,“逐日收支，宝货钱物浩瀚，全籍监门官检察”，以防侵盗之弊。这些官员之下还设有吏员若干名，有文字、孔目、手分、贴司、书表、都吏、专库、专秤、客司、前行、后行等，岗位设置更加专业，职责内容也十分广泛和具体，如孔目负责审核、验实海外客商的申请，发放公凭；分手负责钱物收支；都吏负责巡视、检查及安全方面的工作；客司负责接待各国贡使及商人。
当海外商船进入中国海域后，市舶司要派员“阅实其货”，这项工作非常重要，有时市舶使也会亲自参加。经过查验后就算入关了，征收关税必不可少，当时称为“抽解”，最早没有这项规定，宋太宗淳化二年（991）开始施行，税率为“二分”，即20%，采取实物收税的办法。当时海上运输困难重重，风险很大，宋太宗后期抽解二分的制度作了调整，改为“十先征其一”，宋神宗时一度改为“十五取一”，在北宋一朝，抽解税率总体呈下降趋势。不过，有些特殊货物抽取比率会更高些，《宋会要辑稿》中有“则其良者，谓如犀象，十分抽二分”的记载，还记载：“以十分为率，珍珠、龙脑凡细色抽一分，玳瑁、苏木凡粗色抽三分。”
除按比率抽解外，市舶司还对有些货物进行采购，称“博买”。这类货物通常是皇家御用之物或京中贵族们消费较多的物资，《宋会要辑稿》记载，宋太宗太平兴国元年（976）7月朝廷向广南东路提举市舶官下诏：“今后遵守祖宗旧制，将中国有用之物如乳香、药物及民间常使香货并多数博买，内乳香一色，客算尤广。”这里提到的乳香，主产于北非和阿拉伯半岛，是有药用价值的香料，由于用量较大，靠抽解办法无法满足需求，所以由市舶司直接采购， 类似的物品还有犀角、象牙等，它们都是皇室贵族喜欢的奢侈品，牛皮、筋角等也常出现在博买清单中，因为它们是“堪造军器之物”。
通过抽解和博买，朝廷获取了大量产自海外的物资，一部分运往京城，由内府统一管理，主要供皇室消费和作赏赐用，其余物资则出售变现，成为朝廷财政收入的一部分。宋仁宗时，每年市舶收入约50万贯左右，之后不断增长，据南宋高宗绍兴十年（1140）的统计，仅广州市舶司变现的关税每年就高达110万贯，各市舶司收入总和约占当时朝廷财政收入的4%至5%，所以《宋史》说“东南之利，舶商居其一”，对于南渡后的宋王朝来说，这项收入显得尤为重要。
