到了1996年，马云轻而易举地赚到了数百万元人民币，并在国内有了知名度。此时，网络开始逐渐普及，当时的外经贸部注意到了马云。
1997年，当时的外经贸部邀请马云到北京，加盟一个由联合国发起的项目——EDI（电子数据交换）中心。马云带着自己的创业班子， 来到当时的经贸部下属的中国国际电子商务中心。一年之内，他们就开发了当时的外经贸部官方站点、网上中国商品交易市场、网上中国技术出口交易会、中国招商、网上广交会以及中国外经贸等一系列国家级站点。
每当马云回忆起这段工作经历时，他都会觉得自己“受益匪浅”，他感叹道：“在这之前，我只是一个杭州的小商人。在原外经贸部的工作经历，使我知道了国家未来的发展方向，学会了从宏观上思考问题，我不再是井底之蛙。”同时，马云也更近距离地接触到了海外的商业与商人，从而更加了解全世界商人的需求。最为重要的是，马云比任何一个中国商人都更先看到了中国加入世界贸易组织所能够带来的改变，中国将变成全球第一大供应商基地，变成全球的加工厂。当国外的大企业正在利用建立分部与做广告来寻找中国供应商时，那些国外中小型企业却只能通过朋友介绍来认识中国的中小型制造商。马云认为解决中小型企业之间的沟通问题就是他将来所要建立的网站的主要任务。他要建立一个平台、一个社区，让信息超越地理的界限与文化的阻隔，让世上不再有难做的生意。
1999年，马云回到杭州建立“阿里巴巴”网站。在离开北京之前，他对自己的伙伴们说：“我要回杭州创办一家自己的公司，从零开始。愿意同去的，只有500元工资；愿意留在北京的，可以介绍去收入很高的雅虎或新浪。”
现在，马云依然清晰地记得，在那个滴水成冰的北京的冬天，整个公司一共18个人，他只给大家3天的考虑时间，可没过5分钟，大家就一致决定：“我们回杭州去，一起去芝麻开门！”一边是实惠，另一边是梦想，每个人都被梦想所激励，来到长城上宣誓“要做一个伟大的企业”，所有人都有一种风萧萧兮易水寒的感觉。过完年以后，在杭州的创业动员大会上，大家掏出了自己的积蓄，一共凑了50万元，开始建立阿里巴巴网站，明确网站的发展方向是为企业之间建立一个全世界最大的网上商业信息交流平台。
