1919年五四运动爆发，这场运动为中国青年提供了直接的斗争经验，并锻造了一批进步分子，为社会主义青年团在上海的建立提供了组织和人员准备。
中国的这场运动，也受到了世界的关注，尤其是共产国际的关注。1920年4月，以维经斯基为首的共产国际代表团抵达北京，与五四运动的领导人李大钊会晤，试图与中国的革命组织建立联系。在李大钊的介绍下，维经斯基等人继而赶往上海，见到了陈独秀，双方就中国革命的问题进行了深入讨论。在共产国际代表团的帮助下，1920年5月，陈独秀组建了秘密团体“马克思主义研究会”，并于8月成立了上海共产主义小组。
进步青年是革命运动的重要力量，陈独秀、李大钊等人在共产主义小组的筹建过程中，就注意到从青年中培养和挑选预备党员的重要性。于是，在上海共产主义小组成立不久，便立即委派党小组内最年轻的俞秀松负责社会主义青年团的组建工作。
1920年8月22日，中国第一个共产主义性质的青年团组织——上海社会主义青年团正式成立。该组织成员包括担任书记的俞秀松及陈望道、叶天底等。上海社会主义青年团，由于成立最早，后又积极指导其他地方团组织的建立与发展工作，并于1921年7月开始代理团中央职权，因此，它的成立意味着中国社会主义青年团的诞生。
1920年秋至1921年春，李大钊、董必武、谭平山、毛泽东分别在北京、武汉、广州、长沙建立社会主义青年团。由于当时各地共产主义小组的活动都是秘密的，而青年团的活动却可以公开或半公开，所以，在本地共产主义小组的领导下，这些青年团组织成为积极宣传马克思主义，发展党、团成员的重要主体，为中国早期共产主义运动作出了重大贡献。
由于内外形势交困，1921年5月前后，许多地方的青年团组织一度出现活动暂停的现象。中共一大会后，中共中央局决定由张太雷等人负责对社会主义青年团进行整顿和恢复，确定青年团“正式中央机关未组成时，以上海机关代理中央职权”。
随后，中国社会主义青年团的组织力量不断增强，各类活动趋于常态化、规范化。1922年5月，中国社会主义青年团第一次全国代表大会在广州召开，会议通过了中国社会主义青年团的纲领与章程。1925年1月，中国社会主义青年团在上海召开的第三次全国代表大会上，“中国社会主义青年团”更名为“中国共产主义青年团”，“共青团”的名称便由此而来。
