有人认为唐代城市的“街肆恶少”与汉代的游侠具有渊源关系，其实社会属性和时代属性有很大差别。活跃于城市社会中的一些品质恶劣的年轻人，文献中多有记载。这些人的成分很复杂。根据相关资料记载，他们的社会构成主要有以下几类：(1)权贵豪戚子弟;(2)破落世家子弟;(3)城市贫民子弟;(4)外来人员和流动人员;(5)长期盘踞和滞留京城的低级胥吏的辞退人员;(6)各种名目的军队军士及隶属人员。很多情况下，不同类别多有交集，即某一个人可能会兼有多重身份。例如第2类、第5类、第6类都有可能集中在同一人身上。
权贵豪戚子弟
权门豪戚子弟一向是城市社会个性张扬的群体，权贵子弟恃贵而骄，驰骋张扬，隋代已经有突出实例。如隋代的左翊卫大将军宇文述之子宇文化及和宇文智及，由于化及弟士及尚南阳公主，两人更为嚣张。
玄宗朝的记载也不少。如李白诗中所述：“风流少年时，京洛事游遨;腰间延陵剑，玉带明珠袍。我昔斗鸡徒，连延五陵豪。邀遮相组织，呵吓来煎熬。君开万丛人，鞍马皆辟易。告急清宪台，脱余北门厄。”斗鸡酗酒、结伴滋事、炫耀财富等，是玄宗朝以后这些纨绔子弟及其追随者的风格。到唐后期，情况有所不同，活跃在京城的街肆恶少已经属于不同的社会阶层了。
权贵豪戚子弟在京城的嚣张和招摇，从隋到唐后期有变化，隋代的宇文氏子弟，有恃无恐，所作所为也不影响他们的升迁和发达。玄宗朝及其此后，更多的是“五陵少年”，社会风气的蜕变，使得这些少年追逐时尚，斗鸡、炫富、寻仇等，往往结伴滋事。但不少人因祖父余荫，有卫官身份，盼望着建功立业。一些诗人出于各种考虑对他们给予了欣赏性的描述。德宗以后，京城民间社会各种势力活跃起来，从隋初的权贵高门到玄宗朝的五陵少年，又有变化，市井子弟开始占据京城民间社会的舞台。
没落世家子弟
一些破落或没落的世家子弟，盘踞京城，往往纠集一些层次较低的社会恶少，滋事于京城。上述的“五陵少年”，也与破落世家子弟有关。很多破落子弟，很可能追随“五陵少年”，形成声势。
如隋朝的沈光，其家累世有官，后因政治原因而沦落，他本人早年混迹市井，成为恶少所朋附的恶势力，后追随隋炀帝屡建功勋。后为隋炀帝身边的大将，为保护隋炀帝，粉碎宇文化及的谋反而死。
这类破落世家子弟，在京城炫耀和张扬的方式似乎比权贵子弟层次低了些，他们的最高理想是靠立军功升迁。
城市贫民阶层
如果说唐前期的京城恶少大多是攀附于权贵豪戚甚至没落世家子弟，那么到了唐后期，活跃于京师的“恶少”则已有了变化。占据城市舞台中心的恶少已经从权贵豪戚子弟转为一般城市贫民和市民子弟了，他们的炫耀和展示自身的方式更加“城市化”和“低俗化”了。崔沔所作《应封神岳举贤良方正第二道》中有问答，“问：屠钓关拆之流，鸡鸣犬吠之伍，集于都邑，盖八万计。”形容市井之徒云集京城之盛。但八万的数字如何得出，不详。
这些坊市恶少，刺青纹身成为时尚和标识，不仅嚣张于街肆，并且敢与官府叫板，挑战权威。《酉阳杂俎》卷8《鲸》载：“上都街肆恶少，率髠而肤札，备众物形状。恃诸军，张拳强劫，至有以蛇集酒家，捉羊胛击人者。”
还可举出如大宁坊力者张干，“札左膊曰：生不怕京兆尹，右膊曰：死不畏阎罗王”。力者张干，从称谓和名字看，都是靠力气吃饭、社会阶层比较低的人。
京城长安云集着中央官署和京兆府各级各类官署，任职人员包括低级官吏和胥吏及杂职人员。《资治通鉴》云：“官自三师以下一万七千六百八十六员，吏自佐史以上五万七千四百一十六员。”《唐律疏议》云：“流外官者，谓诸司令史以下，有流外告身者。杂任，谓在官供事，无流外品。”上述诸书记载的低级任职人员，可以说除州县地方职任，大多集中在京城各官署，可以分为流外官、杂任杂职、色役三个层次或类别。
李锦绣《关于唐后期官与吏界限的几点思考》一文，同意日本学者砺波护的唐后期胥吏人数增加的观点，并指出，仅财政领域的胥吏增加了近13倍。根据李锦绣文，我们可以得知，一是唐后期胥吏数量的成倍甚至成十倍的增加，尤其是关键部门，虽然传统的旧有的胥吏职位很多已经被后起的吏职甚至是官职所取代，但大量的色役和杂使等充斥着各个部门是不争的事实。
严耕望对这些人口数量的估测是：“长安城全部中央官署之官员胥吏，加京兆府、长安、万年两县之官员胥吏之人数，必当在五万以上。”长安各级各类官署官与吏的比例，或低品加胥吏与中品以上的比例，至少不应低于4：1，那么，长安的胥吏应不少于4万，若加上不在编制内的杂任、杂职掌，人数会更多。
这些群体虽然正史记载中着墨不多，但应该引起足够的重视。如五坊小儿、各宦官机构小使、宫市中的“白望”、公主府中的混混等。唐后期还是可以搜集到很多具体而生动的记载。
外来流动人口
关于唐代长安城的人口数量，很多学者做过估算。严耕望先生的《唐代长安人口数量估测》，对外来流动人口仅仅给予了约五万左右的估测，远远少于实际的数量。其中，从农村和外地涌进都城的外来流动人口没有计算充分，是主要原因之一。严先生将流动人口分为季节性流动与非季节性流动。非季节性流动人口包括四方商人、地方州府吏员进京公干、外国公私人等、留学生、僧徒、每月2900余在京当值的诸使司丁匠幕士，还有将作监、少府监隶属工匠共34850人，根据需要分番上京当值，具体数字不详。季节性流动人口，包括参加吏部铨选的选人，参加礼部科举的举子、州府朝集使等。■
