15岁初中毕业，到上海进了一家职业学校，学校免了他的学费，但他因为交不起饭费而不得不退学回家。没有学上了，他在杂货店卖点香烟、针线之类的东西，替父亲挑起了养活全家的担子。
那时候他手边没有什么书，只有一本大代数，一本解析几何，还有一本50页的微积分。他就啃这几本书。他说“那时候我当然也不知道有社会主义、共产主义，只感觉我们应该为国家出一点力，争一点光。我就这样开始钻研学问了。也许有人要说这是笑话，念了几年书就谈钻研了。那不是笑话!钻研并不是迷信，并不一定大学毕业才能钻研，也不是非有齐全的条件不可。实际上，真正肯钻研的人在什么场合都可以钻研。”他说，因为自修的关系，他对中学、大学程度的知识都进行了研究。他对初等数学的方方面面都进行了深入的思考，这为他日后在数学的多个领域有所建树奠定了基础。
与他同时代的印度数学家拉马努金也有类似的经历。15岁时他得到一本《纯粹数学与应用数学基本结果汇编》，该书收录了在代数、微积分、三角学和解析几何等方面的五千多个方程，该书中但没有给出证明。他把每一个方程式当成一个研究题，尝试对其进行独特的证明而且还对其中一些进行推广。这花去了他大约5年的时间，留下了几百页的数学笔记。
多年后有个记者问华罗庚，为何选择数学自修，他说：“我别无选择。学别的东西要到处跑，或者要设备条件，我选中数学，因为它只需要一支笔、一张纸——道具简单。”
