刘国梁从6岁开始学打乒乓球，1989年入选国青队，1991年入选国家队。运动员时代的刘国梁多次获得男子单打世界冠军，并与队友合作获得过男子双打世界冠军、混合双打世界冠军，作为主力队员多次与队友一起获得男子团体世界冠军，是首位在正式比赛中采取直拍横打技术并取得成功的乒乓球手，是中国男子乒乓球历史上第一位集奥运会、世乒赛、世界杯冠军于一身的“大满贯”得主。
1996年奥运会上，刘国梁获男双(与孔令辉)、男单双料冠军，还是中国第一位世乒赛、世界杯和奥运会“大满贯”获得者，世界杯后在国际乒联排名榜上跃居首位，中国乒协杯赛男双冠军(与孔令辉)、男单第三名，第26届奥运会男单冠军，男双(与孔令辉)冠军，第17届世界杯男单冠军，亚锦赛男双冠军，男团、男单、混双亚军，中国公开赛男双冠军。
1997年第44届世乒赛男团，混双冠军(与邬娜)，男双冠军(与孔令辉，中国公开赛男双冠军(与孔令辉)，巴西公开赛男单、男双冠军，南斯拉夫公开赛男单冠军，八运会男双冠军(与王涛)，国际乒联总决赛男双冠军。
2000年第45届世乒赛团体赛男团亚军，第26届奥运会男单第三名，男双亚军，巴西公开赛男单、男双冠军，中国公开赛男单亚军，日本、美国公开赛男双冠军。
2001年韩国公开赛男双冠军，第46届世乒赛男团冠军、男双亚军。
2002年退役。
2003年6月23日，出任中国国家乒乓球队男队教研组组长兼男队总教练。
2004年3月7日，率领中国男子乒乓球队夺得第47届世乒赛男团冠军。
2005年上海世乒赛，率领中国乒乓球队包揽7金。
2006年，率领中国男子乒乓球队夺得第48届世乒赛男团冠军和多哈亚运会男团冠军。
2008年8月18日，率领中国男子乒乓球队夺得北京奥运会男子乒乓球团体赛冠军和男单冠、亚、季军。
2009年横滨世乒赛，率领中国男乒包揽男单、男双、混双冠亚军。
2016年，率领中国乒乓球队包揽了奥运会全部四枚金牌的辉煌战绩，结束了里约奥运会的征程。
2017年4月，刘国梁任中国乒乓球队总教练，不再兼任男队主教练。
2017年6月，不再担任总教练，任中国乒乓球协会副主席。
2017年6月23日，在刘国梁下任的同时中国男子乒乓球队集体发声并宣布退出国际乒联中国公开赛，称：这一刻我们无心恋战，只因想念刘国梁。
2017年6月29日，国际乒联官方微博宣布，中国乒协为配合此前对6·23退赛风波的调查，决议中国男乒集体退出之后举行的澳大利亚公开赛。同时，中国乒协在其官方网站上发声称，男乒此次退赛是因为男队运动员身体因素未达竞技状态。
2003年6月-2017年4月，刘国梁收拍执教，先后出任中国乒乓球男队主教练、中国乒乓球总教练。教练员时代的刘国梁带领中国乒乓球队获得了三十多项国际赛事冠军。
2018年9月，中国乒乓球协会成立第九届委员会换届筹备工作小组，刘国梁任工作小组组长并主持协会工作。
“他是一名好队员，但我希望他将来成为一名好教练员，而且比我干得好!”(中乒队总教练蔡振华)
“他对乒乓球运动规律有着很深的悟性，是做教练的好人选。(中乒队领队黄飙)
“作为教练，刘国梁有自己的优势：一是多年来积累了丰富的大赛经验，二是对乒乓球的理解较深刻。他非常有希望在教练员岗位上再创辉煌。”(刘国梁启蒙教练尹霄)
“他很有创意，很多人发现不了的问题，他都会说得很清楚。他平时就特别善于观察别人，也善于总结。不仅是对主力队员，对年轻队员他也都很了解，能把他们的特长、弱点说得很清楚。”(刘国梁挚友孔令辉)
