公元358年，东晋豫州刺史谢奕因病去世，由于谢氏治理豫州颇得民望，于是东晋朝廷召谢氏世家子弟继任，当时谢安的弟弟谢万由于才能出众，又擅长自我表现，因而声誉高于谢安，会稽王司马昱先是召其为从事中郎，接着迁吴兴太守，而这次迁为豫州刺史，都督司州诸军事。然而谢万心高气傲，做为北伐大将却不能安抚士兵，王羲之也写信劝诫。后来谢安十分担忧，便亲自慰问和勉励谢万的部下，更要谢万与手下将帅们多见面对话。然而谢万依旧高傲，一次谢万把众多将领召进来开会，谢万憋了老半天说不出一句话来，然后干脆说了句：“各位将领都是有力的兵卒。”结果将领听到话恼火了以为把他们当士兵看了，会议没好好开就散会了。谢安无奈只得去各个营寨遍访将领说些好话。
公元359年，东晋豫州刺史谢万与徐州刺史郗昙兵分两路，北伐前燕。谢万遣部将为前驱修筑前线城池，然后自己率军打算奔赴洛阳。然而郗昙因病率军北上不久，就率军回了彭城。结果也没告知谢万，谢万也没去打听，以为郗昙碰上前燕大军不战而退，结果谢万跟着仓惶撤退，士兵在没有组织下于是自行溃败，谢万亦只身狼狈逃还。结果这次北伐连仗都没打就败了，前燕遣慕容恪顺利进军占据兖州和徐州的许昌等郡县。谢万因为失职被东晋朝廷贬为平民，于是谢安不得不为谢氏世家的家名出山仕任，由此东晋世家陈郡谢氏逐渐崛起。
谢安，字安石，其父谢裒在永嘉之乱时跟随晋元帝司马睿南渡，之后官至吏部尚书，为谢氏世家垫定了基础。谢安年少时就有名声，当时身为宰相的王导也器重他，然而谢安并不想凭借出身、名望去猎取高官厚禄。东晋朝廷征召他入司徒府，之后的庾冰也听闻他的名声征召他，都被谢安以病为由拒绝了。谢安辞官后隐居到会稽东山，当时谢氏的年轻子弟都让谢安教育，其中就有谢安的侄子谢玄。谢安还和时任会稽太守的王羲之是好友。(公元353年东晋永和九年，王羲之与谢安、孙绰等四十一人，在山阴的兰亭祭祀，会上各人做诗，并由羲之作序为《兰亭序》：永和九年，暮春之初，会于会稽山阴之兰亭。群贤毕至，少长咸集。此地有崇山峻岭，茂林修竹;又有清流激湍，映带左右，引以为流觞曲水，列坐其次……后来兰亭的序文流传后世，被书法家做为典范，这也是王羲之书圣的由来。)由于谢安不肯服从朝廷征召，又因为素有才名，时人常称：“安石不出，将如苍生何!”会稽王司马昱听说了以后则说：“安石既与人同乐，必能与人同忧”。
后来谢万被贬为平民，年已四十的谢安只得出仕，时人称为东山再起。公元360年，征西大将军桓温召谢安为司马，于是谢安便去上任。在谢安动身前往江陵的时候，一些朝中名仕赶来送行。中丞高崧笑说：“卿累违朝旨，高卧东山，诸人每相与言，安石不肯出，将如苍生何!苍生今亦将如卿何!”(之前谢安屡屡拒绝朝廷征召，高卧东山，时人常说谢安不肯出山，天下苍生将如何，今天谢安已出山，那么谢安将对天下苍生如何。意思是说谢安该有一番做为。)谢安实际上知道桓温与会稽王司马昱不和，但是由于桓温在朝廷中的威望，谢安可以借此平步青云，重要的是不会受到桓温排挤。谢安担任桓温司马几个月后，就接受东晋朝廷的征召，任为吴兴郡太守，再后来又迁为吏部尚书、中护军，谢安也竭力辅佐朝政。
