且说谢安和支道林一路游玩，自建康骑马到京口（今镇江一带），在北固山住了些日子，之后从京口乘船，经江南运河、浙东运河，一路买舟而下，到达会稽，见到了传说中的会稽山水，谢安早就欣慕会稽山水，这回劈面相见，满眼绿的山，紫的霞，青的烟，秀的水，只觉相见恨晚，谢安写信告诉父兄，要在这里隐居。
当然，谢安的隐可不同于多年后陶渊明的隐，陶渊明是真隐，草屋八九间，经常穷到喝不上酒，吃不上饭，还要亲自晨兴理荒秽，戴月荷锄归。
谢安在东山，是有真金白银做后盾的。谢裒知道这个儿子劝不住，于是不劝，而是要钱给钱，要人给人，让谢安在东山经营一个田庄出来，全当为谢氏置产。
谢氏最初也想在建康置产，但好房好地好山好水，早被江南旧族占了，空间十分有限，之前也曾在京口一带治了些房产地亩，只是京口是军事重地，游民聚居，亦不是理想的居所。会稽居三吴腹心，山美水美，物产丰富，民多富庶，正是好家园，王家和郗家早已在会稽封锢山泽，建立庄园，谢安既无心仕途，留在建康也没什么大用，不如给谢氏置办一份产业，好为子孙万代计。
谢安把庄园建在半山上，遍植茂林修竹，亭台楼榭，可以修身养性，可以三五好友乘兴而游，还可开大型pARtY。更重要的，庄园占地广大，又收留众多侨户耕种渔猎，相当于谢氏的一次圈地运动。数十年后，谢氏后人谢灵运在他的《山居赋》中说：“春秋有待，朝夕须资，既耕以饭，亦桑贸衣，艺菜当肴，采药救颓……”也就是说，谢家庄园物产丰富，人丁兴盛，不止是居家好去处，更是一条生财路。
庄园建成后，他和支道林又在东山上建造了国庆寺，有这二位文坛新锐、玄学霸主在此，国庆寺香火日盛，之后，又增修了白云、明月二堂，东西各修一座亭子，以供游人远眺。
且说谢安在东山过得正好，朝廷的诏书来了，这是第四次，前三次谢安都拒绝了，这一次，招募他的是中书令、扬州刺史庾冰，作为帝舅，庾氏权力正盛，庾氏兄弟个个人杰，论才学胆识，人品才情，都是当世之俊，特别是庾冰，被称为庾氏之宝，从私人感情上，谢安对庾氏兄弟是颇有好感的。加之，此时谢安的堂兄谢尚顶头上司就是庾翼。
尽管一百个不情愿，谢安去赴任了。可是他还是高估了自己的忍耐力，庾冰待他很友好，但再友好，也是居高临下的友好，每天上班跟坐牢似的，见一些莫名其妙的人，做一些莫名其妙的事。谢安越想越气闷，我在东山待得好好的，诗酒闲游，入山学道，下河泛舟，没来由跑到这儿，处处不自在，人生苦短，争权夺利的事，留给他人做吧，我何苦受这个罪。
勉强忍耐了一个多月，谢安强行辞归，此后，朝廷又征诏过他几次，谢安干脆不奉诏，朝廷一怒，下诏：对谢安同志永不起用。
谢安大喜，这东山，终于可以住安稳了。