翰林院设在大明宫右银台门以北的西夹城内，其建筑是城中套院，院中又套院，大院小院，差不多占去了西夹城的一半面积。
宫廷内置翰林学士是唐朝的首创。
唐制规定：乘舆所在，上至文辞经学之士，下至占卜医学各类奇技淫巧，凡有一技之长的人，皆置于别院，以备皇上召见。可见，翰林院是直属皇上的一个专门的宫廷机构。最初，翰林院由大批的文人、风水专家、占卜者、佛道僧侣、歌舞艺人、大画师、书法大师，甚至棋师组成，他们都是使皇上生活更加充实愉快的翰林待诏。开元二十六年，玄宗在翰林院内新设了一个学士院，与集贤院分掌制诏书敕，为皇上处理国务和起草公文。不久，学士院的重要作用很快超过了集贤院，凡赦书、德音、立后、建储、行大诛讨、拜免三公宰相、命将制书等朝廷重要文献，一律由翰林院的学士负责起草。
进入翰林学士院，李白再次与张垍相见。说得更准确一些，是李白归属于张垍手下，受这位驸马爷的领导。李白不情愿，张垍也不愿意。
此时，张垍在中书省做舍人，官职正五品上。他以中书舍人的身份负责翰林学士院事务，职责虽然重要，官位却较清贵。因此，张垍又兼领了兵部侍郎，做了兵部的实际长官。张垍在朝中的影响和职权，比十二年前李白见他时要大得多了。
“李兄，久违了。”张垍笑容可掬地朝李白迎了过来。
李白见这张垍已不是当年的王孙子弟的派势。他蓄起了长须，眉间现出两道深深的儿字皱眉纹，一副官场老派的架势。不过，张垍的笑脸还和以前一样，显得和蔼可亲。李白想，我也不是当年的李白了，还想用笑脸骗我，没那么容易。
李白满面严肃朝张垍拱手，道：“张侍郎客气，李白奉旨前来翰林院供职，不敢与张大人称兄道弟。”
“哈哈哈哈……”张垍听了李白的话，一阵大笑，说，“李兄说得对，还是大兄弟有见识。在内，我们互为兄弟；在外，你我还是公事公办的好。”
说着，张垍故意四下张望了一圈，小声道：“此时旁边没有外人，你我称称兄弟，也不妨事。”
张垍的话，分明是在戏弄李白。李白哪里会不知道？他想着不与张垍一般计较。日后，在他手下做事，还要以忍字为上才好。这是李白来翰林院前早想好的。
见李白并不表示与他亲近，张垍换了口气，说：“李学士，今日你初入翰林，我事先已做了安排，让属下带你四处走走，熟悉熟悉环境。以后，你可是每日都要在这里上班了。”
李白没听出张垍的话中之话，只当是张垍对他表示友善，便说：“谢谢张侍郎想得周到。”
随着日子的流逝，李白渐渐体会到张垍的意思。他在翰林院上班，一天比一天难熬，那日子与关入牢房差不了多少。
翰林学士每天处理公文、草拟诏书的事务甚多，张垍从来不分配李白去做。他给李白另外安排了一个单进小院，说：“李学士是皇上的御用待诏，只能听候皇上的诏令使用。”
小院有两棵参天古树，有花有草，环境幽雅。可屋内除了台案、座椅等必不可少的办公用具外，其余空空如也。书架上虽摆放着一些线装古书，却都是李白早已熟读过的。
待诏必须一天二十四小时都在院子里待着，因此，李白吃住都在这座小院子。初来乍到，他还能从小院子里找出些新奇事物。日子长了，可以看的都反复看够了，可以写的也写够了，李白又是一个爱四处游历的野腿，自然很不习惯这种生活。
白天，李白极少等到皇上的亲召。等到了，也只是令他写一二首抒情小诗，或是填写汉魏乐府，李白毫不费力，挥笔而就，很快即可交差。晚上，学士院内一片漆黑，同僚们个个打道回府，余下李白一人面对青灯壁影，更是难受。