公孙瓒很快又攻破了居庸城，活捉刘虞及其妻子儿女。此时董卓已死，献帝派使者段训给刘虞增加封地，令其督统六州，升迁公孙瓒为前将军，封易侯。公孙瓒诬陷刘虞与袁绍谋反称帝，胁迫段训斩刘虞及其妻子儿女于蓟市。刘虞为人品德高尚，出身皇族，在士族中影响很大，其任幽州牧后政绩卓着，对内追求宽政，发展经济，安抚百姓，赢得了治下民众的广泛支持；对外执行怀柔的民族政策，深得少数民族民众的爱戴。
据《英雄记》记载，“虞之见杀，故常山相孙瑾、掾张逸、张瓒等忠义愤发，相与就虞，骂瓒极口，然后同死。”可见，刘虞的死使得士族阶层、普通百姓和边疆少数民族三股实力对公孙瓒产生了极大的不满。加之，公孙瓒得到整个幽州之后，日益骄矜，不恤百姓，记过善忘，睚眦必报，促使当地的这三股势力形成合流，对其发起报复。
195年（汉献帝兴平二年），刘虞的从事渔阳鲜于辅、齐周、骑督尉鲜于银等率幽州兵马欲为刘虞报仇，因燕国（今北京大兴）阎柔素有恩义，便推举阎柔为乌丸司马。阎柔招集鲜卑、乌丸等诸部兵马，共得汉兵、胡兵数万人，与公孙瓒所置渔阳太守邹丹战于潞河（今朝白河）之北，大败公孙瓒军，并斩杀邹丹。
坐镇冀州的袁绍敏锐地发现了幽州内部的激烈矛盾，便派遣刘虞之子刘和与麴义率兵，联合乌桓与鲜卑诸部，南北夹击公孙瓒集团。公孙瓒屡战屡败，只得逃回易京（故址在今河北雄县西北）。公孙瓒感觉到自己在幽州的统治已然松动，更没有能力吃掉袁绍集团，故而决定转为守势，临易河挖十余重战壕，又在战壕内堆筑高达五六丈的土丘，丘上又筑有营垒。堑壕中央的土丘最高，达十余丈，公孙瓒自居其中，又囤积粮谷三百万斛。此后，公孙瓒日益疏远宾客，渐渐地身边一个亲信也没有了。
建安三年（198年），袁绍传书给公孙瓒，想与其释和，公孙瓒却没有答复，反而增强了守备。袁绍于是大兴兵马攻打公孙瓒。此时，公孙瓒又犯了第二个严重的错误——丧失军心。《英雄记》记载，一次公孙瓒有别将为敌所围，公孙瓒不肯相救，并说：“救一人，使后将恃救不力战；今不救此，后将当念在自勉。”
《孙子兵法·九地篇》讲到：“投之亡地然后存，陷之死地然后生。”西汉名将韩信应用这一理论，背水结阵、奇正并用，以三万乌合之众大破赵军二十万，获得了“井陉之战”的胜利，演绎了古代军事史上以少胜多的传奇。“井陉之战”中，韩信始终是同将士们在一起直面生死的，正是将领无畏舍身的精神激励了全军的斗志，从而爆发出惊人的战斗力，这才是孙子“置死地而后生”的本意；
而公孙瓒则是把军士放在绝地而自己置身事外、无动于衷，这样怎么能够让人信服，谁又肯为这样的将军去浴血奋战呢？果然，这一举动丧失了士兵对公孙瓒最后的信任。等到袁绍来攻时，公孙瓒南界的别营守军感觉难以抵挡，而又想到公孙瓒必不肯相救，军士无人死战，众人或降或逃。南界守军的迅速瓦解，使得袁绍军直接攻到了易京，并围困该城。
不过，此前精心构筑的易京城防还是延缓了袁绍的进攻，公孙瓒趁机派他的儿子公孙续向黑山（今河南浚县西北）军求救，又想亲自率兵冲出重围，占据西南山，仰仗黑山军的援助，切断袁绍军的后路，以解易京之围。
然而，长吏关靖劝谏道：“如今将士都各怀叛离之心，已无力再战，他们之所以能固守是顾惜自身故乡的老少，而把将军您当成主心骨，将军如能持久坚守，袁绍自然会退兵，四方的别营军队又可以会合。
如果将军现在弃易京而走，军队会失去后镇，易京覆灭指日可待。将军失去根基，流落荒野，怎么成就事业呢？”公孙瓒听后决定不离开易京，等待其子搬来救兵，内外夹攻袁绍。客观上讲，关靖的这段话还是起到了一定的作用，至少为公孙瓒稍稍稳住了本已动摇了的军心，延缓了公孙瓒部的败亡。
同年三月，黑山帅张燕与公孙续率兵来救被袁绍围困的公孙瓒部。援兵未到，公孙瓒便秘密派人送信给公孙续，令续率骑兵于北隰之中，举火把为应，自己就从城内出战，内外合击，击溃袁绍军的包围。不巧袁绍劫得了这封密信，将计就计，如期举起火把。
公孙瓒以为救兵到了，率兵出击。袁绍设伏兵袭击公孙瓒，公孙瓒大败，又回到城内坚守。袁绍掘地道到城楼下，毁坏其望楼，渐渐到达中央的土丘。公孙瓒自料必败无疑，先杀掉自己的妻子儿女、姐妹，然后引火自焚。至此，袁绍彻底消灭了盘踞幽州的“公孙瓒集团”，雄霸青、幽、冀、并四州，统一了黄河以北的大片地区。
就这样，名噪一时的白马将军公孙瓒覆灭了，《三国演义第二十一回曹操煮酒论英雄关公赚城斩车胄》仅借满宠之口简要地讲述了此事。公孙瓒的覆灭，看起来只是因为军事秘密泄露造成的，非常的偶然，但这偶然之中却有着很多的必然因素发挥着作用。
首先，公孙瓒杀死名臣刘虞，使得氏族势力、广大民众和戎狄诸部都对他产生了不满，再加上其独揽幽州大权后，又回到自己“对外强硬、不恤百姓、睚眦必报”的老路上，使得幽州当地三股势力对他的不满变成了怨恨，促使他们合流，共同对抗自己。可以说，公孙瓒在处理刘虞的问题上大失民心，袁绍则很好地把握了这个机会，合纵连横，令公孙瓒陷入了空前的孤立；持续施压，赢得了竞争中的主动。
其次，作为一个以军人身份起家的割据势力首领，军队是公孙瓒统治的有力武器和根本保证，在后期作战中其疏远旧有部下的做法和不救被困部众的行为，激起了军士们的极大不满，在失去民心之后，又丧失了军心，