吕布并不知道，张杨和他的将领们已经接受了李傕和郭汜（si）的悬赏，都打算联手一起对付吕布。
吕布得知这个消息后，赶紧找到张杨说：“张杨，咱们是老乡，你杀了我对你其实没啥好处。你不如放我一马，这样你还能从李傕和郭汜那里得到更多的好处和荣誉。”
张杨听了吕布的话，表面上是答应了李傕和郭汜的要求，但实际上他偷偷地保护着吕布。
李傕和郭汜知道张杨并没有真的对付吕布，都很担心。
于是，他们又想了个办法，发了一份诏书，让吕布去当颍川太守，想以此办法把吕布调走。
公元195年，李傕和郭汜搞乱朝政，汉献帝刘协吓得一路跑到了河东。
到了大阳后，刘协先在百姓家里歇了歇脚，然后又去了李乐的营地。那时候官员们都很饿，河内太守张杨就派了几千人背着大米过来，给官员们送吃的。
之后，汉献帝就坐了一辆牛车，把安邑当作新的都城。
河东太守王邑也送来了很多丝绵和布匹，汉献帝把这些都分给了官员们，为了感谢王邑，还封他为列侯。
同时，汉献帝还任命胡才为征东将军，张杨为安国将军，还给他们发了符节，让他们可以开设自己的官府办公。
到了公元196年的二月，伏完被任命为执金吾，还被提升为辅国将军，可以像三公一样开设自己的官府。
那时候，董承和张阳想让皇帝回到洛阳，但杨奉和李乐却不愿意。
尚书上官洪建议回洛阳，李乐也支持他。
因为这事儿，将领们之间开始闹矛盾，彼此都不信任对方。
张杨就回了野王，其他将领也开始争权夺利，韩暹（xiān）攻打董承，董承就逃到野王去找张杨帮忙，张杨让董承先去修缮雒阳宫室。
胡才和杨奉等人则去了塢乡，打算攻击韩暹，但汉献帝派人去制止了他们。
五月的时候，汉献帝派人到杨奉、李乐、韩暹的营地，请他们帮忙送自己去洛阳。
到了六月，汉献帝就带着车队前往闻喜。
但后来，杨奉和胡才觉得让皇帝的车队离开是个错误，就和李乐商量要把车队追回来。他们找了个借口，说：“我们其实想带您去渑池东边逛逛，顺便避开匈奴。”
但汉献帝没听他们的，他选择从北边的路走，沿着山一直向东，结果路上也没遇到匈奴。
李乐发现自己找的借口是假的，觉得很不好意思，也害怕被皇帝责怪，就辞别汉献帝回去了。
那时候粮食很少，张杨就从野王去迎接汉献帝的车队，还拿粮食救济了百官。。
七月的时候，汉献帝他们终于回到了洛阳，他们暂时先住在了以前常侍赵忠的家里。
张杨在忙着修缮宫殿，想让汉献帝住得更舒服。
汉献帝宣布了一个好消息，他要大赦天下，给曾经犯罪的人们一个改过自新的机会。
到了八月，汉献帝搬进了南宫阳安殿，这座宫殿是张杨修的，他觉得这是自己的功劳，所以就用自己的名字来命名。
张杨对其他将领说：“皇帝是天下人的，不是哪一个人的。现在朝廷里已经有了公卿大臣辅佐皇帝，我就应该负责在外面保护大家，不需要留在京都了。”
于是，他就回到了野王。杨奉也在梁地屯兵。
后来，汉献帝封张杨为大司马，杨奉为车骑将军，韩暹为大将军还兼了司隶校尉，他们都得到了可以调动军队的符节和斧钺（yuè）。
没多久，曹操带着礼物和粮食去朝见汉献帝，还分给了公卿以下的官员们一些粮食。曹操还跟汉献帝打小报告，说了一些韩暹和张杨做过的坏事。
韩暹听了之后非常害怕，就赶紧骑着马逃跑了。
汉献帝想到韩暹和张杨之前曾帮助自己回到洛阳，于是决定不再追究他们的过错，放过他们了。
公元198年，曹操把吕布围在下邳，张杨因为跟吕布关系好，想去救他，但没能成功。
于是，张杨带着大军到东市，远远地摆出要救援的架势。
但没想到，张杨的将领杨丑杀了张杨，之后眭固又杀了杨丑，带着他的部下投奔了袁绍，在射犬屯兵。
曹操听说后，就率军到黄河边，派史涣、曹仁渡过黄河去攻击他们。
眭固让张杨原来的长史薛洪和河内太守缪尚留守，自己则带兵向北去迎接袁绍求援，结果在犬城与史涣、曹仁相遇。
两军交战，眭固的军队大败，眭固也被斩杀。
曹操于是渡过黄河，包围了射犬。
薛洪、缪尚见大势已去，就投降了曹操。曹操封他们为列侯，带着大军返回了敖仓。