爽私谓彪曰：“诸君坚争不止，祸必有归，故吾不为也。”议罢，卓使司隶校尉宣播以灾异奏免琬、彪等，诣阙谢，即拜光禄大夫。十余日，迁大鸿胪。从入关，转少府、太常，以病免。复为京兆尹、光禄勋，再迁光禄大夫。三年秋，代淳于嘉为司空，以地震免。复拜太常。兴平元年，代朱俊为太尉，录尚书事。及李傕、郭汜之乱，彪尽节卫主，崎岖危难之间，几不免于害。语在《董卓传》。及车驾还洛阳，复守尚书令。
建安元年，从东都许。时天子新迁，大会公卿，兖州刺史曹操上殿，见彪色不悦，恐于此图之，未得宴设，托疾如厕，因出还营。彪以疾罢。时，袁术僣乱，操托彪与术婚姻，诬以欲图废置，奏收下狱，劾以大逆。将作大匠孔融闻之，不及朝服，往见操曰：“杨公四世清德，海内所瞻。《周书》父子兄弟罪不相及，况以袁氏归罪杨公。《易》称‘积善余庆’，徒欺人耳。”操曰：“此国家之意。”融曰：“假使成王杀邵公，周公可得言不知邪？今天下缨緌搢绅所以瞻仰明公者，以公聪明仁智，辅相汉朝，举直厝枉，致之雍熙也。今横杀无辜，则海内观听，谁不解体！孔融鲁国男子，明日便当拂衣而去，不复朝矣。”操不得已，遂理出彪。