起初,李罕之与张全义关系很好,二人在臂膀上刺字结盟,彼此相处十分融洽。但李罕之好大喜功,有勇无谋,性情贪婪粗暴,心中轻视张全义。他听说张全义平日勤奋节俭,为政清廉,比较注重农耕,嘲笑说:“这不过是一个田间的农夫罢了!”平时相处之中也有意无意地流露出轻蔑之意。张全义每次听到这种话,只作没听见,淡然处之,并不和他计较做对。李罕之多次向张全义要谷物布帛,张全义都如数付给,从没有驳回过。可是李罕之索要没有止境,河南难以供给,稍微不能满足他的欲望,他就用刑具拘拿河南的官吏押到河阳用棍棒殴打,致使河南的将领佐官们都很愤怒,纷纷请求采取行动来对付李罕之。
张全义却说:“太尉李罕之所要的东西,怎么能不给呢!”样子好像是怕李罕之似的。李罕之听说此话,认为张全义软弱可欺,便得寸进尺,更加骄横起来。李罕之的手下人从不耕种庄稼,专门通过抢劫掠夺搜刮资财,吃人肉当作粮食。这河南尹的官虽比泽州刺史的官权大了些,但却很不好当。李罕之是个只懂得杀人剽掠、征战杀伐的军阀,根本不懂得安顿流民,组织生产,因此,总是接二连三地向李全义催逼军需物品。当时民生凋敝,饿殍遍地,军粮极难筹集,尽管张全义努力供应,还是无法满足李罕之的要求。再加李罕之性格暴躁,稍不如意,他就对送粮官员大张挞伐,弄得无人敢去送粮。在这种情况下,张全义的许多部下都劝他脱离李罕之或是干脆反叛,可张全义总是好言劝慰,不露声色。