在他任河南尹的时候，朱温的势力越来越大，最后终于发展到代唐自立。朱温用武力把唐昭宗挟持到洛阳，想废掉唐朝，建立朱氏后梁政权。但洛阳地区是张全义的势力范围，朱温生怕张全义反对他篡唐自立，就事先撤掉了他的河南尹的职务，把他封为东平王，给他换了一个中书令的虚衔。
此时，张全义已是官场老手了，他知道朱温仍然不相信他，这时候唯一的办法，就是在朱温自立为皇帝的时候替他出力，取得朱温的信任。于是，张全义替朱温出谋划策，把河南一带的财力都集中给了朱温，让他自由地调度使用。这么一来，朱温真的相信张全义了，再加上张全义一再上表辞谢，说自己不配封王，无力担任中书令的职务，弄得朱温都有些感动。在朱温当了皇帝后，对张全义加官晋爵，封他为魏王，让他重做河南尹。
朱温晚年，最大的对手就是李克用父子，因此，朱温对一批曾与李克用有过关系的人也不放心，张全义就是他要杀掉的目标之一。张全义采取的自救措施还是献忠心，把洛阳的财力以及自己的家财全都拿出来，支持朱温对李克用的战争，这才使朱温稍稍气平。后来，张全义又派自己的妻子去宫中为自己说情，这才打动了朱温。朱温让自己的一个儿子娶了张全义的女儿做媳妇，表示对他的信任和好感。