先是，开耀元年十月，定襄道行军大总管裴行俭献定襄所获俘囚，除曲赦外，斩阿史那伏念，温傅等五十四人于都市。初，行俭讨伐之时，许伏念以不死，伏念乃降。时炎害行俭之功，奏云：“伏念是程务挺、张虔勖逼逐于营，又碛北回纥南向逼之，窘急而降。”乃杀之。行俭叹曰：“浑、浚之事，古今耻之。但恐杀降之后，无复来者。”行俭因此称疾不出。炎致国家负义而杀降，妒能害功，构成阴祸，其败也宜哉！
睿宗践祚，下制曰：“饰终追远，斯乃旧章；表德旌贤，有光恒策。故中书令裴炎，含弘禀粹，履信居贞，望重国华，才称人秀。唯几成务，绩宣于代工；偶居无猜，义深于奉上。文明之际，王室多虞，保乂朕躬，实著诚节。而危疑起衅，仓卒罗灾，岁月屡迁，丘封莫树。永言先正，感悼良多。宜追贲于九原，俾增荣于万古。可赠益州大都督。”
炎长子彦先，后为太子舍人；从子伷先，后为工部尚书。
刘祎之，常州晋陵人也。祖兴宗，陈鄱阳王谘议参军。父子翼，善吟讽，有学行。隋大业初，历秘书监，河东柳顾言甚重之。性不容非，朋僚有短，面折之。
友人李伯药常称曰：“刘四虽复骂人，人都不恨。”贞观元年，诏追入京，以母老固辞，太宗许其终养。江南大使李袭誉嘉其至孝，恒以米帛赉之，因上表旌其门闾，改所居为孝慈里。母卒，服竟，征拜吴王府功曹，再迁著作郎、弘文馆直学士，预修《晋书》，加朝散大夫。永徽初卒，高宗遣使吊赠，给灵舆还乡。有集二十卷。