旧唐书:
李林甫在为位时,儿子二十五人、女儿二十五人:岫为将作监,崿为司储郎中,屿为太常少卿;子婿张博济为鸿胪少卿,郑平为户部员外郎,杜位为右补阙,齐宣为谏议大夫,元捴为京兆府户曹。
李林甫被废为庶人时,岫、崿诸子并谪于岭表。(唐代的领表应是岭南,两广之地。)
新唐书:
诸子司储郎中儒、太常少卿屿及岫等都徙到岭南、黔中(多了一处黔中),各给奴婢三人,籍其家;诸婿若张博济、郑平、杜位、元捴,属子复道、光,皆贬官。
753年1月3日,李林甫病逝,由诸子护灵返回长安,发丧于平康坊府邸。唐玄宗追赠他为太尉、扬州大都督,并赐班剑武士、西园秘器。不久,杨国忠拜相。
天宝十二年(753年),杨国忠与安禄山合谋,诬告李林甫与叛将阿布思约为父子,同谋造反。安禄山还派阿布思部落的降将入朝作证。唐玄宗命有司审理。李林甫的女婿杨齐宣担心自己受到牵连,便附和杨国忠,出面证实。当时,李林甫尚未下葬,被削去官爵,抄没家产。诸子被除名流放岭南、黔中,亲党中则有五十余人被贬。唐玄宗还命人劈开李林甫的棺木,挖出口内含珠,剥下金紫朝服,改用小棺以庶人之礼安葬。