1982年3月李憲文因病逝於台大醫院，年僅32歲，當時院方推來一個金屬病床，準備將李憲文的遺體移到太平間，看到金屬病床，李登輝突然親手抱起死去的愛子，因為他擔心兒子會冷，要一步一步陪著李憲文，走完人生的最後一段路。
因白髮人送黑髮人，李登輝愛子離世後，傷心欲絕，甚至一度想去當牧師傳教。李憲文過世時，女兒李坤儀（巧巧）僅有8個月大，之後李登輝將對獨子的愛都留給了孫女，對孫女疼愛有加，而李氏夫婦為懷念獨子，每年3月21日都會為他作追思禮拜。
當年李登輝與妻子對長子李憲文期望很高，管教也相當嚴格，因此父子關係相當微妙。1979年李憲文在父親節，於《中華日報》副刊發表〈我的父親〉文章，表述對父愛的渴望與矛盾，文中提到7歲時，父親自製釣竿，帶他到內湖去釣魚，李憲文形容，那根釣竿意義重大，當時的心情有如女孩子擁有生平第一個洋娃娃一般。
