知情人士說，黃敬琳與徐文豪關係曖昧的風聲在國安局內部早已傳開，不少同事甚至多次目擊，徐會特別從大直的特勤中心開車到陽明山的國安局本部接黃下班，2人互動極為密切，早已不是祕密。
知情人士透露：「徐文豪是特勤中心公關組長，與黃敬琳有業務往來，雖然2人各自有家庭，但徐很喜歡黃，也對黃展開熱烈追求。」
「2年多前，國安局公關室1名專門委員帶隊到地方拜會，徐與黃都是隨行成員，2人經常出雙入對，徐還會幫黃提行李、背包包，甚至單獨共進早餐，引起同事議論。」
後來在一場餐會上，該名專委公開警告徐、黃說：「你們都是有家室的人，行為請檢點一些！」不料卻遭徐反嗆多管閒事，2人差點大打出手。
知情人士說，徐文豪前年生一場大病住院動手術，休養了1個多月，他的妻子不離不棄，用心照料。但去年中旬，徐妻向徐的同事抱怨，老公不但常常不回家，就連家用也不給，同事好意勸徐，竟引起徐的不滿，在辦公室差點上演全武行，此事也在特勤中心內部傳得沸沸揚揚。
該人士並說，去年中黃敬琳進入「安研班」受訓期間，徐文豪經常趁近水樓台之便，大獻殷勤，但同一時期，台北市議員陳彥伯也對黃展開熱烈追求。直到去年9月，黃與陳的緋聞遭媒體披露後，國安局內部也傳出陳、黃之所以遭偷拍，很可能是因為爭風吃醋之故。
針對與妻子離婚、與黃敬琳交往等傳聞，徐文豪並未否認，但不願多談，只強調：「我已經退伍了，不想做任何回應。」但被問到陳彥伯與黃去年遭偷拍一事，徐則斬釘截鐵地表示與他無關。至於黃敬琳本人，至截稿前仍未回應。
