「家徒四壁」這個成語出自於司馬遷所寫的《史記》，當中《司馬相如列傳》有言：「文君夜亡奔相如，相如乃與馳歸成都，家居徒四壁立。」
故事主角司馬相如本來並不叫相如，而是叫犬子。可是因為他少時善於擊劍、撫琴，又特別崇拜戰國時期的藺相如，所以才改名為相如。身為文學家的司馬相如博學多才，為人風流瀟灑，所以很多人都願意跟他交往。漢朝有名的辭賦家，例如：鄒陽、枚乘都與他相交甚歡。
漢景帝，司馬相如出任過武騎常侍，但官途不順的他最後還是主動退職，並投靠了臨邛令。縣太守見賦聖歸來，自然想結交一番。因此，他每天都到司馬相如的家拜訪。起初，司馬相如還會和縣太守相見，但後來不管縣太守怎樣請求相見，他始終都是閉門不出。
這樣的「奇聞」自然傳遍整個縣城，而縣城內兩位靠煉鐵致富的富豪也被司馬相如勾起了好奇心。於是，一個名為卓王孫的富豪便主動邀請司馬相如到家中作客，但司馬相如都以身體不適為由拒絕了。無可奈何下，卓王孫只好央求縣太守親自邀請司馬相如，這才終於把他請來了。
卓王孫知道司馬相如要出席可高興壞了，恨不得大擺宴席來表達心中的激動。在這樣鋪張的安排下，酒宴當然是熱鬧非凡。雖然司馬相如有一點口吃，但這不妨礙他彈琴彈得非常出色。心知這點的縣太守便主動給司馬相如遞上一把琴。司馬相如見狀，也不好拂了太守的面子，便彈奏了一曲《鳳求凰》。
在場賓客聽得如痴如醉，就連卓王孫的女兒卓文君也大為讚嘆。自幼喜愛音樂的卓文君自早就聽說過司馬相如的大名，如今躲在簾後看到他一表人才後更是芳心暗許。司馬相如在彈奏完畢反，也不禁被簾後一雙含情目所打動。因此，他重金收買了卓文君的貼身丫鬟，讓她向卓文君轉達他的愛慕之情。
卓王孫嫌棄司馬相如貧窮，所以不同意兩人的婚事。沒想到，卓文君連夜與司馬相如私奔。到了司馬相如的家後，卓文君才發現他家窮得只剩四面。然而，她並沒有感到後悔，反而跟司馬相開了家小酒店。卓文君負責當壚賣酒，司馬相如則穿着短褲當夥計。卓王孫得知此事後十分氣憤，一文錢也不肯接濟他們，但卓文君對此卻毫無怨言。直到後來漢武帝讀了司馬相如的文章，才把司馬相如召進京城，並封他為郎。
後人據此提煉出成語「家徒四壁」，意指家裡窮得只有四面牆壁。
