文殊髪塔在五台山塔院寺方丈院後邊，和方丈院僅一牆之隔。塔的形狀和大白塔相仿，但沒有大白塔高，也不象那樣雄偉，它的高度僅兩丈余。這座塔也有一個傳說故事。
南北朝後魏時代，五台山靈鷲寺（今塔院寺），每到春天三月，依例舉行無遮齋會，不論出家、俗家、也不分善男或信女、老的或少的、有錢的還是窮人、甚至乞丐，都可以平等參加，飽食一餐，平等施食，適時表示佛法平等，無人我之分別。
一天， 來了一位窮苦的女人，抱著兩個幼兒，後頭還跟著一條狗，身無多餘之物，孤零無依，來到了靈鷲寺無遮齋會現場，可是尚未到用齋的時候，又由於身無分文，但也不好意思白吃，就剪下頭髮聊充布施之意。對寺里的住持要求說：
「我祇有這些頭髮布施三寶了，請勿拒絕！」
「好的，那就收下了！施主是打哪兒來的呀？」
「從來的地方來。」
住持法師看她這麼回答，心裡有些奇怪。不料這個女人此時開口要求：
「我還有急事要到別的地方去，能否先分一些飲食給我？」
雖然開齋時間未到，但施主的要求還是不能拒絕的。
「好的。」
於是住持法印法師從裡面取出三份食物，用意是讓女人和兩個幼兒都能飽食一餐。
但是用過食物，女人又說：
「還有我這隻狗，它也得吃一些東西才行啊！」
住持法師無可奈何地，又從裡面搬出一些食物，勉強地交給了女人。
女人又說：
「我肚子里還有小孩，也需要分一些食物來吃。」
住持法師忍不住了就怒斥著說：
「你來這裡求出家人布施齋食，卻貪得無厭，是何道理？你肚子里的小孩根本都還沒有生出來，難道說他也能進食？可是你卻求索再三，濫貪美味之心，不覺得太過份了嗎？」
被斥責了的貧女，這個時候就說了一偈：
「苦瓜連根苦，甜瓜徹蒂甜，三界無著處，致使阿師嫌。」
說完了這首偈，立刻騰身踴上了虛空，示現出文殊菩薩的德相，這時狗化而為他座下的獅子，兩個孩子卻是身旁的二位侍者。在雲光縹渺，若隱若現當中，又復說偈：
「眾生學平等，心隨萬境波，百骸俱捨棄，其如愛憎何？」
這首偈的意思是：你們眾生但知學佛要有平等布施之心，雖無可厚非，卻控制不了自己的心識波動，隨著境界而流轉不停。雖然明知要捨下這個外在的身體，無奈你們心中仍然存著愛、憎之心，這又有什麼辦法？又怎樣能入道呢？
當時參加齋會的有一千多人親眼見到了大士的聖跡，聆聽大士警示的偈語，都感動而悲泣著，向空中頂禮說：
「大聖！但願垂示真正的平等法門，也好讓我們一心奉行！」
空中傳來了偈語說：
「持心如大地，亦如水火風，無二無分別，究竟如虛空。」
住持法師這時自己埋怨有眼不識真聖，取刀準備挖出自己的眼睛，以表對褻瀆菩薩的懺悔贖罪之意。
「法師！你不能這樣做！」
「是啊，這麼做於事無補，而且是件傻事啊！」
「贖罪的方法很多，又何苦出此下策呢？」
大眾奪下了住持法師手中的刀，你一言我一語地說。
住持法師於是打消了原意，以貧女（即大士化身）所布施的秀髮，建了一座寶塔來供養。
萬曆初期，圓廣法師接任住持，為了要重新裝修寶塔，在塔下掘得大士的聖髪好幾束，顏色像是金色的，仔細再看，髪色變化不定。
這所寶塔現在在大塔院寺的東側。
下面可以看看动画片《贫女乞食的故事》
