皇后一直没有子嗣，她在别人的撺掇下，设坛求子，以为有了儿子，皇上就会重新宠爱她了。可是，设坛求子这件事，被赵飞燕知道了，她立刻把这件事演化成一出皇后对她和皇帝的诅咒，而且把班婕妤也牵连进去了。皇上此时已经是鬼迷心窍了，立刻把皇后打入冷宫，班婕妤饱读史书，很有智慧，在皇上面前辩白：我听说，生死有命，富贵在天，这一切都是天定的，天天修身养性都不能得到福报，动那些歪脑筋还会有什么好结果？如果神灵有知，怎么会听信人的话？如果神灵无知，与他说什么又有什么用？我不仅不敢做那样的事，也不屑于做那样的事！
应该说，皇上对班婕妤的贤德还是了解的，班婕妤得以解脱，可是皇后就没那么幸运了。
看到如今的皇上如此这般，班婕妤明白，自己躲过一时，躲不过一世，赵氏两姐妹早晚还会把她除掉，而皇后的今天就是她的明天。皇宫哪里是最安全的地方？班婕妤请求皇上，让她去伺候太后。皇上批准了。
从此以后，班婕妤躲进深宫，在太后身边，烧香礼佛，写词作赋，把自己比作秋天的团扇，聊以打发寂寞的时光。
汉成帝死后，班婕妤自己要求到成帝陵墓守陵，过了五年，仅四十多岁，她孤独地离世。
新制齐纨素，皎洁如霜雪。
裁作合欢扇，团圆似明月。
出入君怀袖，动摇微风发；
常恐秋节至，凉飚夺炎热；
弃捐荚笏中，恩情中道绝。
这首《团扇诗》也叫《怨歌行》，写尽了宫中女子的悲凉心境。而在那些孤寂的岁月中，班婕妤有暇写下了大量的辞赋，使她成为西汉著名的辞赋大家。
韩愈就班婕妤被冷落这件事，曾说，一得一失，两者相比，熟得熟失，谁又能说得清呢？
当时的人都说班婕妤侍君不逾礼法，可与周宣王的姜后鸡鸣戒旦，前后媲美，可惜汉成帝沉迷于酒色，远离了班婕妤的规劝及影响，因而周宣王成就了中兴大业，汉成帝却落得个暴毙的结局。这里，我不对汉成帝抱婉惜的心情，只对班婕妤抱婉惜的心情，倘若她遇到了过去的周宣王、楚庄王，或她后来的唐太宗，甚或是明太祖，又当如何？