小灰人的形象在流行文化中存在了百余年，并且在不同的媒体上出现过。众多科幻小说都刊登了类似小灰人的形象，如赫伯特-乔治·威尔斯系列小说就是其中之一。1901年，《月球上最早的人类》把月球描绘成了外星人的居所，它们没有鼻子，眼睛凸出，步履古怪。这个形象也影响了漫画及科幻杂志上的一些作品，例如戴维·H·凯勒的《征服者》。1933年，瑞典小说家古斯塔夫·桑达格仁使用笔名“加布里埃尔·林德”出版了一本名为《未知危险》的图书，在书中，他这样描述外星种族：“外星人和地球上的任何一个种族都不相同，它们很矮，比日本人还要矮小，它们的手很大，头光秃秃的，头也很大。它们身穿灰色衣服，不过四肢看上去同人类倒很类似。”这本小说后来在年轻读者中引起强烈反响。
20世纪40年代后期以来，受肯尼思·阿诺德目睹不明飞行物体影响，北美公众对外星人及飞碟的关注度大幅攀升，连广播和影视作品都时常把它们作为题材。
20世纪六七十年代，小说题材开始较多地围绕着小灰人展开。1966年，《被打断的旅途》一书出版，这是一个真实的故事——当事人接受了本杰明·西蒙医生为期一年的催眠治疗，医生对他们的回忆进行了记录。书中讲述了1961年9月19日—20日，希尔夫妇在美国新罕布什尔州遭到小灰人绑架，这起事件也是第一次广为人知的外星人诱拐事件。在催眠状态下，他们描述外星人同罗斯韦尔事件中的小灰人外观差不多，同样是类似人类的双手双脚，眼睛更大，鼻子和嘴要比人类小。此外，二人还回忆起一些关于他们遭遇的细节内容，诸如外星人都对他们做了什么检查。更重要的是，据贝蒂·希尔回忆，外星人首领向她展示了一幅星图，这幅星图包含了小灰人所在星球的信息。在催眠状态下，贝蒂将这幅星图画了出来。天文学家玛乔丽·费雪经过数年研究，终于发现这幅星图代表的是39光年之外的网罟座ζ星。最近，美国国防情报局一名退休官员又披露称，1965年，曾有12名美国军人被派往网罟座，作为“地球大使”拜访小灰人的故乡。
1977年，导演斯蒂芬·斯皮尔伯格借助小灰人形象拍摄了电影《第三类接触》，小灰人形象直接来自于诸多UFO目击者和公众媒体的描述。20世纪80年代初，人们将小灰人同1947年的罗斯韦尔飞碟坠毁事故联系在了一起，一大批出版物表明，美军曾得到过几具小灰人尸体。1987年，受欢迎的作家惠特利·斯特里贝尔出版了图书《圣餐》，披露许多同小灰人的近距离接触案例。这本书很快被列入《纽约时报》畅销书排行榜，1989年，导演克里斯多福·沃肯将其改编为了电影。
20世纪90年代起，通俗文化开始将小灰人同军事工业复合体以及新世界秩序阴谋论联系在一起。最着名的例子是美国福克斯电视台的系列剧——《x档案》，该剧于1993年首播，剧情以不明飞行物事件中的小灰人展开，揭示了不明飞行物阴谋论。其他的例子还有1996年—1997年播放的《黑暗的天空》系列，该剧以“MJ-12”计划为蓝本；1997年—2007年播放的美国科幻电视连续剧《星际之门：SG—1》，其中就有一个仁慈的小灰人种族，曾经在远古时期访问过地球，后来成了挪威神话的一部分。
1995年，电影导演雷·桑蒂利宣称得到了解剖小灰人的真实影像资料，据说这段影像拍摄于1947年罗斯韦尔飞碟坠毁事件后。然而，到了2006年，桑蒂利又表示这段影像并非原创，而是来自于翻拍原始影像，他坚持声称美国军方在1947年对小灰人进行过解剖。这一事件成为英国喜剧电影《外星人解剖》的主题。
在美国动画剧《南方公园》中，小灰人被称为是“访问者”，2003年美国喜剧电影《惊声尖笑3》也将小灰人描述成一个主要的外星物种。美国福克斯广播公司2005年播出的成人喜剧卡通片《特工老爹》，其中外星人同样长着小灰人的模样。除了影视作品外，关于小灰人的电脑游戏也有一大堆，显然，小灰人已经成为了西方文化的一部分。