这个成语出自唐代韩愈的《华山女》诗。
　　韩愈反对宗教，而唐代又盛行宗教，对此他写诗进行讽刺。《华山女》写的是佛、道两教争取信徒的情形。华山县城里佛教势力大，佛教徒讲经时，听者很多；道教与之相反，听者甚少。为了改变此种状况，华山女道士亲自出马，在讲演道经时以卖弄色相吸引信徒。诗里描写道教徒讲经：“黄衣道士亦讲说，座下寥落如明星。”意思是说着黄衣的道教徒讲演经文时座下的人少得像早晨天空的星星，寥寥无几。
　　人们由“寥落如明星”引申出“寥若晨星”这个成语，比喻为数非常少。