江苏省有个叫郎玉柱的人，他的祖先曾做过大官，但很清廉，挣了钱不买家产，而是把所有的钱都用来买书。等到了郎玉柱那代，对书更是痴迷，家里非常穷，能卖的都卖了，但书却一本都舍不得卖。他父亲活着的时候，写过一篇《劝学篇》贴在他书桌旁边，郎玉柱每天都读，还用白纱盖上以防字迹会被磨灭。郎玉柱并非是为了当官而读书，但他相信读书可以获得成功，他日夜苦读，不论寒暑。他已经二十多岁了，却不想结婚，期盼着书里的那些美人能来到自己面前。看到亲戚朋友来了，他也不懂得接待，只说了几句话就继续回去读书了，弄得客人只能离开了。每次督学来检查，都会表扬他，但是他总也没有考中。
一天，郎玉柱正在读书，忽然大风把书卷走了，他急忙去追，却不小心掉进了泥坑。他在坑里发现了古人藏的粮食，虽然已经腐烂，不能吃了，但郎玉柱却更相信了“书中自有千钟粟”的说法，读书更加用功了。后来，又有一次郎玉柱在高高的书架上发现了一个直径一尺的金车，他很高兴，以为是验证了“书中自有黄金屋”的说法。他把这个金车拿出来给别人看，结果人家发现这个金车只是镀金，而不是真金制作的。郎玉柱埋怨古人说了谎话骗了自己。过了些日子，有个和他父亲同年考中的人，现在已经当了官，这个人很信佛。有人就劝郎玉柱把那个金车送给那个当官的。果然，这个人很高兴，送给郎玉柱三百两金子、两匹马。郎玉柱又高兴了，以为古人的说法又应验了，又开始刻苦读书了。这是郎玉柱已经三十了，有人就劝他娶妻，但他却说：“书中自有颜如玉，我为什么要担心没有妻子呢。”又这样过了两三年，他还没娶妻，周围的人都笑话他说：“织女是为了你而私自下凡吧。”郎玉柱知道他们是拿他寻开心，就毫不理会。
一天晚上，郎玉柱正在读《汉书》，发现书里夹着一个美女剪纸，觉得“书中自有颜如玉”那句话又应验了。他又仔细看了看那个剪纸，发现背面写着“织女”两个字，心里觉得奇怪，就天天带着这个纸人，每天都拿着。一天，那个美女忽然活了，坐在书上对着他笑。郎玉柱吓了一跳，再一看，那个美女已近有一尺多高了。郎玉柱以为是神仙，急忙行礼。又过了一会儿，美女从桌子上走下来了，和常人一样大小了。郎玉柱一看果然是绝代美女，就问：“您是什么神。”美人笑着说：“我是颜如玉，你很早就知道我了，你这样深信我的存在，所以我必须现身来见你。”郎玉柱非常高兴，每天都和这个美女在一起。颜如玉劝她不要这么苦读书，说：“你不能富贵的原因就是因为读书，你看看考中的人里，有几个是靠苦读书成功的，如果你不听，我就离开你。”郎玉柱听了她的话，但是一会儿就忘了，又开始读书了。颜如玉就悄悄地离开了。郎玉柱失魂落魄地到处找她，忽然想起原来是在《汉书》里看到她的。果然在那里找到了她，哀求了半天，她才又变成活人，还警告郎玉柱说：“如果你再不听我的，我一定会永远地离开你。”颜如玉准备了一些游戏，每天和他一起玩。但郎玉柱心思并不在这里，总是趁颜如玉不注意，偷偷读书，因为害怕被她发现，还把《汉书》藏了起来。但是有一次郎玉柱读书太入神，没发现颜如玉走近。颜如玉就又消失了，但郎玉柱又在《汉书》里找到她了，苦苦哀求了半天，颜如玉终于又出来了，要求他在三天内下棋赢过自己才行，否则就还要回到书里。三天后，郎玉柱果然赢了。颜如玉又限定他要在五天内练熟一支曲子，郎玉柱再一次完成了。从此每天颜如玉都和他一起喝酒下棋弹琴，快乐得忘记了读书。颜如玉后来同意他外出去结识朋友，也因此获得了潇洒公子的美称。最后，颜如玉说：“现在你可以参加科举了。”
某天晚上，郎玉柱问颜如玉：“一般男女住在一起都会有小孩的，为什么我们一起住了这么久还没有孩子呢？”“你只知道读书，却还不了解男女之间的事情啊。”颜如玉后来终于有了小孩，还请了人来照顾孩子。
一天，颜如玉说：“我已和你在一起两年了，也为你生了孩子，可以离开了。待得太久会给你惹祸的，到时候后悔都来不及了。”郎玉柱听完十分难过，哭着说：“你难道不会想念我们的孩子吗？”颜如玉也很伤心，半天才说：“如果你一定要我留下，就要把所有的书都处理掉。”郎玉柱说：“那些书是我生命中最重要的东西，也是你的故乡，你怎么能让我把它们扔掉呢。”颜如玉不强求他扔掉书，只是说：“我知道为什么需要扔掉书，但是不能告诉你。”原来先前，郎玉柱的亲戚们见过颜如玉之后，被她的美貌惊呆，都来问郎玉柱是怎么回事。郎玉柱不会说假话，把事情的经过全说了。后来这件事被县令知道了，县令很好奇颜如玉是多美的人，就下令抓郎玉柱和颜如玉。颜如玉听到县令要抓他们的消息，就消失了。县令很生气，就把郎玉柱抓到了官府，严刑拷打逼问颜如玉去了哪里。郎玉柱都快被打死了却什么都没说。县令又抓了颜如玉的女仆，这才问出了颜如玉的事情。县令认为颜如玉是妖怪，就亲自去了郎玉柱家，但发现书太多了，根本找不到，所以就命人把所有的书都烧了。顿时院子里充满了烟雾，把白天变成了黑夜。
后来，郎玉柱被释放后，考中了进士。他对那个县令恨之入骨，为颜如玉设了一个牌位，每天都祈祷说：“如果你有灵，一定要保佑我去当那个县令的上级。”后来郎玉柱果然如愿了，也查出那个县令的恶行，狠狠地惩治了他。