崂山下清宫，美丽幽静。院内有耐冬树木高达两丈，大数十围；株牡丹高达丈余，花开时节璀璨似锦。
胶州黄生在崂山下清宫读书。天，黄生正在窗下读书，读得久了，有些疲惫，于是向窗外观看。忽然发现有穿着素衣的年轻女郎，掩映在百花丛中。他心中疑惑：这深山古寺怎么会有这少女出现呢？于是开门出去，想看个究竟，又哪有女郎的影子？从此，黄生经常看见这素衣女郎，但每次都找不到她。于是黄生决定偷偷的隐身树丛之中等候着女郎的到来。不大会，果然见那素衣女郎和位红衣女郎来了，远远地望，具可谓艳丽双绝。她们二人慢慢地越走越近，忽然，那红衣女郎向后退了两步，说：“不好，这里有生人！”说着，就要离开。黄生怕错过这次见面良机，急忙从树丛中钻出来。两位女郎大惊，急忙往回奔跑，袖裙飘拂，香气洋溢，沁人肺腑。黄生追过堵短墙，发现她们已踪影皆无。黄生对女郎的爱慕之情更加强烈，于是取来笔硕，在树下题短诗首：
无限相思苦，含情对短窗。
恐归沙吒利，何处觅无双。
黄行回到房间，苦思冥想，心中久久不能平静。忽然，那素衣女郎推门进来，黄生又惊又喜，急忙站起身来迎接。她微微笑，说道：“看你刚才简直象个气势汹汹的强盗；看了你的诗，才知你乃骚雅之士，不妨相见。”黄生受宠苦惊，急忙问女郎的生平。她说：“我名叫香玉，原是洛阳人氏。只中被宫中道士强迫来这里，其实并不是我的愿望。”黄生问：“那道士叫什么名字？我定为你排忧解难。”女郎说：“不必了，其实道士也不敢强逼我什么。在这里若能够长期和你幽会，也好啊！”黄生又问那红衣女郎，她说：“她是我的干姐姐，名叫绛雪。”
二人越谈亲密，情意缠绵，不觉曙色已红。香玉急忙起身，临走说道：“我作了诗，以酬君作，你不要笑我啊。”于是念道：
良夜更易尽，朝暾已上窗。
愿如梁上燕，栖处自成双。
黄生听说，情不自禁地握住香玉的手腕，说：“你真是秀外惠中，令人爱而忘死啊。想到你匆匆离去，真如千里之别。你有时间定要来，与我相会。”香玉答应了他，从此，每天夜里必来与黄生相会。黄生多次请香玉邀绛雪同来，但绛雪总不来，黄生颇有怨恨。香玉说：“我姐姐性殊落落，不象我那么情痴。让我慢慢地劝她，你不要着急。”
天晚上，黄生见香玉含泪而来，哭泣着说：“大祸临头了。今天我就要和你永别了。”说着，以袖试泪。黄生急忙追问究竟，香玉说：“此乃天间，难以给你说明白。”黄生再问，香玉只是呜咽，什么也不说。直到天明，香玉才恋恋不舍地走了。黄生感到非常奇怪。
第二天，即墨县位姓蓝的人带人来下清宫游玩，见到院中有株白牡丹，非常喜欢，就向寺里的人索求，于是说把棵白牡丹掘出来移走了。黄生这才悟到，香玉是牡丹仙子，于是非常惆怅惋惜。过了几天，他听说蓝氏把白牡丹移到家中，枯萎了。他伤心至极，作了《哭花》诗五十首，每天都要到牡丹穴处凭吊。