几天后的一个晚上，守门人的妻子急匆匆地来到赵象的住处，笑着行礼说：“赵郎想见神仙吗？”赵象听后吃了一惊，连声询问。守门人的妻子传达了非烟的话：“功曹今晚在府上值班，这是个好时机。我家后院就是你的前墙。如果你不放弃我们的约定，专心等待，就可以见面了。”
天色已晚，赵象按照约定搭梯子爬上墙，发现非烟已经在下面放好了床。他下来后，看到非烟打扮得很漂亮，迎接他进屋。两人手拉手上床，尽情享受了缱绻之情。天亮时，赵象握着非烟的手说：“能接触到倾国倾城的美貌，拥抱这世间少有的人，我已经心满意足，永远享受这欢乐。”说完，他悄悄地回去了。
从此以后，赵象每隔不到十天，就能在后院与非烟相会一次。他们展示了彼此的深情，倾诉了长久以来的感情，以为鬼神不知，人神相助。这样的秘密相会持续了一年。
然而，好景不长，非烟因为一些小事打了她的女仆。女仆怀恨在心，找机会把一切都告诉了武公业。武公业听后，心中充满了愤怒和背叛感，他说：“你要小心，不要声张，我会自己调查的！”
后来在堂直日，武公业秘密地陈述了情况，请假回家。到了晚上，他像往常一样假装去值班，然后潜伏在里门。等到暮鼓响起，他悄悄地回来，沿着墙走到后院。看到非烟正靠在门口低声吟诵，赵象则靠在墙上斜视。
武公业无法抑制自己的愤怒，冲上前去想抓住赵象。赵象察觉到动静后跳了出来。武公业急忙追赶，只抓到了他的半件衣服。赵象逃脱了，但这段秘密的情感也就此暴露。
非烟的家中，气氛凝重而紧张。公业推开门，他的脸上写满了愤怒与失望。他的目光如刀，直直地射向非烟。非烟见到他，脸色瞬间变得苍白，她的眼中闪过一丝惊慌，但很快被坚定所取代。