从此，牛郎和织女过上了幸福美满的日子。转眼间，三年过去了，他们生了两个孩子，织女常给两个孩子讲天上的故事，天上富丽堂皇，可是没有自由，她不喜欢，她喜欢人间的生活。她有时也会发愁，她怕外祖母会来找她。
一天，牛郎去喂牛，老牛又说话了，老牛说它快不行了，它死了后，把它的皮留下，碰见什么紧急的事，就把它的皮披上……老牛没说完就死了。夫妻两个痛哭了一场，留下老牛的皮，把老牛的尸骨埋在山坡上了。
再说天上，仙女们溜到人间的事被王母娘娘知道了，王母娘娘把仙女们关在黑屋子里，她尤其恨织女，她发誓一定要把织女抓回来，给织女顶厉害的惩罚。她派天兵天将在人间察访了好久，才知道织女在牛郎家。
王母娘娘亲自到牛郎家，可巧牛郎在地里干活，她一把抓住织女住外走，男孩拉往了织女的衣裳，王母娘娘狠狠一推，就带着织女飞起来了。织女望着两个可爱的孩子，喊了一句：“快去找你爹！”
牛郎跟着男孩赶回家，他决定把织女救回来。他披上牛皮，找了两个筐，一个筐里放一个孩子。一出屋门，他就飞起来了，眼看要赶上了，王母娘娘用玉簪划出了一条天河，波浪很宽，牛郎飞不过去。
从此，牛郎在天河的这边，织女在天河的那边。他们就成了天上的牵牛星和织女星。
织女受了惩罚，可是不肯死心，一定要跟牛郎一块儿过日子。王母娘娘拗不过她，就允许她每年农历七月初七跟牛郎会面。
每年的这一天，成群的喜鹊在天河上边搭起一座桥，让牛郎、织女在桥上会面。还有人说，那一天夜里，要是在葡萄架下仔细听，还可以听见牛郎、织女的悄悄话呢。