所以时不闻开始心生不满，他想要推翻明幽，他想要那些岛民知道，蓬莱岛就算没有明幽，也一样可以在茫茫海面上保持平衡。
明幽开始被岛民质疑是因为在一年一度的五灵大典上出了差错，那个时候蓬莱岛发生了越来越多的灾祸，五位长老就算是一起施法也已经无法维持住蓬莱岛。
于是他们寄希望于天，他们不再施法维持住蓬莱岛的主要根基，而是施法祭天，时不闻便提出了祭天之法。
那个时候的祭天之法还没有那么残酷，只是把人挂着暴晒三天接受所有人的祷告，然后烧死。
但是明幽却在祭天中途打断了典礼，他听了被祭天者的家人的祈求，觉得这样的方法太过残忍，于是在眼看着祭天者要被烧死的时候熄灭了火，救下了人，踢倒了祭台。
然而就在祭台被踢倒那一刻，蓬莱岛的周边便面临了海啸，挨着周围的居民的房屋被冲得一塌糊涂，好多人变成了无家可归。
时不闻就把罪责顺理成章的推到了明幽身上，刚刚遭受灾难的人们无处发泄，也就把过错怪到明幽身上。
突然之间，金灵阁就遭受到了质疑，甚至有人开始去砸金灵阁的门府，他们要明幽给一个交代。
明幽给的交代就是让出了金灵阁，把金灵阁的房子都给那些灾民住，并且命令人尽快建造新的房屋。
可惜海啸的风波刚刚平定下来，蓬莱岛上又有人染了瘟疫，瘟疫散播的速度非常快，得了瘟疫的人面色青紫，时常感到要窒息，并且身上溃烂，无缘无故的疼痛，却不会死亡，所以只能活受罪。
又有言论开始说这一切都是明幽破坏典礼的原因，那些染了瘟疫的人都聚集在明幽家门前，要逼着他向天赎罪，以平息天的怒气。
时不闻也提出要明幽交出金灵阁长老的权力，木灵阁，火灵阁，土灵阁三阁的长老，向来是墙头草，立场不稳，风往哪边吹，他们就倾向于哪边。
他们看明幽的大势已去，于是也站在时不闻那边，一同逼迫明幽让位。
明幽答应让位，但是要求把金灵阁给明逍继承，原因是明逍是天赐的祥物，并且这些年明逍对蓬莱岛也小有贡献，虽然他自己有错，但明逍没有错。如果可以，他愿意以死谢罪。
毕竟明幽曾经还是有过威望，所以他的话还是让蓬莱岛民有些信服。眼看一切又要平复下来。
时不闻几个长老却又提出，既然明逍是天赐的祥物，那用他来祭天一定可以平复天的怒气，一切肯定可以解决。
那些人居然真的再次相信了，誓要用明逍祭天，明幽带着明逍明遥一路逃亡，不管怎样，他是绝不会让人伤害自己的子女的，他也开始对自己曾经保护过的岛民失望。