一直到清朝中叶，开始有人怀疑这一说法。他们指出，与丘处机有关的虽然也有一本著作名叫《西游记》，但其全名是《长春真人西游记》，作者为丘处机的弟子李志常，而它的内容则是记载丘处机西行大漠之所闻所见，因此跟小说《西游记》风马牛不相及。当时的著名学者钱大昕还专门从道藏中抄出《长春真人西游记》，以证传说之谬。淮安籍学人阮葵生则据明朝《淮安府志》的记载，认定作者乃是明朝嘉靖至万历年间的淮安人吴承恩，其后同为淮安籍的学人丁晏又再次重申了这个观点。因此到晚清，在学人的著述中，吴承恩作《西游记》的观点已经被不少人所接受。
吴承恩墓
上世纪二十年代，鲁迅根据前辈学人的记载和有关文献，在其现代意义上的第一部小说研究著作《中国小说史略》中，明确指出《西游记》作者为淮安人吴承恩的观点。同时，著名学者胡适、董作宾及稍后的郑振铎、赵景深等人也开始了对吴承恩的研究，赵景深还在1936年首次撰成《西游记作者吴承恩年谱》。至此，原本在清代学人笔下尚显模糊的吴承恩的轮廓逐渐被勾勒出来，并且得到了大部分人的认同。
但是争论并没有就此结束，有人对此不断提出异议。他们认为，吴承恩作为《西游记》的作者至少有以下几个疑点：首先是今存吴承恩诗文及其文友的文字中从未提及过他撰写《西游记》这件事；二是《淮安府志》虽载有吴承恩著《西游记》，但并没有说明是演义还是稗史；三是清人黄虞稷所著《千顷堂书目》曾把吴承恩著《西游记》列入舆地类著作。因此，一度又有论者重新提出《西游记》丘作说，或是丘的弟子和传人所作说。
持相对观点的学者则针锋相对地提出，吴承恩作为《西游记》的作者是完全站得住脚的。首先，从成书年代看，《西游记》成书年代应在嘉靖初年到万历中期，而这正是吴承恩生活和创作的年代；其次，根据《西游记》中大量方言词和人声的使用情况来看，作者应操下江官话，这与昊承恩的籍贯相符；第三，从《西游记》的基本行文风格看，作者应是知识博杂、性情诙谐的读书人，还应有点心高气傲、郁塞不平的情绪，其身份不会太尊贵，这也正是吴承恩的特征。当然《西游记》中有许多道教内容，兼载有道家的诗句，但作为小说，《西游记》是经过长期演变，最后由文人加工定型的，在这过程中也不排斥曾有道教徒一同参与过修改。