与唐胥铁路诞生的同时，一场关于铁路兴建与否的论争也在展开。
光绪六年，前淮军大将刘铭传上了一道名日《筹造铁路以图自强折》，向慈禧太后详细说明修造铁路的重要性和必要性。刘铭传指出其重要性首先体现在军事上，可以迅速调兵运饷，保卫边疆，同时也有利漕务、赈务、商务、矿务、行旅者，并提出兴建南北四条干线，即北京至奉天，北京至甘肃，汉中至河南，清江至山东。考虑到四条干线同时并举，资金短缺，可先修北京到清江一条。若银钱不够，可举借洋债。这份奏折，道理充足，规划详尽，言辞恳切，引起慈禧太后及军机、内阁大臣的重视，下发交朝臣疆吏们讨论。
内阁学士张家骧首先发表反对意见，批评刘铭传是无事生非，莠言乱政，指出兴造铁路有三大弊病：一招致洋人觊觎，二坏沿途坟墓田园房屋，百姓不满，三与轮船争利。
时任直隶总督的李鸿章态度鲜明地支持刘铭传的意见，详细分析兴建铁路有保卫京师、筹办海防等九个方面的利益，并逐条驳斥张家骧的诘难。
李鸿章的折子刚递上，即遭到另一批人的猛烈攻击，这批人中最有代表性的是通政司参议刘锡鸿。此人曾经做过中国酋任驻英公使郭嵩焘的副使。他虽然和郭嵩焘共事，却对郭氏的一套全持反对态度，后来又向朝廷密劾郭氏在外的种种不是，终于使得郭嵩焘被撤职查办。刘锡鸿因此赢得朝野守旧派的称赞。刘锡鸿坚决反对修铁路，说火车虽在西洋通行，但中国断不能仿效。刘锡鸿以一个见过世面的副使身分出面反对修造铁路，很有说服力。于是，刘铭传的建议以“着庸毋议”搁置一旁。
但是，事实胜于雄辩，不少顽固守旧的人逐渐在事实面前清醒过来。这几年间朝廷中有一位举足轻重的人物也终于清醒过来了，此人便是醇王奕谡。通过中法战争，尤其是做了海军衙门督办大臣亲自检阅海军、主持南北海军大会操的盛典之后，奕譞对洋人和洋务的看法有了根本性的改变。