楼主真的热爱做学术的话应该去试一试。当然，这是非常重要的前提。
当年本科毕业的时候在好工作和好学校之间选择了好工作，不后悔，但多多少少有遗憾。等到工作稳步上升机会成本也越来越高，再有了家庭和孩子之后就再没有机会去考虑忍五年寂寞安心做学术了。
我想说的是眼光长远一点是金子哪里都发光，跟着自己的兴趣走。如果是因为对现状不满要换一条路走，那楼主真的三思。