罗汝芳淡淡地回道：“一直在为讲学做准备，还未来得及研究。”
张居正心里冷笑：什么叫为讲学做准备，这么多年来你在地方上一直就在讲学，还用准备吗？
两人的谈话虽未不欢而散，但张居正已决心不会重用罗汝芳，然而他毕竟还是朋友，所以派他到山东东昌担任知府。三年后，张居正听说罗汝芳在东昌成为儒家高级培训师，气恼之下，再把他调到蛮荒之地的云南，那里政务不繁，百姓愚昧，离政治中心很远，正好发挥他的讲学才能。
罗汝芳很不高兴，在云南待了几年后，讲学成果不错，但影响力不足。他最想讲学的地方是帝国的文化中心北京。1577年，罗汝芳回京述职，对张居正发出抱怨，说他想回京城。张居正知道他心怀不轨，所以给他画大饼：再在云南待三年，马上把他调回京城。
罗汝芳心花怒放，收拾行装就要回云南。可北京知识分子太热情，非要留下他讲课。罗汝芳心里发痒，却碍于张居正的关系，先是婉拒。北京知识分子们非要把他逼上绝路，三番五次来请。罗汝芳终于动心，但有个条件：离京城远一点。