文徵明在翰林院待到新鲜期一过，就萌生了辞职南归之意。
同僚中一些人欺负他没有学历，当众发难说：“我衙门中不是画院，乃容画匠处此耶？”视文徵明为画匠，故意贬低他，让他难堪。这样的龌龊事，加上官场中许多无意义的争论，让原本不善钻营和交际的文徵明十分苦恼，急欲摆脱。
他不停地辞职，但吏部始终不放人。
在干了三年半后，他终于得到批准退休还乡。离开京城那天，他写了一首诗，兴奋地宣告自己又可以在青山绿水间过闲适的生活了：
独骑羸马出枫宸，回首长安万斛尘。
白发岂堪供世事？青山自古有闲人。
回首这段短暂的为官生涯，他自己说是“小试闲官便乞身，素衣曾不染缁尘”。这说明他的内心，从未融入帝国官场。
当文徵明决然还乡之时，祝枝山已经去世。
至此，江南四大才子仅余文徵明一人。而文徵明一生所能达到的名声和成就，才姗姗到来。
6
从帝都归来的文徵明，自此绝意仕途，力避与权贵交往，全身心致力于诗文书画达30余年。
时人说他的诗文书画，无一不精，堪称“四绝全才”。
文林当年预见儿子的人生画卷，此时终于徐徐展开：文徵明晚年名满天下，声望极高，是苏州乃至整个江南文坛的盟主。