久之，以太常寺奉礼郎监杭州军资库，转运使使摄华亭县。他使者适有夙憾，思中以文法，因县民忿争相牵告，辞语连及，遂文致其罪。下狱引服，夺官流永州，遭父忧不得释。更赦，始徙池州。留连江湖间累年，益偃蹇傲世。既至池，得九华、秋浦间，玩其林泉，喜曰："使我自择，不过尔耳。"既筑室于齐山之上，名曰云巢，好事者多往游。