高宗因张俊功劳日益增多，升他为拱卫大夫。不久汴京被攻破，徽宗和钦宗被掳北去，人心惶惶不安，张俊恳切劝说高宗即位，高宗流泪不答应。张俊说：“大王是皇帝的亲弟弟，人心归向，正当天下动荡不安时，不早日登上皇位，便难以满足民众的期望。”并且告诉耿南仲上奏劝说，耿南仲三次上奏。高宗离开济州，张俊随从护卫。到达应天府，高宗才即帝位。开始设置御营司，以张俊为御营前军统制，派他回京迎接隆佑太后。权充秦凤兵马钤辖。不久迎接太后和六宫归来，任带御器械。

当时江淮地区盗贼蜂起，张俊在淮宁征讨杜用，在镇江讨伐赵万、郭青，在杭州征讨陈通，在兰溪征讨蒋和尚等，都一一平定。解除他的虚衔，任真正的观察使。建炎二年(1128)，升任秦凤路马步军副总管，不久击破秀州贼盗数万人，俘虏徐明将他斩首。进为武宁军承宣使。

高宗到扬州，召集众将商议恢复中原事宜，张俊说：“当今敌人势力正处于强大之时，应该暂且南渡长江，占据长江作为天险，整军练兵，安定人心，等到国家形势安定下来后，再大举行动不晚。”张俊又请求把左藏库移到镇江。不久敌军突然来到，已逼近城郊，张俊急忙上奏整饰车马，随从高宗逃到临安。