今已败，奈何复追?”说：“兵势有变，亟往必利”(《三国志·魏书·传》)。张绣遂听从意见，收集散兵，再行追击，竟将曹操后卫部队击溃。得胜后，张绣问：“绣以精兵追退军，而公曰必败；退以败卒击胜兵，而公曰必克。悉如公言，何其反而皆验也?”说：“此易知耳。将军虽善用兵，非曹公敌也。军虽新退，曹公必自断后；追兵虽精，将既不敌，彼士亦锐，故知必败。曹公攻将军无失策，力未尽而退，必国内有故；已破将军，必轻军速进，纵留诸将断后，诸将虽勇，亦非将军敌，故虽用败兵而战必胜也”(《三国志·魏书·传》)。张绣大为佩服。

建安四年(199年)，官渡之战前，袁绍遣人招降张绣，并与结好。张绣准备同意，先于绣坐上对来使说：“归谢袁本初，兄弟不能相容，而能容天下国士乎?”张绣惊惧地说：“何至于此!”并暗中对说：“若此，当何归?”说：“不如从曹公。”张绣说：“袁强曹弱，又与曹为仇，从之如何?”说：“此乃所以宜从也。夫曹公奉天子以令天下，其宜从一也。绍强盛，我以少众从之，必不以我为重。曹公众弱，其得我必喜，其宜从二也。夫有霸王之志者，固将释私怨，以明德于四海，其宜从三也。愿将军无疑”(《三国志·魏书·传》)!张绣从其言，于十一月率众归顺曹操。

张绣的归顺使曹操在官渡之战中避免了两面作战，所以曹操闻后大喜，亲自接见，执其手说：“使我信重于天下者，子也”(《三国志·魏书·传》)。遂拜为执金吾，封都亭侯，迁冀州牧。同时拜张绣为扬武将军，并让其子曹均娶张绣之女为妻。

时冀州尚为袁绍所占，便留参司空军事。建安五年(200年)，曹操与袁绍战于官渡。后曹军军粮方尽，曹操便问计于，说：“公明胜绍，勇胜绍，用人胜绍，决机胜绍，有此四胜而半年不定者，但顾万全故也。必决其机，须臾可定也”(《三国志·魏书·传》)。曹操称善。十月，袁绍又遣淳于琼率兵万余护送军粮，至距袁军大营40里的乌巢(今河南封丘西)。此时，许攸闻其家属犯法下狱，愤然投奔曹操，献计偷袭乌巢。众人皆疑，只有与荀攸力劝曹操，曹操欣然采纳其计，率军出击，大败袁军。河北平定后，曹操领冀州牧，迁为太中大夫。

建安十三年(208年)，曹操攻破荆州，想乘机顺江东下。劝阻说：“明公昔破袁氏，今收汉南，威名远著，军势既大；若乘旧楚之饶，以飨吏士，抚安百姓，使安士乐业，则可不劳众而江东稽服矣”(《三国志·魏书·传》)。曹操不从，结果