字文远，雁门马邑人也。本是聂壹之后人，为了避乖辟怨，遂改张姓。少年时便已举郡吏。汉季之期，并州刺史丁原以武力过人，召其为从事，命辽带兵往赴京都。何进又遣往河北募兵，共得千馀人。辽募兵尚未还，而京中何进已因剿宦失败而死，因此所领兵尽归董卓所有。董卓死时，统兵归属于吕布，迁任骑都尉（相当于骑兵队长，地位略低于将军）。
后来，吕布为李傕所击败，跟从吕布往东奔至兖州，为曹操所败后至徐州。献帝建安二年(公元197年)领鲁相，时年二十八岁。建安三年(公元198年)吕布遣与高顺等攻破刘备，但其后曹操破吕布于下邳，部领吕布军馀众归降，被拜为中郎将，赐爵关内侯。
建安五年(公元200年)曹操命与关羽同为解白马围的前锋，击破袁绍军。数有战功，累迁裨将军。及曹操击败袁绍时，别遣镇治鲁国诸县。