在建文元年（公元1399年）七月，朱棣在得知黄子澄、齐泰的行动后，开始了“靖难”行动，召集张玉、朱能等将领保卫王府。他果断下令攻取北平，张玉率军在夜间攻克北平九门，成功占领了这座重要城市。
同年八月，建文帝派遣耿炳文前往真定迎战朱棣。朱棣派张玉侦察敌情，张玉自信满满，认为敌军军纪松弛，易于击败。朱棣接受了这个评估。在真定战役中，朱棣亲自指挥，与张玉、朱能、潭渊形成两面夹击，大败耿炳文，这场战役因此被称为真定之战。张玉凭借卓越的军事才能，成为朱棣阵营的第一战将。
然而，在东昌之战中，朱棣陷入南军的伏击，张玉和朱能不顾自身安危，朱能负责救朱棣，张玉则引开敌军，但英勇的张玉在奋力抵抗中壮烈牺牲，这场战斗使北军元气大伤，士气受挫。为了振奋军心，朱棣亲自主持了张玉的追悼会，并亲自撰写了悼文，表彰他的功绩。
朱棣登基后，封张玉为靖难第一功臣，追封他为荣国公和河间王。张玉的儿子张辅，在平定安南叛乱中立下赫赫战功，继位信安伯、新城侯，最终被册封为英国公，这一爵位世袭不绝。然而，张辅在土木堡事变中不幸在乱军中丧生，他的次子张軏则在景泰八年参与了夺门之变，被封为太平侯，但不久后其子张瑾的爵位被革除。