人民法院审理行政诉讼案件一律应当公开进行是错误的。
根据《行政诉讼法》的规定：
第四条 人民法院依法对行政案件独立行使审判权，不受行政机关、社会团体和个人的干涉。
人民法院设行政审判庭，审理行政案件。
第七条 人民法院审理行政案件，依法实行合议、回避、公开审判和两审终审制度。
第十一条 人民检察院有权对行政诉讼实行法律监督。
第五十四条 人民法院公开审理行政案件，但涉及国家秘密、个人隐私和法律另有规定的除外。
涉及商业秘密的案件，当事人申请不公开审理的，可以不公开审理。
扩展资料
根据《行政诉讼法》的规定：
第五十五条 当事人认为审判人员与本案有利害关系或者有其他关系可能影响公正审判，有权申请审判人员回避。
审判人员认为自己与本案有利害关系或者有其他关系，应当申请回避。
前两款规定，适用于书记员、翻译人员、鉴定人、勘验人。
院长担任审判长时的回避，由审判委员会决定；审判人员的回避，由院长决定；其他人员的回避，由审判长决定。当事人对决定不服的，可以申请复议一次。
第五十六条 诉讼期间，不停止行政行为的执行。但有下列情形之一的，裁定停止执行：
1、被告认为需要停止执行的；
2、原告或者利害关系人申请停止执行，人民法院认为该行政行为的执行会造成难以弥补的损失，并且停止执行不损害国家利益、社会公共利益的；
3、人民法院认为该行政行为的执行会给国家利益、社会公共利益造成重大损害的；
4、法律、法规规定停止执行的。
当事人对停止执行或者不停止执行的裁定不服的，可以申请复议一次。