公司已经不经营了，但没有正式注销，我想把留下来发票的开一张

严格说是不行的，按税务规定，连续三个月没有申报纳税就会注销税务证，税务证注销后发票也会同时作废的，网上可以查到发票真伪信息，使用作废的发票不管是新公司还是老公司都会受到处罚。
我想，还是不要冒这个险。

新公司从老公司购货？迷糊~~~~

会不会被查要凭运气,但查到肯定是大问题!

你说的这个是违反发票管理规定的，被税务机关视同为假发票处理，2家公司都要进行处罚。