CPU运行硬盘中的程序时,一定要现将硬盘上的程序装入内存才能进行吗?

……你可以这样理解：
运行程序的时候CPU负责运算
内存负责储存运算结果再返回CPU

你说的没错。硬盘的速度比内存慢很多。这样是为了提高运行速度。
此外，CPU没有绕过内存这个步骤直接运行硬盘的数据能力，而有一系列操作内存的指令。

即便是虚拟内存也不能被直接读取。

这个是一个速度的问题