光电的输出信号可以控制继电器线圈吗

这个很简单。
光电器件建议您用TCRT5000红外传感器，用这个东西，可以给您省去不少的麻烦，它其实就是两个二极管，一个发射，一个接收，放在一起了。

把发射二极管的阳极接在5V的电源上，阴极对地接一个200欧姆的电阻（限流用）、
在接收管的阳极串联一个10K的电阻接在5V上，阴极接地。
在接收管的阳极和10K电阻的连接点上引出一条线，串连一个1K的电阻，接在8050（NPN型三极管）的基极上，把继电器的控制端接在高电位上（电压具体是多少看您的电路电压是多少），另一端接在三极管的集电极上，三极管的发射极直接接地。在继电器的控制端上反向并联一个二极管，型号1N4148,起保护作用。
继电器的功率端和电机串联一起就可以了。

说得够明白了。

完全可以，只要功率足够。