the table made of glass lookscold in winter,此为什么不用be made of

此处是省略的定语从句
原句是the table （which is）made of glass lookscold in winter

be made of表示由成品能看出原材料,也就是物理变化.
例 The table is made of wood. 桌子是由木头制成的。

be made from则表示由成品看不出原材料.也就是化学变化.
例 Paper is made from wood. 纸是由木头制成的。

直接用过去分词做定语，不是表示被动的意思。

原句应为the table which is made of glass …此句为定语从句。在使用时“which is” 一般省略。

定语从句，省略了which is。
当定语从句表示被动，有be动词时，可以省略。