シリアルケーブルとして使うCat5/Cat5eケーブルは、UTP(シールドなし)/STP(シールドあり)のどちらを使えばいいですか。

UTP/STPケーブルのどちらでも結構です。
ただし、強いノイズを発生する機器などが近くにある場合は、STP(シールドあり)ケーブルの利用を推奨します。