TCP又はUDPの通信であれば可能です。
仮想サーバーや実サーバーのポート番号設定を0で設定することにより、IPアドレス単位での負荷分散をさせることができます。
ポート0で設定した実サーバーへのヘルスチェックはpingでのヘルスチェックとなります。
※フェイルスルー機能を利用している場合はポート番号0の設定は行わないでください。
フェイルスルーにつきましては下記URLの確認をお願いします。
https://www.seiko-sol.co.jp/product_faq/loadbalancer-faq_00063/