できません。
予め罫線を引いたExcelファイルを用意しておき、そこにデータを出力するといった方法で対応してください。
現在利用できる罫線に関する機能としては、キーブレイク罫線があります。
下記の記事も合わせて確認ください。
・Excelのレコードを罫線で区切るには
https://support.asteria.com/hc/ja/articles/115002219167
ExcelOutput（ExcelPOIOutput）コンポーネントで自由に罫線を引くことはできますか？
／ 公開日
更新日