非表示設定を行ったが、サイトエディタ画面上でビルボードが表示される

トラブルではありません。

非表示設定を行った場合も、サイトエディタ画面上では表示されます。
(表示されないと編集バーが表示されず、再設定を行いたい場合設定画面が開けません)

サイトエディタ画面右下「プレビュー」を押下し、ブラウザのプレビュー画面にて非表示になっているかご確認ください。