SSH が使えるサーバで SFTP だけ許可しつつ、参照できるディレクトリを制限する chroot を設定してみます。