sshをユーザ、IPで制限します。pamという仕組みを利用し、sshの認証に制限をかけます。