リスト要素順の移動をドラッグ&ドロップで行いたいというのがRecyclerViewの目的の一つですが、これにはItemTouchHelperを実装すると可能です。簡単な設定として ItemTouchHelper.SimpleCall