Vincular un modelo dos veces al mismo modelo para sistema de follows

Hola amigos, soy nuevo

Bueno pues veran tengo mi modelo Users Y tengo un Modelo Follow asi:

Follow
user_id
to_id

Entonces Follow belongs_to User hasta ahi normal ahora quiero agregar un
has_one para asociar to_id a otro usuario y asi completar el follow,
como lo haría?