Всеволод Езупович Рывж родился 11 ноября 1907 года в городе Козлове (ныне г. Мичуринск) Тамбовской губернии.
Работал на стройке, слесарем в авторемонтных мастерских.
В РККА с 1930 года.
В звании майора принимал участие в боевых действиях в районе реки Халхин-Гол.
Участник обороны Москвы, освобождения Можайска, Юхновка, Гжатска, Вяхьмы, битвы на Орловско-Курской дуге. Механизированная бригада под его руководством активно действовала на правобережной Украине, участвовала в освобождении Львова.
Звание Героя Советского Союза удостоен за храбрость при форсировании реки Одер.
Награждён также орденами Боевого Красного Знамени, Отечественной войны 1 и 2 степени, Александра Невского, польским орденом "Гронвальдский крест 3 степени", а также медалью "Победа и свобода".
