Яков Александрович на фронт попросился сам и после недолгой подготовки попал под Сталинград. «Когда над страной нависла смертельная опасность, мы все как один выступили на ее защиту», — вспоминал Яков Александрович.

Многие месяцы упорнейших боев в Сталинградской битве. Горела земля, плавился металл. Казалось, в этом аду ничто живое не могло уцелеть, а они стояли насмерть и победили. Яков был минометчиком. Яков вспоминал бой, в котором вместе со взводом, вооруженным противотанковыми орудиями в течение нескольких дней отбивали танковые атаки фашистов. Уже горели десятки вражеских машин, русских тоже становилось все меньше, но противник не прошел. Здесь Яков Александрович получил свой первый орден Красной Звезды.

Он участвовал в освобождении Донбасса, Киева. 4 марта 1944 года перед боем подал заявление в партию. Ни один десяток фашистов нашел свой бесславный конец от мин и снарядов, выпущенных рукой Якова Рыбиновского.

Незабываемыми для него остались бои за овладение Сандомирским плацдармом. Враг ожесточенно атаковал, но велико было наше желание закончить войну. Сотни бойцов и командиров проявили здесь истинный героизм и отвагу. Здесь Яков получил высший орден солдатской доблести — орден Славы.

Яков жил мечтой дойти до Берлина, расписаться на Рейхстаге, но в боях за Одер был тяжело ранен. «Слишком много людей мы потеряли. По статистике из 100 человек моего 1923 года рождения вернулось домой лишь двое. Так пусть же сегодняшнее поколение не знает ужасов войны, живет под мирным небом. И главный наш вклад в дело мира — ударный труд, отличная учеба, активность в общественных делах», — такие напутствия давал Яков Александрович подрастающему поколению.