اشترك الجمسي في كل الحروب العربية الإسرائيلية باستثناء حرب فلسطين عام 1948 التي كان خلالها في بعثة عسكرية خارج البلاد، وخلال حرب السادس من أكتوبر، كان يتولى منصب رئيس عمليات القوات المسلحة المصرية، وأطلق عليه "مهندس حرب أكتوبر"، بحسب صحيفة "المصري اليوم".
التحق الجمسي ببعثة المدرعات في أكاديمية فرونزي بالاتحاد السوفيتي في 1960، وفى عام 1961 أصبح قائد مدرسة المدرعات وبعدها بأربع سنوات رقى إلى رتبة لواء في يوليو/ تموز 1965.
وفي عام 1966 تم تعيينه رئيسا لعمليات القوات البرية، ثم رئيسا لأركان حرب الجيش الثاني في 1967، كما تولى رئاسة هيئة تدريب القوات المسلحة في 1971.
وفى عام 1972 أصبح الجمسي رئيسا للمخابرات الحربية، ثم رئيسا لهيئة عمليات القوات المسلحة في يناير 1972، وفى عام 1973 أصبح رئيسا لأركان القوات المسلحة، خلفا للفريق سعد الدين الشاذلي.
تقول الصحيفة إن الجمسي تم تصنيف ضمن أبرع 50 قائدا عسكريا في التاريخ، حيث كان يتولى إعداد دراسة عن أنسب التوقيتات للقيام بالعملية الهجومية للقوات المصرية والسورية، وسميت تلك الدراسة "كشكول الجمسي"، وتم اختيار يوم 6 أكتوبر.
أصبح الجمسي آخر وزير للحربية، وأصبح القائد العام للقوات المسلحة في ديسمبر 1974 حتى أكتوبر 1978.
كان الجمسي من أشرس القادة العسكريين الذين جلسوا مع الإسرائيليين على مائدة المفاوضات التي عرفت بـ"مفاوضات الكيلو 101"، حيث تم تعيينه رئيسا للوفد العسكري المصري في تلك المباحثات.
تقاعد الجمسي بناء على طلبه في 11 نوفمبر/ تشرين الثاني 1980، وحصل على 24 نوطا وميدالية ووساما من مصر والدول العربية والأجنبية ومنها (وسام نجمة الشرف العسكرية، ووسام التحرير عام 1952، ووسام ذكرى قيام الجمهورية العربية المتحدة عام 1958)، بحسب "المصري اليوم".