Scheffer ist Holocaust-Überlebender. Nach dem Zweiten Weltkrieg lebte er in Polen und emigrierte 1950 nach Israel. Nach einer kurzen Karriere als Fußballspieler erhielt er das Trainer-Diplom der Sporthochschule Köln. Außerdem freundete er sich mit Hans Weisweiler an, der in den 1970er Jahren als einer der berühmtesten Vereinstrainer der Welt galt.
In Israel war Scheffer Trainer verschiedener Vereinsmannschaften. Er legte Wert auf die Fitness seiner Spieler und führte professionelle Trainingsmethoden ein. Im Jahr 1968 übernahm er das Nationalteam, mit dem er sich in der Gruppe Ozeanien und Asien für die WM-Endrunde in Mexiko qualifizierte, ein bis heute nicht mehr erreichter Erfolg. Dort spielten die Israelis unentschieden gegen Italien und Schweden, nur gegen Uruguay verloren sie 2-0. Trotz der guten Ergebnisse schied Israel in der Gruppenphase aus.
Nach der WM hörte er als Nationaltrainer auf, übernahm das Team jedoch noch einmal von 1978 bis 1980. Kurz danach beendete er seine Karriere als Trainer endgültig.
Scheffer wurde am Sonntag zu Grabe getragen. Die Spiele der israelischen Fußballliga am vergangenen Wochenende begannen jeweils mit einer Beifallminute zu Ehren Scheffers. „Er ist der größte israelische Trainer aller Zeiten“, würdigte ihn der Vorsitzende des israelischen Fußballverbandes, Avi Luzon, wie die „Jerusalem Post“ berichtet. „Er glaubte an den israelischen Fußball und harte Arbeit.“
