違法と判断される可能性が高いでしょう。労働基準法の考え方の一つに、労働者を不当に拘束することを禁止することがあります。5条では、労働者の意思に反して労働を強制することを禁止しています(強制労働の禁止)。また、16条では違約金や賠償額をあらかじめ定めることを禁止して、身分的従属関係となることを防止しています(賠償予定の禁止)。要は、「辞めたいのに辞められない」といった拘束状態は許されないということです。ご質問のように3年間の長期間の勤続をしなければ、給料3ヶ月分という高額の返還を迫られるという状態は、経済的足止め策であり、5条、16条の趣旨に反することになります。