jQuery Validate не работает с AJAX

Прежде чем я даже напишу свою проблему, я хочу заявить, что я прочитал множество сообщений StackOverflow об этом, и я все еще сталкиваюсь с той же проблемой. В основном, независимо от того, сколько способов я изменяю свой код, моя форма все равно отправляется без предварительной проверки, чтобы увидеть, заполнена ли каждая область. Это мой код.

 <form id="contact" method="post" action="E-mail-form.php" name="EmailFromMyWebsite">

                <label for="name">Name</label> <br>
                <input type="text" name="name" class="required" placeholder="Your Name" title=" (Your name is required)"> <br />

                <label for="email">E-mail</label> <br>
                <input type="email" name="email" class="required email" placeholder="Name@email.com" title=" (Your email is required)"> <br />

                <label for="message">Message/Comment</label> <br>
                <textarea name="message" class="required" placeholder="Leave a brief message" title=" (Please leave me a brief message)"></textarea> <br />

                <input type="button" name="submit" id="submit" value="Send Message" />
            </form>

$(document).ready(function(){
$('#contact').validate({
    rules: {
        name: {required: true},
        email: {required: true},
        message: {required: true}
    },
    submitHandler: $(function(form){

        $("#submit").on('click', function(){
            var formData = $('#contact').serialize();
            $.ajax({
                type:"POST",
                data:formData,
                url:"E-mail-form.php",
                done: function(data){
                    $('#contact').html('<p>Your message has been sent. I will reply to you shortly.</p>');
                },
                fail: function(data) {
                    $('#contact').html('<p>Sorry there was a problem your message was NOT sent.</p>');
                }
            });
            return false;

        });
    })
});
});

Теперь я думаю, что первое, что кто-то заметит, это то, что у меня есть функция для отправки, но я попытался ее удалить, и моя форма просто не отправляется даже с помощью submitHandler. Я думаю, что именно здесь возникает проблема, потому что, когда я смотрю на другие форумы с этой проблемой, я не понимаю, что заставляет форму на самом деле отправляться без этого. Любая помощь или объяснение были бы очень полезны.