Nous connaissons les discussions de l'assemblée grâce aux comptes rendus de James Madison. Il y a rapidement un accord large sur la nécessité de revoir totalement les articles, et d'accroître fortement les pouvoirs du gouvernement fédéral. La discussion s'engage sur la base d'une proposition initiale faite par Edmund Randolph, de la délégation de Virginie et dite plan de la Virginie (29 mai). Elle contient déjà l'essentiel de l'architecture de la Constitution : pouvoirs législatif, exécutif et judiciaire séparés, parlement bicaméral, suprématie des lois de l'union sur celles des États. Le premier et le plus sérieux sujet de conflit porte sur le mode de désignation des parlementaires, et la représentation des États. Le plan de la Virginie, soutenu par les autres grands États, Pennsylvanie et Massachusetts surtout, propose l'élection directe de la première chambre, où chaque État aurait un nombre d'élus proportionnel à son importance, et l'élection de la deuxième chambre par les membres de la première. La proposition est discutée, les votes se succèdent, article par article, phrase par phrase. Il apparaît qu'elle est inacceptable pour les petits États, qui veulent que les parlementaires soient élus par les législatures des États, et que tous les États soient à égalité. Au milieu du mois de juin, une proposition est faite dans ce sens par William Patterson, du New Jersey, et dite plan du New Jersey. La discussion est bloquée pendant trois semaines, le ton monte entre grands et petits États, jusqu'à envisager l'échec de la convention.
