Ακόμη και πριν από το 1896, το 1870, κατά τους Ζάππειους Ολυμπιακούς Αγώνες, ο Φίλιππος Ιωάννου, κλασικός λόγιος και καθηγητής, ήταν ένας από τους επικριτές των αγώνων. Παρακινημένος από το ιδανικό του ερασιτεχνισμού επιτέθηκε στη διοργάνωση λέγοντας ότι οι νέοι Ολυμπιακοί ήταν παρωδία, γιατί είχαν πάρει μέρος σε αυτούς κάποιοι εργάτες, άνθρωποι ασχολούμενοι επί το πλείστον με το επάγγελμά τους. Ένας χασάπης κέρδισε στο δρόμο 400 μέτρων, ο Τρούγκας, νικητής στην αναρρίχηση επί κάλω, ήταν λιθοπελεκητής και ο ολυμπιονίκης παλαιστής Καρδαμυλάκης ήταν ένας απλός εργάτης. Άνθρωποι λοιπόν από την εργατική τάξη είχαν συμμετάσχει στους Ζάππειους Αγώνες του 1870. Ο Ιωάννου πρότεινε να γίνουν δεκτοί στους επόμενους μόνο νέοι της ανώτερης τάξης. Πράγματι, στους Ζάππειους Ολυμπιακούς του 1875 επιτράπηκε η συμμετοχή μόνο σε άντρες της "καλλιεργημένης τάξης", δηλαδή σε αποφοίτους γυμνασίου και πανεπιστήμιου.

Στον κοινωνικό έλεγχο των αθλητών συνέβαλαν και οι διάφοροι αθλητικοί σύλλογοι που δημιουργήθηκαν. Συνήθως, διακεκριμένοι εκπρόσωποι της ελληνικής κοινωνίας, όπως δικηγόροι, πολιτικοί, καθηγητές κ.ά., γίνονταν μέλη των συλλόγων. Μετά την ίδρυση των αθλητικών συλλόγων έγινε υποχρεωτικό για τους αθλητές να είναι μέλη τους.

Ο πιο σημαντικός ελληνικός αθλητικός σύλλογος ήταν ο Πανελλήνιος Γυμναστικός Σύλλογος, ο οποίος ιδρύθηκε το 1891 από διακεκριμένα μέλη της ελληνικής κοινωνίας, με πρώτο πρόεδρο τον Ιωάννη Φωκιανό. Μόλις ιδρύθηκε ο σύλλογος, οργάνωσε αθλητικούς αγώνες στο Δημοτικό Γυμναστήριο των Αθηνών, οι οποίοι περιλάμβαναν αγώνες στίβου, πάλης, άρσης βαρών και γυμναστικής. Ήταν ένα πολύ σημαντικό γεγονός για την αθηναϊκή κοινωνία της εποχής και τους παρακολούθησε ακόμη κι η βασιλική οικογένεια.

Το 1894 ο Πανελλήνιος συμμετείχε στο Διεθνές Αθλητικό Συνέδριο που διοργανώθηκε στο Παρίσι. Αντιπρόσωπός του ήταν ο Δημήτριος Βικέλας, ο άνθρωπος που συνεισέφερε πολλά στην οργάνωση των πρώτων σύγχρονων Ολυμπιακών. Στους Ολυμπιακούς Αγώνες του 1896, δέκα μέλη του Πανελληνίου έγιναν ολυμπιονίκες.