Ο πληθυσμός είναι αμιγής ελληνικός. Το σημερινό χωριό έχει ηλικία που μόλις ξεπερνά τα 200 χρόνια. Ο γέρο-Νικόλας, θυμόταν το χωριό με 30 οικογένειες. (Ο γέρο-Νικόλας πέθανε το 1970, σε ηλικία 97 χρόνων). Ο παππούς του γέρο-Νικόλα, ο Ανάστασης, ήταν γιος του Χ” Γιώρκη, ενός από τους πρώτους οικιστές, από τη Δερύνεια. Από τη Δερύνεια ήταν, επίσης, και ο Δήμητρος, τον οποίο θα συναντήσουμε και σ’ άλλη περίπτωση σ’ αυτή τη μελέτη. Μεταξύ των πρώτων οικιστών ήταν ο Γιωρκής Γούκος από τη Λύση, ο Χ” Γιωρκής και ο Κκολός από την Τράπεζα. Από την Τράπεζα μετοίκησαν, επίσης, εδώ 4 μοναχοί με τα κοπάδια τους για να γλιτώσουν από τις ενοχλήσεις των Τούρκων. Μετοίκησαν, επίσης, εδώ οικιστές από την Καλαβασό, τα Λειβάδια, την Ορμήδεια, τη Μυτιλήνη και το Κρανίδι. Αργότερα, βέβαια, και από άλλα μέρη. (Σημ.: Η Τράπεζα, σύμφωνα με τις πληροφορίες που δίνει ο Νέαρχος Κληρίδης στο βιβλίο του «Χωριά και Πολιτείες της Κύπρου», σελ. 235, ήταν κοντά στο σημερινό χωριό Αχερίτου και καταστράφηκε κατά την επιδρομή των Μαμελούκων στα 1425 μ.Χ. μαζί με άλλα γειτονικά χωριά. Όσοι κάτοικοι είχαν απομείνει, ξανακατοίκησαν στο χωριό τους, γιατί στα 1563, εποχή των Ενετών, δοκίμασαν να ξανακτίσουν την εκκλησία της Παναγίας της Τράπεζας, μα φαίνεται πως ο συνοικισμός σιγά-σιγά έφθινε, και, στα 1707, διαλύθηκε οριστικά. Η μετανάστευση κατοίκων της Τράπεζας στη Ξυλοφάγου πρέπει να σχετίζεται με τη διάλυση του χωριού αυτού).

Οι πρώτοι κάτοικοι του χωριού ήταν βοσκοί και οι λόγοι που τους έσπρωξαν να εγκατασταθούν εδώ ήταν πολλοί:
α) Η περιοχή ήταν ένας απέραντος βοσκότοπος ένεκα του δάσους και του βραχώδους ακαλλιέργητου τότε εδάφους
β) Τα μέρη αυτά ήταν τότε απόμερα και οι ενοχλήσεις από τους Τούρκους ήταν πιο αραιές
γ) Το χωριό δεν φαίνεται από τη θάλασσα λόγω της «παμπούλας» που υψώνεται στα νότια και έτσι γλίτωνε από τους πειρατές, που συχνά ρήμαζαν τα παράλια χωριά
δ) Το νερό που υπήρχε σε παλαιότερα πηγάδια.Το σημερινό χωριό ευρίσκεται στη θέση είτε του Πυλιδωρίου είτε άλλου συνοικισμού που εγκαταλείφθηκε.

Η εκκλησία λογουχάρη του Αγίου Γεωργίου, ο οποίος είναι ο πολιούχος του χωρίου, είναι οικοδόμημα του 16ου αιώνα κατά το Rupert Gunnis (Βλ. το βιβλίο του “Historic Cyprus”, σελ. 465).Στα ΒΑ της εκκλησίας και σε απόσταση 50 περίπου μέτρων σώζονται τα θεμέλια μεσαιωνικού οικοδομήματος γνωστού ως «Πύρκου της Ρήγαινας». Πρέπει, λοιπόν, να υπήρχε εδώ κάποιο φέουδο (τσιφλίκι) στα χρόνια των Φράγκων ή των Ενετών. Δίπλα στον «Πύρκον» ήταν ένα πλατύ πηγάδι από το οποίο αντλούσαν νερό που έπεφτε σε δεξαμενή, από όπου προχωρούσε και πότιζε τα περιβόλια. Μέρος των πετραυλάκων και τα θεμέλια της δεξαμενής σώζονται μέχρι σήμερα.Ακριβώς, πάνω στα θεμέλια του «Πύρκου της Ρήγαινας» είναι κτισμένο σήμερα το σπίτι του Δημήτρη Πετρή Κυριάκου. Αλλά και στη θέση των περιβολιών είναι σήμερα κτισμένα σπίτια.Κανένας από τους σημερινούς κατοίκους του χωριού δεν γνωρίζει τίποτε περισσότερο εξόν από το όνομα «Πύρκος της Ρήγαινας», που σημαίνει πως οι πρώτοι οικιστές βρήκανε τον τόπο ολότελα ακατοίκητο.
Μια άλλη απόδειξη ότι ζούσαν εδώ άνθρωποι στα χρόνια του Μεσαίωνα είναι και ο «Πύρκος» που είναι κτισμένος στο πιο ψηλό σημείο της «παμπούλας» στα νότια του χωριού.Μια τρίτη απόδειξη ότι ζούσαν εδώ άνθρωποι, στα χρόνια, τουλάχιστο, της Φραγκοκρατίας και της Ενετοκρατίας είναι ότι σε χάρτη που εκδόθηκε το 1573 στην Αμβέρσα από τον Abraham Ortelius σημειώνεται, ακριβώς στη θέση που ευρίσκεται σήμερα η Ξυλοφάγου, χωριό με το όνομα Filofuo.
Νοουμένου ότι πολλά χωριά σημειώνονται με παρεφθαρμένα ονόματα στους χάρτες εκείνης της εποχής μπορούμε να υποθέσουμε ότι το «Filofuo» είναι παρεφθαρμένο όνομα της σημερινής Ξυλοφάγου.
Αξίζει, επίσης, να αναφέρουμε ότι υπάρχουν χαλάσματα παλαιών συνοικισμών στις εξής τοποθεσίες γύρω από τη Ξυλοφάγου: Χαλάσματα, Χαλοσπιθκιά, Χορτάτζια, Μάλλουρας και αλλού.