I Brylle har der siden 1928 været en gymnastikforening, som altid har fungeret godt med hovedvægten på gymnastik og badminton, hvor aktiviteterne de første mange år foregik i skolens gymnastiksal.
Der har af nogle omgange været opstart af fodbold, hovedsagligt ungdomsfodbold, men først da man i starten af 70'erne begyndte at udbygge byen, blev fundamentet hermed også lagt, til også at spille seniorfodbold. Fra efteråret 1974 og til 1976 foregik fodboldspillet under gymnastikforeningen, hvorefter man den 26. Oktober 1976 stiftede Brylle Boldklub.
Kampene foregik på den gamle bane ved skolen (hvor der i øvrigt fortsat trænes til tider, når der er behov for lys), mens omklædning og bad var i kælderlokale på skolen (bag ved det gamle formningslokalet). Udehold dog i omklædningsrum ved gymnastiksalen. Klublokalet var et tidligere klasselokale som heldigvis var ledigt.

Da kommunen efter pres fra Boldklubben, i slutningen af 70'erne, begyndte at anlægge nye fodboldbaner (efter meget debat om placeringen af disse) blev tanken om byggeri af omklædningsfaciliteter grundlagt.
Nogle driftige og fremsynede mennesker stiftede den 3. December 1979 Brylle Fritidscenter, som er en selvejende institution, og som har til formål at forestå planlægning og byggeri af klubhus med omklædningsrum og opholdsfaciliteter samt hal og forsamlingshus.
Bestyrelsen i B.F.C. kom til at bestå af en repræsentant fra hver forening i byen, d.v.s. - gymnastikforeningen - boldklubben - beboerforeningen - samt forsamlingshus. Endvidere en kommunal repræsentant samt 4 direkte valgte bestyrelsesmedlemmer. Senere blev den kommunale repræsentant ændret til et 5. medlem i bestyrelsen, som er direkte valgt ind. Formand blev Mogens Rasmussen, mens næstformand blev Holger Pedersen, og de 2 personer var om nogen - dem der forestod byggeriet.
B.F.C. fik overdraget en grund af kommunen, og som det første byggede man ved frivillig arbejdskraft klubhuset, som blev indviet den 13. Juni 1981. Der blev også anlagt 2 tennisbaner, som blev indviet 12. Maj 1983. På daværende tidspunkt havde man en forventning om, at hallen først ville blive bygget mange år senere, men da alt indtil nu var lavet ved frivillig arbejdskraft, gjorde økonomien det derfor muligt, at man allerede i 1983 kunne gå i gang med byggeriet af hallen.
Byggeriet af hallen var så stor en opgave, at den blev udført af håndværkerfirmaer, men mellembygningen mellem klubhus og hal blev udført ved frivillig arbejdskraft.
Hallen blev indviet den 14. September 1984.

Med flere lokaler og aktiviteter i fritidscenteret, begyndte der også at melde sig et behov for mere depotplads, og derfor måtte de frivillige hænder i gang igen, og depotbygning ved gavlen af hallen, - op mod fodboldbanerne, så dagens lys.
Med et udvidede behov for omklædningsfaciliteter til både indendørs- og udendørs aktiviteter, måtte man hurtigt sande, at der manglede omklædningsrum og i 1995 blev 2 nye omklædningsrum bygget, og igen ved frivillig arbejdskraft.
De "ældre" borgere i Brylle ville også være med, og ønskede sig en mulighed for at spille petanque. De anlagde selv petanquebaner i 1999, og senere er der blevet bygget og indrettet et klublokale i et tidligere åbent depot.
Tennishuset blev bygget i 2004, og da B.F.C. havde tilkøbt jord blev Multiarenaen anlagt i 2004 - i forlængelse af den store p-plads. Her blev bander og hegn også lavet ved frivilligt arbejdskraft. Multiarenaen fik dog en ny placering i 2018, og blev her anlagt oppe ved fodboldbanerne. Samtidig blev der også anlagt et trænings- og balanceområde.
Spejderne flyttede også ud til området, og fik anlagt plads bag ved petanque, på græsområdet op mod Krybilyparken.

Bestyrelsen i B.F.C. består af en repræsentant fra hver af de 4 foreninger, samt 5 direkte valgte bestyrelsesmedlemmer.

Den daglige rengøring i centeret, har der været ansat folk til, men foretages nu af et eksternt firma.
Fritidscenteret har kørt uden en halbestyrer, d.v.s. udlejning m.v. foretages af bestyrelsen og/eller frivillige. Cafeteriadrift bestyres af Boldklubben.

Største lejere i B.F.C. har som udgangspunkt altid været Boldklubben, Gymnastikforeningen samt Brylle Skole. Øvrige lejere har gennem årene været Verninge Skole, Verninge Idrætsforening, F.B.U., andre foreninger i oplandet samt private til sportslige aktiviteter i hallen.

Det påhviler lejer af centret selv at sørge for oplåsning, grovrengøring og aflåsning af Fritidscenter, da der som nævnt ikke er ansat halbestyrer.
Hal og klublokaler lejes ikke ud til private fester, dog kan foreninger som lejer sig ind i centret, afholde fest eller lign. (f.eks. sommerfest - julefrokost -afslutningsfester).
Hvert bestyrelsesmedlem har som vederlag for sit arbejde i bestyrelsen, ret til at afholde 1 arrangement pr. år i centret.

Efter etablering af Assens Kommune kom der et tiltag, hvor et samarbejde i mellem de foreskellige haller i kommunen opstod, og dermed gav mulighed for sparring og vidensdeling.

Efterfølgende er der lagt nyt tag på hallen i 2012/2013, og anlagt solceller i 2013 samt gjort klar til fjernvarme i 2023.
I 2023 blev der ligeledes anlagt nyt halgulv.
Derudover er den klassiske svensrøde farve indvending i centeret, skiftet til de mere tidssvarende farver hvid og grå.

Brylle Fritidscenters historie/data:
1. Bestyrelse:
Formand Mogens Rasmussen
Næstformand Holger Petersen
Kasserer Rasmus Rasmussen
Sekretær Poul Sørensen
Tommerup Kommune Finn Brunse
Brylle Forsamlingshus: Rasmus Rasmussen
Brylle Beboerforening Mogens Mølhede
Brylle Gymnastikforening Poul Sørensen
Brylle Boldklub Kristian Dalsgaard

Datoer:
Klubhus indviet: 12. Juni 1981
Tennisbaner: 12. Maj 1983
Hal indviet: 15. September 1984
Fjerndepot: 1988
Nye Omklædningsrum: Forår 1995
Petanque: 5. Juni 1999
Tennishus: Maj 2004
Multiarena: 16. Maj 2004 / 15. September 2018 (ny placering ved boldbanerne)
Petanqueklubhus: 20. November 2007
Nyt halvtag: 2012/2013
Solceller: 2013
Klargøring til fjernvarme: 2023
Nyt halgulv: 2023 (med særlig optegnede badmintonbaner)