Under slutet av 1800-talet började ångbåtsrederier göra lustturer till Visingsö. Då tog bönderna på ön sin häst och vagn och bjöd ångbåtarnas passagerare mot en liten slant i utbyte på skjuts till gästgiveriet som låg strax norr om Kumlaby kyrka. Det var så remmalagen började.
Förr var inte vagnarna så fina med stoppade plyschsäten och riktiga ryggstöd utan det var flakvagnar med en bräda som ryggstöd. Vägarna var inte heller asfalterade utan det var gropiga grusvägar. Det sägs att när passagerarna skulle åka tillbaka från gästgiveriet till hamnen så var en och annan av dom lite runda under fötterna och hade svårt att hålla sig kvar på vagnarna under den guppiga färden. Det löste bönderna genom att spänna remmar runt passagerarna. Namnet Remmalag sägs komma av dessa remmar och ordet la som är det gamla ordet för flakvagn.
Att sätta en bräda som ryggstöd på vagnarna hade Visingsöborna antagligen lärt sig av de ryska krigsfångarna som satt fängslade på Wisingsborgs slott i början av 1700-talet. I Ryssland använde man förr vagnar där man satt med ryggarna mot varandra som jaktvagnar.
