障害者手帳を持っていなくても利用できますか？

はい、要件を満たせば可能です。最寄りの市町村窓口におたずねください。施設の利用には施設利用受給者証が必要となります。