阿齐兹派回去的人，并没有带回攻城器械，而是带回了二十头战象。攻城器械十分复杂，没有预先备置材料，十天半月根本就造不出来，况且柔佛苏丹国本来就缺乏工匠人才，那里能在短时间内造出来？柔佛苏丹国境内森林密布，有许多野生的大象。只不过捕捉野象十分危险且耗费财力，驯养战象又是一门高深技术，柔佛苏丹国并没有战象。这二十头战象是在与北方的素可泰王国的战争中缴获的。
大群的土兵跟在战象后面朝堡垒进发。有了这些巨大的战争机器，他们的士气又高昂起来。这些战象确实威风凛凛，不仅庞大的体躯上覆盖着甲胄，其背部还架设了长梯，随行的步兵可以借助长梯攀爬上堡垒。只是他们忘了这大象毕竟是动物，既恐火又恐惧巨响。堡垒中火炮一通集火射击之下，这些巨兽根本不听驯兽师吆喝，纷纷四下狂奔。横冲直撞之下，尾随其后的土兵们倒了大霉，死伤在巨蹄之下的超过三百人。
仗打得这个份上是傻子都明白，这星堡虽小却是个血肉磨坊，不把柔佛苏丹国士兵的血流干，怕是夺不下来。齐亚德眼见阿齐兹已萌生退意，便派了使者来见，声称自己将率战船掩杀，吸引堡垒的火力，柔佛苏丹国士兵便可趁机进攻。为了给阿齐兹鼓劲，他派了几十名大宋海盗上岸，又送来了大量的火药，用于爆破星堡的大门。
这些大宋海盗之中有人曾经参加过台南堡之战，他们也带了对付火器的办法——挖壕筑墙。在他们的建议下，阿齐兹驱赶着手下挖沟掘壕，步步向星堡推进。星岛所在热带雨水充沛，土地十分松软，挖掘起来十分方便，加之柔佛苏丹国士兵众多，不到十日便将壕沟挖到了星堡墙下一百米处。在此期间，陈老四曾派人出堡突袭敌人，却只是让挖掘进度略微放缓，但自身却损失了几十人。虽然敌人的损失更大，却经得起损失，而死伤几十人对守军却是伤筋动骨，遂绝了突袭之心。
壕沟成形之后，阿齐兹改变了战术，将白日蜂拥进攻改为夜间的袭扰，使得守军整晚无法休息。星岛这个季节极其炎热，夜间凉爽，正是困顿易入睡时刻。连续几日整夜的袭扰，使得守军士兵疲于奔命，个个精神萎顿。眼见袭扰战术成功，阿齐兹趁机命令进行大规模夜袭。趁着守军松懈，不少柔佛士兵借助绳索攀爬上了墙，虽然都被杀了回去，却也成功吸引了守军的注意力。
阿齐兹强攻城墙是假，爆破城门是真。星堡并未完工，其内堡并没有护城河。齐亚德派来的爆破手，趁着墙头激战之时，在夜色掩护下，顺利将火药包放在了城门口。一声巨响之后，厚重的包铁大门轰然倒塌。大批的柔佛士兵见状，趁机冲向洞开的堡垒门。此时正在附近城墙指挥的陈老四见状，急急命令火炮朝大门前方盲射，又率众前去封堵。
柔佛士兵拼命想冲入堡垒，守军士兵拼命阻击，一时间堡垒大门处变成了修罗场。“狭路相逢勇者胜”，几番厮杀下来，柔佛士兵攻势愈衰，慢慢退了回去。城墙上火炮虽然是盲射，却也形成了一道火力封锁网，阻止了后来者前进。墙上和堡内的守军不断往城门洞中投掷手雷，倾泻着火枪子弹，让狭窄的城门洞变成了进攻者的屠宰场。死去的柔佛士兵尸体层层叠叠，竟然堵住了大半个城门洞。
眼见堡垒门大开，已方士兵却如潮水般败退，阿齐兹怒不可遏，连斩了数十名逃跑的溃兵，却没有阻止住退势。他不敢处置那些带头逃跑的军中将领，那些人要么是国内小土邦王公，要么是贵族，杀了他们后果会很严重。柔佛苏丹国并不是中原地区的中央集权，而是由大大小小的土邦散装而成。这些土邦独立性很强，自己征税和审判断案，还有自己的土兵。即便阿齐兹贵为国王，也不敢轻易得罪这些地头蛇。
不仅柔佛苏丹国如此，整个南洋地区都是这种政权组织结构，甚至邦国林立，一盘散沙。虽然南洋气侯温暖资源丰富，人口数量也众多，但低效的政权组织形式，使得其历史上崛起的大帝国屈指可数。随之对应的是，南洋地区各土邦军队组织松懈，战术和装备都十分落后，加上生产科技落后，士兵身材矮小，战斗意志也不顽强，其战斗力自然高不到了那里。
溃兵四散乱窜，柔佛军营地一片喧闹。阿齐兹好不容易在星光下收拢了溃兵，准备再组织进攻，一举突入堡垒之中。只不过手下沮丧地告诉他，守军已经清理了城门洞，又用石头木头将其牢牢堵住，现在再要攻进去怕是难了。阿齐兹那里肯放弃，命刀斧手逼了士兵前去城门。不料刚冲到半途，便遭到了火炮的轰击。大部分冲锋的士兵如同麦子一样被割到，侥幸冲到近处的，又遭到劈头盖脸的火枪射击。
柔佛军虽然数量众多，但实际上已经丧失了战斗力。冷兵器时代的军队，战损率超过百分之三十就意味已经不能继续作战。当然，像蒙军和霹雳军这类的强军除外。南洋的土兵们战斗意志普遍薄弱，往往伤亡在百分之二十以上便会溃逃。柔佛士兵虽然有宗教加持，但也比其他土兵好不到那里去。阿齐兹带来的七千士兵已经损失了二千人，战损率已接近百分之三十，士气已经跌落到了谷底，眼下没有溃逃已是