辜鸿铭就出生这样一个“二等公民”的“贵族”之家。他是紫云的次子，其母亲是西洋人，因此也遗传西洋人的某些特征，大眼睛高鼻子深眼窝，个虽不高，但聪明伶俐，深得布朗夫妇的喜爱，把他收为养子。不用说，他的生活是相当优裕的，不过在他心目中，只知道这连片的橡胶园，幢幢别墅洋房，知道层层叠叠、翠蔓拂缀的热带丛林，知道那静谧的田间小道和两边的高大的椰子树，知道那被蔚蓝大海拥抱着的白沙滩，大海里的几片白帆，沙滩上的一串脚印，知道那最悠扬动听的乡间小调，纤夫船歌，这些成为后来饱经沧桑的梦里家乡，多年以后对此还充满深情，回味无穷。他还不知道在这片土地上有多少同胞在这里洒干血汗和泪水。
辜鸿铭少年时，从他父祖辈口中听到过一些有关中国到马来西亚的古老而神奇的传说。据说，在很久很久以前，那时这里还没有葡萄牙人和荷兰人的时候，这里只有印度人在称霸，拒绝外人上岛。后来一队中国人驾一艘大船来到这里，船上载着一棵粗壮高大的树，放着一些生锈的铁杵，船上的人化装得须发皆白，浩浩荡荡地到槟榔屿。守在这里的印度人惊奇地问这些人从哪里来，船上人回答：“我们是中国的钦差大臣。”印度人问：“中国在哪里，中国离这里有多远？”船上的中国人回答：“有多远我们记不得了，只知道当初启程时，我们都是青壮年，现在头发都变白了。船上的树是当时落在船上的一粒种子，现在都长成了大树，我们用的铁杵已经锈成这般模样了，你说从中国到这里有多远呢？”这些印度人非常佩服和害怕，就悄悄撤走了。这是当地流行很广的传说，这里的华侨谈起来也引为自豪，为中国人的毅力和智慧而自豪。这种传说在辜鸿铭幼小的心灵中引起朦朦胧胧的向往祖国之情。但他还不知道在那充满神奇的地方此刻正遭受着西方列强的浩劫。
东南亚的华侨，不管是农民还是商人，都念念不忘祖国传统文化，像辜礼欢把儿子辜安平送回国内学习一样，这些华侨在南洋大多没有落地生根的打算，与内地常保持密切的联系。他们籍贯常常写大陆祖籍。辜紫云和布朗因往来经商或公差，常常往返于中国与南洋之间，辜鸿铭幼时在大陆和台湾不少地方小住过，据有关辜鸿铭的传记材料可知，他少年时在香港短期学过英文，在厦门进过教会学校，在广州、台湾都住过。他有时也对人说他是台湾人，他在台湾肯定住过一段时间且比较熟悉。王国维在1917年12月21日《致罗振玉书》中曾说“辜氏贫不能自存，拟往台湾依其族人，大树（指冯国璋）遣人留之”可证。
展开
