他还有个孪生弟弟，长得一模一样，名叫北山孝雄。北山孝雄做点商品设计，没有成为建筑师，他还在浜野商品研究所时，曾经和他的弟弟——即安藤的三弟——建筑师北山孝二郎一起合作“玫瑰花园”，北山孝二郎因为和解构主义建筑大师彼得·艾森曼合作而闻名建筑界，不过和大哥安藤忠雄比起来那实在是小巫见大巫。
40多年前，看上去瘦瘦弱弱的安藤依靠打拳击（战绩是23战13胜3败7平）赚得了人生的第一桶金，这个战绩很不错，发展下去也许可以去和泰森较量一番，但是这头“的公牛”没有被胜利冲昏了头脑，他清楚地认识到，建筑比拳击更文明，于是他选择用这些钱周游列国。
7年后，风尘仆仆的安藤从欧洲和非洲考察归来，创办“安藤忠雄建筑研究所”。安藤当时喝了些洋墨水，正想大展，此时，一个项目摆在他的面前——住吉的长屋。
这个作品很特别，多次得到日本建筑学会的肯定，让初出茅庐的安藤忠雄声名鹊起，但是也争议。比较集中的一点是，他设计了一个中庭，顶上没有遮挡，如果去厕所的话必须经过这个中庭才可以。
有人说：“你盖的这个房子想法挺好的，但是如果这样的话晚上上厕所怎么办呢？如果这样的话，你是不是很冷？”
就是这样，天马行空的安藤忠雄从不为的观念所动，他要做的，是自己的梦想所塑造的建筑，虽然有时候，在功能性上确实值得商榷。但正是这种个性的设计令三得利的老总为之倾倒，他委托安藤设计三得利美术馆。由于三得利美术馆面朝大海春暖花开，他异想天开，能不能在海湾里拦上渔网，把鲸鱼拦在里面？这个极为大胆的想法不知道可不可行，反正大阪市长一听安藤的汇报就吓坏了：太麻烦啦，不行！
现在，他是享誉世界的建筑大师，继丹下健三和槙文彦获得普利茨克之后，安藤忠雄于1985年成为日本第三位获此殊荣的建筑师。
“在建筑中的，现在也仍然持续着，虽然经验相应地增加了，但是形势还是一样的严峻。近期由于设计竞赛的工作很多，所以这样的感觉特别明显。毕竟我在设计竞赛方面几乎是连败这样一个凄惨的状况。”安藤忠雄说。哪里有普利茨克得主的豪气？就规模而言，安藤的事务所在日本也只能算是一个小公司，20来个人，始终没有扩张成跨国大企业，恐怕不仅和安藤的艺术有关，也和日本经济衰退有着密不可分的联系。
在国际上，安藤忠雄的盛名也没能让他的事务所在国际竞赛中成为常胜将军。事实正好相反，他自称，参加各种竞赛，负多胜少，“不如意是家常便饭”，“至于向城市方面的提案，别说实现，几乎没人要听。”
1991年，他第一个参加的国际竞赛是JR京都站的设计。评选结果，原广司摘得桂冠，而安藤的设计却因为“技术或成本等问题上与所给条件差距较大等原因而落选了”。后来，在西班牙雷纳·索菲亚美术馆设计竞赛中败给法国设计师让·努维尔（2008年普利茨克得主）；在比利时安特卫普市立美术馆的竞赛中，又败给安特卫普本地一位名不见经传的设计师。安藤当然不服气了，愤愤不平的他将失败的原因归结为：“因素”。
其实没什么因素，只是安藤忠雄的奇思妙想有时候不为大众所接受罢了，不过有时候，也有一点小幸运。
他为制钢建的，就是六甲山集合住宅的三期。那是在六甲山山脚下一个60度朝南的斜坡上建成的建筑。安藤说：“有人怀疑在这样的坡度上能不能做成一个建筑。但是对于人来讲没有不可能的事情，我一定要把这件事情做成。我做的时候也有很多的担心，但总体上看一步一步就这样盖上去了。”
一开始就遇到了非常大的困难：由于施工条件太恶劣，找不到愿意承包工程的单位，这样的陡坡，如果处理不善，很容易发生泥石流危害。最后，一家小公司接下了这个项目，这个项目的营收，竟占到该公司全年总收入的一半。
因为是小公司，员工们都很年轻，负责工地现场的两个人都是26岁上下、进公司7年左右的年轻人。大家抱着“事到如今，只有放手一搏了”的态度，便开始动工了。
人手紧张，丈量的那一天，安藤忠雄自己也下去帮忙，他站在大斜坡上往下一看，那种陡峭的程度真是超乎他的想象。整个施工过程中，他都提心吊胆，担心会有滑坡，一直到竣工的那一天，他才放下悬在嗓子眼的心，长舒了一口气。
二期完工时，安藤的自信心大概已经爆棚。他并没有就此收手，居然跑到边上制钢株式会社的所在地，拿着他的设计图纸去找他们的老板。对方一开始很不高兴，开发商制钢一口就回绝了安藤重新设计建造的提议：“这个房子还好好的，你拿这个设计来干吗？”
对方不当一回事，可是，不知道是不是时来运转，1995年发生了阪神大地震，地震以后原来的那些设施都不能用了，制钢就给安藤打电话，口气是央求式的：“安藤老师，你做的设计什么时候能出来呢？”安藤因而得以建完六甲山集合住宅所有的一二三期。