建物は、『源氏』『紫式部』の展示にふさわしい平安時代の寝殿造となっている。設計は、純和風建築をモダンにアレンジすることに才能を発揮した吉田五十八（よしだ・いそや）。奈良の大和文華館も同氏による設計で、両館の建物は兄弟関係にあり、収蔵品のつながりも深い。
　収蔵品の鑑賞とともに愉しみたいのが庭園散策。梅、桜、木蓮、ツツジ、椿、山茶花、秋の紅葉のほか、東京都の天然記念物に指定されているコブシの巨木がある。

平安時代末期の宮廷画家・藤原隆能（ふじわら・たかよし）が描いたと伝わる現存最古の絵巻。光源氏が弟、冷泉院（実際は源氏の子）と対話する夜の場面。笛を吹くのは源氏の息子、夕霧か。2000年7月発行の二千円札裏のデザインに採用され、知る人も多い。

戦前日本を代表する大コレクターであり、三井財閥を支えた実業家。
本名、益田孝。茶人としても名を馳せ「鈍翁」と号す。

東京飲料株式会社（現・東京コカ・コーラボトリング株式会社）設立者。

紅葉の名所、奈良県の竜田川を描いた尾形光琳の名品。金地に緑青の山が重なり、主役の紅葉を右上下にちらりと見せる粋な構図。本図は団扇の裏面で、表面は『蕨図』（個人蔵）となり、春と秋の主題で表裏一体だった。現在は別々に掛け軸に改装されている。

　コレクションのもうひとつの目玉は、茶道具。
　「道具や振る舞いにセンスがないと人柄を疑われる。当時の実業家にとって、茶席の場は娯楽であると同時に真剣勝負の場でした」
　財界での付き合いの必要もあって集めた茶道具。しかしその好みのすべてが、五島氏自身のものというわけではないようだ。

　名品の陰にいつもそれを取り巻く人間模様が見え隠れする。戦後の偉大な実業家であり蒐集家であった五島慶太氏。彼とそのコレクションを取り巻くエピソードを知ると、敷居が高いとも思える古美術の世界も少しは身近に感じられるかもしれない。

桃山時代を代表する水指として知られる。ぐちゃっと潰れたよう素朴な造形が、いかにも桃山陶器らしい。銘に「破袋（やぶれぶくろ）」とあるが、実際に割れがあり焼き物としては普通の感覚では不良品。しかし、桃山時代の茶人、古田織部がその迫力ある造形力に感じ入り、後世に伝えた。

　収蔵品がデザインされたポストカード、ハンカチ、あぶらとり紙などのグッズ、図録を豊富に取り揃える。人気は『源氏物語絵巻』のレターセットや一筆箋。「外国人へのお土産に喜ばれています」。