Namun meskipun banyak penggemar menyadari bahwa Elizabeth berasal dari keluarga terkenal, dia menyadari kalau hal tersebut kadang menjadi beban baginya.
Pada suatu waktu, dia bahkan pernah mempertimbangkan untuk mengganti namanya, karena tidak ingin saat mengikuti audisi orang akan mengaitkan dengan sudaranya yang sudah terkenal sejak bayi.
Marry-Kate dan Ashley Olsen yang merupakan kakak dari Elizabeth Olsen adalah duet kembar yang sudah terkenal sejak bayi saat mereka membintangi serial drama televisi Full House.
Drama komedi situasi besutan Jeff Franklin ini sangat terkenal di Indonesia pada era tahun 80an sampai awal 90an.
Kepada The Sun Elizabeth mengatakan"Saya tidak bisa berjalan di sebuah ruangan tanpa semua orang sudah memiliki pendapat. Hal tentang nepotisme adalah ketakutan bahwa Anda tidak mendapatkan atau pantas mendapatkan pekerjaan,"
"Bahkan ada bagian dari diriku ketika aku masih kecil yang berpikir jika aku akan menjadi seorang aktris, aku akan dipanggil oleh Elizabeth Chase, yang merupakan nama tengahku," kata Elizabeth Olsen.***