Q: ページスピードインサイトについて点数が低くても、リンク対策やコンテンツをしっかりとしておき、アクセスがあれば極端なことを言えば、気にしなくてもいいのでしょうか？

Ａ：

はい。おっしゃるとおりです。上の図をご覧下さい。ヤフージャパンのモバイル版ですら５２点で「Poor」という点数しか取れていません。

その他にも：

価格コムのトップページ
50 / 100 Poor

アップルのトップページ
58 / 100 Poor

楽天のトップページ
61 / 100 Poor

Facebookのトップページ
68 / 100 Needs Work

というように大手の人気サイトでも５０点がやっとでよくても６０点以上といったところなので５０点位上を目指すことをおすすめします。

ただし、ここで気をつけるべきは無理をして９０点以上取ろうとするとサイトを更新してもブラウザにキャッシュが残り更新された情報が一定の作業をしないと反映されないなどとサイト運営者側として苦労することがあります。無理をして高得点を出そうとしてオペレーション上の不便が生じるとサイト運営者のモチベーションに響いたり、作業効率が極端に悪化しますので注意をして下さい。

ちなみにGoogleはどうかというと・・・

Googleのトップページ
100 / 100 Good

Googleの検索結果ページ
98 / 100 Good

というようにこのルールを決めただけあって１００点やそれに近い数字を出しています。
まさか、Googleほどシンプルなレイアウトやデザインにできる業種はほとんど無いはずです。

以上ですが５０点以上になるように調査結果ページに表示されるサジェストを参考にしてサイトの軽量化を目指して下さい。