最小2乗法とはどんなものか

何かの実験をしたとしましょう。x軸、y軸を描きます。 例えば、図1のような結果です。実験結果ですから誤差は避けられません。結果の点は一直線上には乗っていませんね。このとき、ある人は「x、yの関係はこれだ!」と図2のように直線を引くかも知れません。別の人は図3のように引くかも。どちらが正しいんでしょうか…