سوال: سورس پیدا کردن خطوط و کلمات تکراری (بهترین الگوریتم)

سلام دوستان یک فایل حدودا 5گیگابایتی دارم که که می خوام کلمات تکراری توی اون حذف بشن و برای این کار سریعترین الگوریتم رو می خوام
مثال:
ورودی:
59548
63182
63612
25079
62977
25076
25624
62977
36447
94214
25079
62977

خروجی:
25076
25079
25624
36447
59548
62977
63182
63612
94214

(textbox)

- - , .