Dalam Wikipedia dijelaskan bahwa
statistika merupakan ilmu yang mempelajari bagaimana merencanakan,
mengumpulkan, menganalisis, menginterpretasi, dan mempresentasikan data,
berbeda dengan statistik yang merupakan kumpulan data yang berbentuk angka
maupun bukan angka yang tersusun dalam bentuk tabel maupun diagram yang
menggambarkan atau yang berkaitan dengan masalah tertentu.
Dalam Dunia statistik akan ada
pengujian yang digunakan untuk mengetahui bagaimana pengaruh atau hubungan
antar variabel dimana pengujina ini memiliki beberapa jenis, seperti pengujian regresi
sederhana, pengujian regresi berganda, pengujian dengan data panel, dan masih
banyak lagi. Pengujian tersebut akan dibahas satu persatu pada Laman
statistik.
Penggunaan istilah statistika
berakar dari istilah istilah dalam bahasa latin modern statisticum collegium
("dewan negara") dan bahasa Italia statista ("negarawan"
atau "politikus").
Gottfried Achenwall (1749)
menggunakan Statistik dalam bahasa Jerman untuk pertama kalinya sebagai nama
bagi kegiatan analisis data kenegaraan, dengan mengartikannya sebagai
"ilmu tentang negara (state)". Pada awal abad ke-19 telah terjadi
pergeseran arti menjadi "ilmu mengenai pengumpulan dan klasifikasi
data". Sir John Sinclair memperkenalkan nama (Statistics) dan pengertian
ini ke dalam bahasa Inggris. Jadi, statistika secara prinsip mula-mula hanya
mengurus data yang dipakai lembaga-lembaga administratif dan pemerintahan.
Pengumpulan data terus berlanjut, khususnya melalui sensus yang dilakukan
secara teratur untuk memberi informasi kependudukan yang berubah setiap saat.
Pada abad ke-19 dan awal abad
ke-20 statistika mulai banyak menggunakan bidang-bidang dalam matematika,
terutama peluang. Cabang statistika yang pada saat ini sangat luas digunakan
untuk mendukung metode ilmiah, statistika inferensi, dikembangkan pada paruh
kedua abad ke-19 dan awal abad ke-20 oleh Ronald Fisher (peletak dasar
statistika inferensi), Karl Pearson (metode regresi linear), dan William Sealey
Gosset (meneliti problem sampel berukuran kecil). Penggunaan statistika pada
masa sekarang dapat dikatakan telah menyentuh semua bidang ilmu pengetahuan,
mulai dari astronomi hingga linguistika. Bidang-bidang ekonomi, biologi dan
cabang-cabang terapannya, serta psikologi banyak dipengaruhi oleh statistika
dalam metodologinya. Akibatnya lahirlah ilmu-ilmu gabungan seperti
ekonometrika, biometrika (atau biostatistika), dan psikometrika.
Meskipun ada pihak yang
menganggap statistika sebagai cabang dari matematika, tetapi sebagian pihak
lainnya menganggap statistika sebagai bidang yang banyak terkait dengan
matematika melihat dari sejarah dan aplikasinya. Di Indonesia, kajian
statistika sebagian besar masuk dalam fakultas matematika dan ilmu pengetahuan
alam, baik di dalam departemen tersendiri maupun tergabung dengan matematika.