Cách tính thống kê

Thống kê là nghiên cứu của tập hợp nhiều lĩnh vực khác nhau, bao gồm phân tích, giải thích, trình bày và tổ chức dữ liệu[1]. Khi áp dụng thống kê trong khoa học, công nghiệp hoặc các vấn đề xã hội, thông lệ là bắt đầu với tổng thể thống kê hoặc một quá trình mô hình thống kê sẽ được nghiên cứu. Tổng thế có thể gồm nhiều loại khác nhau như tất cả mọi người đang sống trong một đất nước hay tập hợp các phân tử của tinh thể. Nó đề cập tới tất cả các khía cạnh của dữ liệu bao gồm việc lập kế hoạch, thu thập dữ liệu mẫu cho các cuộc khảo sát và thí nghiệm.[1]

Hầu hết các nghiên cứu chỉ ra là một phần của một mẫu tổng thể, vì vậy kết quả không hoàn toàn đại diện cho toàn bộ tổng thể. Bất kỳ ước tính thu được từ mẫu chỉ gần đúng với giá trị tổng thể. Khoảng tin cậy cho phép các nhà thống kê thể hiện chặt chẽ các mẫu dự tính phù hợp với các giá giá trị thực trong toàn bộ tổng thể. Thông thường chúng được thể hiện ở khoảng tin cậy 95%. Chính thức khoảng tin cậy 95% cho một giá ở phạm vi rộng, nếu lấy mẫu và phân tích được lặp đi lặp lại trong cùng một điều kiện [cho ra bộ dữ liệu khác nhau], khoảng cách giữa hai giá trị sẽ bao gồm giá trị thật [tổng thể] đạt 95% giá trị trong tổng số các trường hợp có thể xảy ra. Điều này không có nghĩa là xác suất mà giá trị thực trong khoảng tin cậy là 95%. Từ những quan điểm, kết luận như vậy là không có nghĩa, như là giá trị thực không phải là một biến ngẫu nhiên. Hoặc là giá trị thực hoặc trong phải trong một khoảng tin cậy. Tuy nhiên, sự thật là trước khi bất kỳ dữ liệu nào được lấy mẫu và đưa ra kế hoạch làm thế nào để tạo ra khoảng tin cậy, xác suất là 95% cho khoảng tin cậy chưa được thống kê sẽ bao gồm các giá trị đúng: tại thời điểm này, giới hạn của khoảng tin cậy là các biến ngẫu nhiên chưa được quan sát. Một phương pháp mà không mang lại một khoảng tin cậy được hiểu là một xác suất nhất định có chứa các giá trị thực sử dụng trong một khoảng tin cậy từ thống kê Bayesian: phương pháp này phụ thuộc vào cách giải thích khác nhau thế nào là xác suất, đó như là xác suất Bayesian.

Trong nguyên tắc chọn khoảng tin cậy có thể được đối xứng hoặc không đối xứng. Một khoảng tin cậy có thể không đối xứng vì nó hoạt động thấp hơn hoặc cao hơn các ràng buộc cho một tham số [khoảng tin cậy phía trái hoặc phải], nhưng nó cũng có thể là không đối xứng vì khoảng hai chiều được xây dựng đối xứng trong dự tính. Đôi khi các giới hạn cho một khoảng tin cậy đạt được tiệm cận và được sử dụng để ước tính giới hạn.

Mức ý nghĩaSửa đổi

Thống kê hiếm khi chỉ trả lời các câu hỏi dưới dạng có/không dưới các phân tích. Sự giải thích thường đi xuống đến mức ý nghĩa thống kê áp dụng với số lượng và thường đề cập đến xác suất của một giá trị chính xác từ chối giả thuyết rỗng [có thể xem như là giá trị p-value].

Phân phối chuẩn[15] là để thử nghiệm một giả thuyết đối với một giả thuyết khác. Một miền quan trọng là để tập hợp các giá trị của các ước lượng dẫn đến bác bỏ giả thuyết rỗng. Do đó xác suất của sai số loại I là xác suất mà các ước lượng thuộc các khu vực quan trọng cho rằng giải thuyết đúng [có ý nghĩa thống kê] và xác suất sai số loại II là xác suất mà các ước lượng không thuộc miền quan trọng được đưa ra bằng giả thuyết thay thế là đúng. Các số lượng thống kê của một thử nghiệm là xác suất mà nó đúng bác bỏ giả thuyết rỗng khi giả thuyết là sai.

Đề cập đến mức ý nghĩa thống kê không nhất thiết là kết quả của tổng thể so với số hạng thực. Ví dụ, trong một nghiên cứu lớn về một loại thuốc có thể chỉ ra rằng thuốc có tác dụng mang lại lợi ích đáng kể về mặt thống kê nhưng rất nhỏ, như vậy loại thuốc này dường như không có khả năng tác dụng nhiều cho bệnh nhân.

Trong khi về nguyên tắc mức chấp nhận ý nghĩa được thống kê có phải xem xét vấn đề, các giá trị p-value là mức ý nghĩa nhỏ nhất cho phép thử nghiệm để bác bỏ giả thuyết. Kết quả tương đương nói rằng các giá trị p-value là xác suất, giả định giả thuyết là đúng, kết quả quan sát là cực kỳ thấp như kiểm định thống kê. Do đó giá trị p-value càng nhỏ, xác suất sai số loại I càng thấp.

Một vấn đề thường xảy ra với loại này:

• Một sự khác biệt đó là có ý nghĩa thống kê cao vẫn có thể không có ý nghĩa, nhưng nó có thể phát biểu đúng các kiểm định trong thống kê. Một câu trả lời trở thành giả thuyết chỉ có mức ý nghĩa bao gồm các giá trị p-value, tuy nhiên không biết được kích thước hay tầm quan trọng của kiểm định quan sát được và cũng có thể kết luận được tầm quan trọng của các khác biệt nhỏ trong các nghiên cứu lớn. Một cách tiếp cận tốt hơn và ngày càng phổ biến là để báo cáo khoảng tin cậy. Mặc dù chúng được đưa ra từ việc tính toán tương tự như những kiểm định giả thuyết hoặc giá trị p-value, mô tả kích thước của ảnh hưởng và những điều không chắc chắn.
• Độ sai lệch của thay đổi điều kiện, những ý kiến sai lầm của Aka: những lời phê bình chỉ ra các giá trị để kiểm định giả thuyết [giả thuyết vô nghĩa] được ưa chuộng, vì xác suất của kết quả của giả thuyết vô nghĩa đưa ra kết quả quan sát được. Một thay thế cho phương pháp này được đưa ra bởi suy luận Bayesian, mặc dù nó đòi hỏi việc một xác suất cho trước.[17]
• Bác bỏ giả thuyết không tự động chứng minh được giả thuyết thay thế.
• Như tất cả mọi thứ trong thống kê suy luận nó dựa vào kích thước mẫu, và do đó dưới miền giá trị p-value giá trị có thể không được tính.

Các ví dụSửa đổi

Một số thử nghiệm và thống kê nổi tiếng là:

• Phân tích phương sai [ANOVA]
• Kiểm định chi bình phương
• Sự tương quan
• Phân tích nhân tố
• Mann-Whiteney
• Độ lệch chuẩn ý nghĩa bình phương
• Hệ số tương quan Pearson
• Phân tích hồi quy
• Thứ bậc hệ số tương quan của Spearman
• Kiểm định t-test
• Chuỗi thời gian

Sử dụng sai mục đích các số liệu thống kê có thể có những kết quả không lường được, những sai số nghiêm trọng trong mô tả và giải thích sai ý nghĩa ngay cả các chuyên gia có kinh nghiệm cũng có các lỗi như vậy, và nghiêm trọng là chúng có thể dẫn đến đưa ra quyết định sai. Ví dụ chính sách xã hội, nghề thuốc, và độ tin cậy của cấu trúc dựa trên các số liệu thống kê.

Ngay cả khi các kỹ thuật thống kê được áp dụng một cách chính xác, kết quả có thể khó để giải thích cho những người thiếu chuyên môn. Ý nghĩa thống kê của một phương pháp có thể được gây ra bởi sự thay đổi ngẫu nhiên trong mẫu, có thể hoặc không thể đồng ý với đánh giá trực quan của mức ý nghĩa. Tập hợp các kỹ năng thống kê cơ bản mà mọi người cần phải thỏa thuận với các thông tin trong cuộc sống hàng ngày như một kỹ năng trong lĩnh vực thống kê.

Có ý kiến cho rằng kiến thức thống kê được cho là bị lạm dụng một cách quá bình thường bằng cách tìm ra hướng để giải thích các dữ liệu có ích cho người trình bày.[18] Một sự nghi ngờ và tìm hiểu sai về số liệu thống kê được kết hợp với các trích dẫn, có ba loại của sự lừa dối: dối trá, rất dối trá và thống kê. Lạm dụng các số liệu thống kê có thể có được kể cả vô ý và có chủ ý, và cuốn sách làm thế nào để nói dối các nhà thống kê[18] đã chỉ ra một loạt các quyết định. Trong một nỗ lực để làm sáng tỏ việc sử dụng và lạm dụng các số liệu thống kê, đánh giá các kỹ thuật thống kê được sử dụng trong các lĩnh vực cụ thể được thực hiện [ví dụ: Warne, Lazo, Ramos, and Ritter].[19]

Cách để tránh số liệu thống kê bao gồm sử dụng sơ đồ thích hợp và ngăn ngừa sai số.[20] Sử dụng sai số có thể xảy ra khi kết luận là sai số quá lớn và yêu cầu có tính đại diện hơn so với giá trị thật, thường là cố ý hay vô ý không nhận thấy ra sai số mẫu.[21] Đồ thị dạng cột được cho là biểu đồ đơn giản nhất để sử dụng và hiểu, các biểu đồ này có thể vẽ bằng tay hoặc bằng các chương trình máy tính đơn giản[20]. Nhưng hầu hết mọi người đều không nhìn ra giá trị sai lệch hay sai số, vì vậy những lỗi sai này không được sửa chữa. Nên mọi người thường tin vào kết quả ngay cả khi nó không phải là kết quả tốt.[21] Để làm cho dữ liệu thu thập được từ các số liệu thống kê đáng tin cậy và chính xác, mẫu được chọn phải có tính tổng thể.[22] Theo Huff, độ tin cậy của một mẫu có thể bị phá hủy giá trị sai lệch, cho phép một số mức độ hoài nghi.[23]

Để hỗ trợ cho sự hiểu biết của các số liệu thống kê, Huff đã đề xuất một loạt các câu hỏi được hỏi trong mỗi trường hợp:[18]

• Ai nói vậy?
• Làm thế nào để anh/chị biết?
• Những gì còn thiếu?
• Có ai thay đổi nội dung?
• Nó có ý nghĩa không?

Hiểu sai mối tương quanSửa đổi

Các khái niệm về mối tương quan đặc biệt đáng chú ý cho những rắc rối tiềm ẩn có thể xảy ra. Phân tích thống kê của một tập dữ liệu thường cho thấy rằng hai biến [thuộc tính] của tổng thể được xem xét dưới nhiều trường hợp khác nhau, như chúng có mối quan hệ. Ví vụ, một nghiên cứu về thu nhập hàng năm mà dựa vào độ tuổi có thể cho thấy rằng người nghèo có xu hướng có cuộc sống ngắn hơn so với người giàu. Hai biến được cho là có quan hệ, tuy nhiên, nó có thể có hoặc không với biến khác. Các hiện tượng tương quan có thể được giải thích bởi một hiện tượng trước đây không được xem xét đến như một yếu tố thứ ba, gọi là biến nhiễu hoặc biến bác bỏ. Vì lý do này, không còn cách nào để lập tức suy ra sự tồn tại của một quan hệ nhân quả giữa hai biến. [xem tương quan nào không đưa đến kết quả].

Phương pháp thống kê đã tồn tại ít nhất là thế kỷ thứ 5 trước công nguyên.

Một số học giả xác định được nguồn gốc của số liệu thống kê đến năm 1663, với các ấn phẩm của tự nhiên và quan sát chính trị Bills do John Graunt. Ứng dụng đầu tiên của thống kê xoay quanh nhu cầu chính sách các quốc gia trên cơ sở dữ liệu nhân khẩu học và kinh tế, do đó hình thành ngành nghiên cứu nguồn gốc thống kê. Phạm vi của các môn học thống kê mở rộng trong những năm đầu thế kỷ 19 bao gồm việc thu thập và phân tích dữ liệu nhưng không chuyên sâu. Ngày nay, thống kê được sử dụng rộng rãi hơn trong chính phủ, kinh doanh, khoa học tự nhiên và xã hội. Cơ sở hình thành toán học đã được đưa ra vào thế kỷ 17 với sự phát triển lý thuyết xác suất của Blaise Pascal và Pierre de Fermat. Lý thuyết xác suất toán xuất phát từ việc nghiên cứu trò chơi may rủi, mặc dù khái niệm xác suất đã được nghiên cứu trong thời trung cổ và luật của các triết gia như Juan Caramuel.[24] Các phương pháp bình phương nhỏ nhất đã được mô tả đầu tiên bởi Adrien-Mrie Legendre vào năm 1805.

Các lĩnh vực hiện đại của số liệu thống kê xuất hiện vào cuối thế kỷ 19 và đầu thế kỷ 20 trong 3 giai đoạn.[25] Giai đoạn đầu tiên, vào thời điểm chuyển giao thế kỷ, được dẫn dắt bởi các công việc của Sir Francis Galton và Karl Pearson, đã trở thành một hệ thống thống kê toán học sử dụng trong phân tích, không chỉ trong các nghiên cứu khoa học, mà còn sử dụng trong các ngành công nghiệp và chính trị. Sự đóng góp của Galton trong lĩnh vực này bao gồm giới thiệu các khái niệm về độ lệch chuẩn, tương quan, hồi quy và các ứng dụng của các phương pháp này để nghiên cứu về đặc điểm của con người, chiều cao, cân nặng, chiều dài của lông mi và các đặc điểm khác.[26] Pearson phát triền các hệ số tương quan, được định nghĩa như là tích số quan trọng[27]. Phương pháp của hiện tại cho việc điều chỉnh phân phối màu và hệ thống các đường cong liên tục, trong số những mẫu khác[28]. Galton và Pearson thành lập Biometrika là cuốn sách đầu tiên của thống kê toán và sinh học, thành lập ban thống kê đầu tiên tại trường đại học London.[29]

Giai đoạn thứ hai của những năm 1910 và 1920 đã được khởi xướng bởi William Gosset, và đỉnh cao trong tri thức của Sir Ronald Fisher, người đã viết cuốn sách để xác định các ngành học trong các trường đại học trên toàn thế giới. Ấn phẩm quan trọng nhất của Fissher là 1916 trang, các tương quan giữa mối liên hệ với giả thuyết, kế thừa của Mendelian và 1925 cách sử dụng phương pháp thống kê cho những nhà nghiên cứu. Bài viết của ông là người đầu tiên sử dụng các thuật ngữ thống kê, phương sai. Ông đã phát triển mô hình thử nghiệm nghiêm ngặt và cũng hệ thống đầy đủ dữ liệu, thống kê phụ thuộc, phân biệt tuyến tính của Fisher và thông tin Fisher.[30]

Giai đoạn cuối cùng, trong đó chủ yếu là nhận thấy sự tinh tế và mở rộng phát triển trước đó, nổi lên từ sự hợp tác giữa Egon Pearson và Jerzy Neyman trong năm 1930. Họ giới thiệu các khái niệm về sai số loại II, sức mạnh của một thử nghiệm và khoảng thời gian tin cậy. Năm 1934, Jerzy Neyman cho thấy việc chọn mẫu ngẫu nhiên phân lớp là một phương pháp tốt hơn của ước lượng so với chọn mẫu có mục đích.[31]

Ngày nay phương pháp thống kê được áp dụng trong tất cả các lĩnh vực có liên quan đến việc ra quyết định, để cho các kết luận chính xác từ một bộ phận so với các dữ liệu và đưa ra quyết định khi đối mặt với kết luận không chắc chắn dựa trên phương pháp thống kê. Việc sử dụng máy tính hiện đại đã tính toán nhanh các tính toán thống kê quy mô lớn, và cũng đã có những phương pháp mới có thể không chính xác bằng việc tính bằng tay. Thống kê tiếp tục là một lĩnh vực nghiên cứu thiết thực, ví dụ như vấn đề làm sao để phân tích dữ liệu lớn.[32]

Ứng dụng thống kê, lý thuyết thống kê và toán thống kêSửa đổi

Thống kê ứng dụng bao gồm thống kê mô tả và các ứng dụng của thống kê suy luận [bằng chứng cần thiết][33]. Lý thuyết thống kê liên quan tới những lập luận logic cơ bản giải thích của phương pháp tiếp cận kết luận thống kê, cũng bao gồm toán thống kê. Toán thống kê không chỉ bao gồm các thao tác của phân phối xác suất cần thiết cho kết quả phát sinh liên quan đến các phương pháp tính toán và suy luận, nhưng còn khía cạnh khác nhau của các số liệu thống kê tính toán và thiết kế các thử nghiệm.

Học qua máy và khai thác dữ liệuSửa đổi

Có hai ứng dụng cho học qua máy móc và khai thác dữ liệu: quản lý dữ liệu và phân tích dữ liệu. Các công cụ thống kê cần thiết cho việc phân tích dữ liệu.

Thống kê trong xã hội họcSửa đổi

Thống kê được áp dụng cho một loạt các môn học, bao gồm cả khoa học tự nhiên và xã hội, chính trị và kinh doanh. Thống kê tư vấn có thể giúp các tổ chức và công ty không có chuyên môn trả lời những thắc mắc.

Tính toán thống kêSửa đổi

Sự tăng nhanh và ổn định ở khả năng tính toán bắt đầu từ nửa sau thế kỷ 20 đã có một tác động đáng kể vào việc thực hành của môn khoa học thống kê. Mô hình thống kê lúc đầu gần như là của một lớp mô hình tuyến tính, nhưng khả năng tính toán, cùng với các thuật toán số học phù hợp, gây ra một lãi suất tăng trong các mô hình phi tuyến [như mạng thần kinh] cũng như tạo ra các kiểu mới, chẳng hạn như mô hình tuyến tính tổng quát và mô hình đa cấp.

Khả năng tính toán tăng cũng dẫn đến sự phổ biến ngày càng tăng của các phương pháp tính toán dựa trên chọn mẫu, chẳng hạn như xem xét hoán vị và khả năng tự hoán vị, trong khi các kỹ thuật như Gibbs lấy mẫu đã sử dụng mô hình Bayesian khả thi hơn. Các cuộc cách mạng máy tính có ảnh hưởng đến tương lai của số liệu thống kê với sự nhấn mạnh mới về thử nghiệm và thống kê thực nghiệm. Một số lượng lớn của tổng thể và đặc biệt là phần mềm thống kê taị thời điểm hiện tại.

Thống kê áp dụng cho toán học hay nghệ thuậtSửa đổi

Theo truyền thống, thống kê có liên quan tới sự suy luận bản vẽ qua việc sử dụng một phương pháp bán tiêu chuẩn đã được yêu cầu thử nghiệm trong hầu hết các ngành khoa học. Điều này đã thay đổi việc sử dụng số liệu thống kê trong các bối cảnh không có kết luận. Những gì đã được coi là một chủ đề vô vị, thực hiện trong nhiều lĩnh vực như một mức yêu cầu, bây giờ được xem một cách nhiệt tình. Ban đầu một số người khó tính đã cười nhạo, nhưng hiện nay lại được coi là phương pháp cần thiết trong mọi lĩnh vực.

• Lý thuyết số tự nhiên n, biểu đồ phân rã của dữ liệu được tạo ra bởi một hàm phân phối có thể được chuyển đổi với các công cụ quen thuộc được sử dụng trong thống kê để cho thấy những điều cơ bản, mà sau đó có thể dẫn đến các giả thuyết.
• Phương pháp thống kê bao gồm các phương pháp dự báo được kết hợp với lý thuyết hỗn hợp và hình học nhân bản để tạo ra các tác phẩm video được đánh giá có vẻ đẹp tuyệt vời.
• Các quá trình nghệ thuật của Jackson Pollock dựa trên thí nghiệm nghệ thuật phân bố cơ bản trong tự nhiên được tiết lộ. Với sự ra đời của máy tính, các phương pháp thống kê được áp dụng để hợp thức hóa với các quá trình tự nhiên phân phối theo định hướng như vậy để thực hiện và phân tích nghệ thuật hình ảnh động.
• Phương pháp thống kê có thể được sử dụng để xác nhận trong nghệ thuật trình diễn, như trong một thẻ giả dựa trên quá trình Markov và chỉ hoạt động một thời gian nhất định, qua đó có thể dự đoán được việc sử dụng phương pháp thống kê.
• Thống kê có thể được sử dụng trong việc tạo hình nghệ thuật, như trong âm nhạc hay thống kê ngẫu nhiên phát minh bởi Lannis Xenakis, nơi âm nhạc biểu diễn rõ ràng. Mặc dù kiểu nghệ thuật không phải lúc nào cũng như mong đợi, nó diễn ra theo cách đó là được đoán trước và có hòa âm được bằng cách sử dụng thống kê.

Lĩnh vực chuyên mônSửa đổi

Các kỹ thuật thống kê được sử dụng trong một loạt các nghiên cứu khoa học và xã hội, bao gồm: ngành sinh học, tính toán sinh học, tính toán xã hội học, hệ thống sinh học, khoa học xã hội và nghiên cứu xã hội. Một số lĩnh vực sử dụng điều tra thống kê được áp dụng rộng rãi rằng họ có chuyên môn. Những ngành này bao gồm:

• Khoa học tính toán bảo hiểm [đánh giá rủi ro trong các ngành công nghiệp bảo hiểm và tài chính]
• ứng dụng thông tin kinh tế
• thiên văn học [đánh giá thống kê của dữ liệu thiên văn]
• sinh học
• thống kê kinh doanh
• hóa học [phân tích dữ liệu hóa học]
• khai thác dữ liệu [áp dụng thống kê và nhận dạng mẫu để khám phá tri thức từ dữ liệu]
• dân số học
• kinh tế học [phân tích thống kê các số liệu kinh tế]
• thống kê năng lượng
• thống kê kỹ thuật
• khoa học nghiên cứu bệnh dịch [phân tích thống kê của bệnh]
• địa lý và hệ thống thông tin địa lý, đặc biệt trong phân tích không gian
• xử lý hình ảnh
• thống kê y tế
• thống kê về hành vi, tâm lý
• độ bền cơ khí
• thống kê xã hội

Ngoài ra còn có các loại cụ thể của phân tích thống kê cũng đã phát triển các thuật ngữ chuyên ngành thống kê các phương pháp thống kê:

• thống kê đa biến
• phân lớp thống kê
• phân tích dữ liệu có cấu trúc [thống kê]
• mô hình phương trình cấu trúc
• phương pháp điều tra
• phân tích sự tồn tại
• thống kê trong các môn thể thao khác nhau, đặc biệt là bóng chày và bóng bầu dục.

Thống kê là một công cụ quan trọng trong cơ sở sản xuất kinh doanh. Nó được sử dụng để hiểu hệ thống đo lường biến động, kiểm soát quá trình [như trong kiểm soát quá trình thống kê hoặc thông qua hệ thống], cho dữ liệu tóm tắt, và đưa ra quyết định dựa trên dữ liệu. Nó đóng vai là một công cụ quan trọng, và là công cụ duy nhất đáng tin cậy.

• Trang chủ của cơ quan thống kê các nước
• Trang chủ của Tổng cục Thống kê Việt Nam