ChatGPT και Claude: Η σημασία της ανθρώπινης εποπτείας
Η μελέτη των Lee και των συνεργατών (2025) από το Πανεπιστημιακό Κολλέγιο του Λονδίνου διερεύνησε την αποτελεσματικότητα της αξιολόγησης με τη βοήθεια της Τεχνητής Νοημοσύνης των πρακτικών στις επιστήμες του εγκεφάλου, συγκρίνοντας τα ChatGPT 4 και Claude 3.5 Sonnet με την αξιολόγηση από ειδικούς επιστήμονες/ερευνητές.
Η μελέτη διερεύνησε πόσο καλά τα μοντέλα Τεχνητής Νοημοσύνης όπως το ChatGPT και το Claude μπορούν να αξιολογήσουν πρακτικές ανοιχτής επιστήμης στην επιστήμη του εγκεφάλου, συγκρίνοντας την απόδοσή τους με την αξιολόγηση από ειδικούς επιστήμονες/ερευνητές. Η έρευνα επικεντρώθηκε στην αξιολόγηση της διαφάνειας των ερευνητικών άρθρων με βάση μια λίστα ελέγχου η οποία περιλαμβάνει πτυχές όπως η κοινή χρήση κώδικα, η διαθεσιμότητα των δεδομένων και η προεγγραφή της έρευνας.
Οι ερευνητές ανέλυσαν 100 τυχαία επιλεγμένα άρθρα από επιστημονικά περιοδικά από διάφορους κλάδους της επιστήμης του εγκεφάλου, χρησιμοποιώντας μια λίστα ελέγχου διαφάνειας 6 στοιχείων.
Τρεις ειδικοί επιστήμονες/ερευνητές και δύο chatbots τεχνητής νοημοσύνης αξιολόγησαν ανεξάρτητα τα άρθρα.
Τα αποτελέσματα έδειξαν ισχυρές συσχετίσεις μεταξύ των συνολικών αξιολογήσεων του ανθρώπου και των chatbot τεχνητής νοημοσύνης.
Και τα δύο chatbots επέδειξαν υψηλή συμφωνία με τους ανθρώπους στην αξιολόγηση της κοινής χρήσης κώδικα, της διαθεσιμότητας υλικών, της προεγγραφής και των αιτιολογήσεων του μεγέθους του δείγματος.
Ωστόσο, και τα δύο μοντέλα τεχνητής νοημοσύνης αντιμετώπισαν δυσκολίες στον ακριβή εντοπισμό των δηλώσεων διαθεσιμότητας των δεδομένων και στην αξιολόγηση της δημόσιας προσβασιμότητας των κοινόχρηστων δεδομένων, επισημαίνοντας τομείς όπου εξακολουθεί να απαιτείται ανθρώπινη κρίση.
Τα ευρήματα υποδηλώνουν ότι ενώ τα μοντέλα Τεχνητής Νοημοσύνης μπορούν να είναι χρήσιμα στην αξιολόγηση ορισμένων πρακτικών της επιστήμης ανοικτής πρόσβασης για το κοινό, η ανθρώπινη εποπτεία παραμένει κρίσιμη, ιδιαίτερα σε πτυχές οι οποίες απαιτούν λεπτομερή κατανόηση και επίγνωση του πλαισίου.
