Το MedPaLM της Google δίνει έμφαση στους ανθρώπινους ιατρούς στην ιατρική τεχνητή νοημοσύνη

Οι περισσότερες εφαρμογές του τεχνητή νοημοσύνη στην ιατρική απέτυχαν να κάνουν χρήση της γλώσσας, σε γενικές γραμμές, γεγονός που η Google και η μονάδα της DeepMind εξέτασαν σε ένα έγγραφο δημοσίευσε στο έγκριτο επιστημονικό περιοδικό Nature τη Δευτέρα.

Η εφεύρεσή τους, MedPaLM, είναι ένα μεγάλο γλωσσικό μοντέλο όπως ChatGPT που έχει ρυθμιστεί για να απαντά σε ερωτήσεις από μια ποικιλία ιατρικών συνόλων δεδομένων, συμπεριλαμβανομένου ενός ολοκαίνουργιου που εφευρέθηκε από την Google και αντιπροσωπεύει ερωτήσεις που κάνουν οι καταναλωτές σχετικά με την υγεία στο Διαδίκτυο. Αυτό το σύνολο δεδομένων, το HealthSearchQA, αποτελείται από "3.173 ερωτήσεις καταναλωτών που αναζητούνται συνήθως" που "δημιουργούνται από μια μηχανή αναζήτησης", όπως "Πόσο σοβαρή είναι η κολπική μαρμαρυγή;"

Επίσης:Η Google ακολουθεί το OpenAI λέγοντας σχεδόν τίποτα για το νέο της πρόγραμμα AI PaLM 2

Οι ερευνητές χρησιμοποίησαν έναν ολοένα και πιο σημαντικό τομέα έρευνας της τεχνητής νοημοσύνης, την άμεση μηχανική, όπου στο πρόγραμμα δίνονται επιμελημένα παραδείγματα επιθυμητών αποτελεσμάτων στην εισαγωγή του.

Σε περίπτωση που αναρωτιέστε, το πρόγραμμα MedPaLM ακολουθεί την πρόσφατη τάση της Google και του OpenAI του κρύβοντας τις τεχνικές λεπτομέρειες του προγράμματος, αντί να τα προσδιορίζετε όπως είναι η συνήθης πρακτική στη μηχανική τεχνητή εκμάθηση.

Το πρόγραμμα MedPaLM σημείωσε ένα μεγάλο άλμα όταν απαντούσε στις ερωτήσεις HealthSearchQA, όπως κρίθηκε από μια ομάδα ανθρώπινων κλινικών γιατρών. Το ποσοστό των φορών που οι προβλέψεις του ήταν σύμφωνες με την ιατρική συναίνεση ξεπέρασε το σκορ 61,9% για παραλλαγή του γλωσσικού μοντέλου PaLM της Google, που επιτυγχάνει 92,6%, λίγο λιγότερο από τον μέσο όρο του ανθρώπινου ιατρού, 92.9%.

Ωστόσο, όταν ζητήθηκε από μια ομάδα λαϊκών ατόμων με ιατρικό υπόβαθρο να αξιολογήσουν πόσο καλά απάντησε η MedPaLM στην ερώτηση, που σημαίνει: "Το κάνει επιτρέψτε σε αυτούς [τους καταναλωτές] να βγάλουν ένα συμπέρασμα», το 80,3% των φορών που ήταν χρήσιμο το MedPaLM, έναντι 91,1% των γιατρών απαντήσεις. Οι ερευνητές το θεωρούν ότι σημαίνει ότι «απομένει να γίνει σημαντική δουλειά για την προσέγγιση της ποιότητας των αποτελεσμάτων που παρέχονται από ανθρώπινους κλινικούς γιατρούς».

Επίσης:7 προηγμένες συμβουλές σύνταξης προτροπής που πρέπει να γνωρίζετε

Η εργασία, "Μοντέλα μεγάλων γλωσσών κωδικοποιούν την κλινική γνώση", του επικεφαλής συγγραφέα Karan Singhal της Google και συναδέλφους, επικεντρώνεται στη χρήση της λεγόμενης άμεσης μηχανικής για να κάνει το MedPaLM καλύτερο από την άλλη μεγάλη γλώσσα μοντέλα.

Το MedPaLM είναι ένα παράγωγο ζευγών ερωτήσεων και απαντήσεων που τροφοδοτούνται με PaLM που παρέχονται από πέντε κλινικούς γιατρούς στις ΗΠΑ και στο Ηνωμένο Βασίλειο. Αυτά τα ζεύγη ερωτήσεων-απαντήσεων, μόλις 65 παραδείγματα, χρησιμοποιήθηκαν για την εκπαίδευση του MedPaLM μέσω μιας σειράς άμεσων στρατηγικών μηχανικής.

Ο τυπικός τρόπος για να βελτιώσετε ένα μεγάλο μοντέλο γλώσσας όπως το PaLM ή το GPT-3 του OpenAI, είναι να το τροφοδοτήσετε "με μεγάλες ποσότητες δεδομένων εντός τομέα", σημειώστε Singhal και ομάδα, "μια προσέγγιση που είναι προκλητική εδώ δεδομένης της έλλειψης ιατρικών δεδομένων." Αντίθετα, για το MedPaLM, βασίζονται σε τρεις προτροπές στρατηγικές.

Η προτροπή είναι η πρακτική της βελτίωσης της απόδοσης του μοντέλου "μέσω μιας χούφτας παραδειγμάτων επίδειξης που κωδικοποιούνται ως κείμενο προτροπής στο το πλαίσιο εισαγωγής." Οι τρεις προσεγγίσεις προτροπής είναι προτροπή λίγων λήψεων, "περιγράφοντας την εργασία μέσω κειμένου διαδηλώσεις»· η λεγόμενη προτροπή της αλυσίδας σκέψης, η οποία περιλαμβάνει "την αύξηση κάθε παραδείγματος λίγων λήψεων στην προτροπή με μια ανάλυση βήμα προς βήμα και ένα συνεκτικό σύνολο ενδιάμεσων συλλογιστικών βημάτων προς το τελικό απάντηση"; και "προτροπή αυτοσυνέπειας", όπου δειγματοληπτούνται πολλά αποτελέσματα από το πρόγραμμα και η πλειοψηφία υποδηλώνει τη σωστή απάντηση.

Επίσης:Έξι δεξιότητες που χρειάζεστε για να γίνετε μηχανικός άμεσης τεχνητής νοημοσύνης

Η αυξημένη βαθμολογία του MedPaLM, γράφουν, δείχνει ότι "ο συντονισμός της άμεσης εντολής είναι μια τεχνική ευθυγράμμισης δεδομένων και παραμέτρων που είναι χρήσιμη για τη βελτίωση των παραγόντων που σχετίζονται με την ακρίβεια, την πραγματικότητα, τη συνέπεια, την ασφάλεια, τη βλάβη και την προκατάληψη, συμβάλλοντας στο να γεφυρωθεί το χάσμα με τους κλινικούς ειδικούς και να φέρει αυτά τα μοντέλα πιο κοντά στην κλινική πραγματικότητα του πραγματικού κόσμου εφαρμογές."

Ωστόσο, «αυτά τα μοντέλα δεν είναι σε επίπεδο ειδικών κλινικών για πολλούς κλινικά σημαντικούς άξονες», καταλήγουν. Ο Singhal και η ομάδα του προτείνουν την επέκταση της χρήσης της ανθρώπινης συμμετοχής ειδικών.

«Ο αριθμός των μοντέλων απαντήσεων που αξιολογήθηκαν και η ομάδα των κλινικών γιατρών και των απλών ατόμων που τις αξιολόγησαν ήταν περιορισμένη, καθώς τα αποτελέσματά μας βασίστηκαν σε μόνο έναν κλινικό ιατρό ή απλό άτομο που αξιολογούσε κάθε ανταπόκριση», παρατηρώ. «Αυτό θα μπορούσε να μετριαστεί με τη συμπερίληψη μιας σημαντικά μεγαλύτερης και εσκεμμένα διαφορετικής ομάδας αξιολογητών ανθρώπων».

Επίσης:Πώς να γράψετε καλύτερες προτροπές ChatGPT

Παρά το έλλειμμα του MedPaLM, ο Singhal και η ομάδα καταλήγουν στο συμπέρασμα, «Τα αποτελέσματά μας υποδηλώνουν ότι η ισχυρή απόδοση σε Η απάντηση σε ιατρικές ερωτήσεις μπορεί να είναι μια αναδυόμενη ικανότητα των LLM σε συνδυασμό με αποτελεσματική προτροπή οδηγιών κούρδισμα."