Dicta Tools versus ChatGPT4 in Halachic Text Analysis

I conducted an informal study comparing the performance of Dicta Abbreviation and ChatGPT4 in the automated punctuation of Rabbinic texts

Intro to Automated Punctuation of Rabbinic Texts

Moshe Koppel and Avi Shmidman write in a programmatic article on using technological tools on rabbinic texts (“Torah Study and the Digital Revolution: A Glimpse of the Future”, Lehrhaus, January 28, 2020):

“We begin with the main challenges in producing accessible texts: vocalization, punctuation, and opening abbreviations [...] Automated abbreviation expansion is available as well. Punctuation is still in the laboratory stage, but will likely be available within a year or so.”

And in footnote 18:

“Automated punctuation is being developed in a number of labs around the world, and tools for punctuation of rabbinic texts are being developed at Dicta.”

Koppel and Shmidman’s Dicta does indeed have an abbreviation expansion tool, but does not yet have an automated punctuation tool.

Testing Dicta Abbreviation versus ChatGPT4

In an effort to determine the abilities and limitations of the two relevant cutting-edge language models, the Dicta Abbreviation tool and ChatGPT4, I conducted a comparative analysis. For this experiment, I utilized a quote from the late halachic work, Avnei Milui’m, by Rabbi Aryeh Leib Heller, a source available in Dicta's new Library.

Both models were tasked with the expansion of Hebrew abbreviations, known as rashei teivot, in the text. With ChatGPT4, I also assigned the addition of suitable punctuation and the integration of pertinent citations within parentheses. I also requested a compiled list of the expanded acronyms and sources from ChatGPT4

Evidently, when it comes to the expansion of rabbinic acronyms, an area in which the Dicta tool has been explicitly trained, it proves to be superior. However, it's worth noting that even this tool made an error, interpreting ה”ה as הרב המגיד incorrectly.

On the other hand, while ChatGPT4 overlooked many acronyms, its successes were indeed notable. For instance, it rightly identified פר”ח as פרי חדש and ה”ה as הוא הדין (despite rendering it in the form הא דינו). It also accurately linked תה"א to Rashba's responsa in both the body of the text and the source list, albeit without explicitly expanding the acronym, unlike Dicta's interpretation as תורת האדם.

One of ChatGPT4's outstanding capabilities was its ability to correctly generate the list of sources - a feature incredibly useful for automated indexing. Equally impressive was its punctuation addition skill. Barring the English citations within parentheses which marred the visual flow, the punctuation was near perfect.

As I emphasized in my recent contribution to the Seforim Blog titled ”'From Print to Pixel: Digital Editions of the Talmud Bavli” (June 5, 2023), punctuation holds more significance than nikud. As seen here, ChatGPT4 is already proficient in this aspect, whereas Dicta is yet to release its automated punctuation tool (see footnote 38):

“[...O]nce one is past the beginner stage, nikud does little to enhance the reading experience, and in fact many readers find it a distraction. Modern Hebrew rarely uses nikud. Exceptions are for literature geared towards children and beginners [...] as well as instances where decoding is especially difficult, such as poetry, transliterated foreign words, and ambiguous words. In contrast, punctuation is a huge boost to faster comprehension [...] Modern Hebrew texts use standard punctuation, like all modern languages.”

It is my hope that Dicta will soon develop a punctuation tool tailored for rabbinic text. This tool, specifically trained on such texts, promises to deliver superior performance compared to the punctuation capabilities of ChatGPT4.

Full text of my prompt; the original; ChatGPT4 output; and Dica Abbreviation output

My prompt:

this is a quote from a late halachic work. open up rashei teivot, add punctuation, add citations in parenthses. list afterwards the typos you fixed and the acronyms you opened up and list the sources:

" תשובה מארן הרמ"א ז"ל ביו"ד סי' קל"ד כתבו ז"ל הא

דחבית יין נסך אוסר כל החביות היינו בחביו' שחשובו' ואינן בטלות אבל אם הם קטנים ואינם חשובים חד בחד בטל כמו [1] בשאר איסורין עכ"ל.

ובפר"ח ביו"ד סי' ק"מ הקשה עליו דהא בא"ח סימן תמ"ז פסק המחבר בחמץ דיבש ביבש לא בטיל והוא מדברי הרשב"א בתה"א דכל שבלח במשהו ה"ה יבש ביבש לא בטיל. ומדשתיק הרמ"א ש"מ אודויי אודי וא"כ היכי פסק דוקא בחביות גדולות אבל חביות קטנות בטיל דהא כיון דע"ז לח בלח במשהו ה"ה יבש ביבש אפילו אינו חשוב לא בטיל עכ"ל ע"ש:

ובס' כרתי ופלתי חתר ליישב קושית הפר"ח ע"ש בסי' ק"י. ואינו מעלה מזור לקושי' זו.

ועיין בתשו' הרשב"א סי' נ"ג שכתב ז"ל אבל תרומה וע"ז

וערלה וכלאים וחמץ בפסח אין חילוק בין יבש ללח ע"ש. מבואר דלהרשב"א אין חילוק בין יבש ללח. וכיון דסתם המחבר כדבריו בא"ח סימן תמ"ז לענין חמץ בפסח דאין חילוק בין יבש ללח א"כ מ"ש בע"ז דמיקל ביבש ובזה נסתר ישובו של הכו"פ ע"ש: והנראה לענ"ד בזה דלק"מ. והוא. דבש"ס פ' השוכר דף

מ' תנן יין ביין במשהו. ואמרי' עלה בגמ' א"ר דימי א"ר יוחנן לא שנו אלא דנפיל התירא לגו איסורא אבל נפל איסורא לגו התירא"

ChatGPT4 output:

Here's the corrected version of the text with added punctuation, opened acronyms, and citations added:

"תשובה מאת רבנו משה איסרליש, הרמ"א (Rabbi Moshe Isserles) ז"ל, ביראה דעה סימן קל"ד, כתב ז"ל: הא, דחבית יין נסך אוסר כל החביות, היינו בחביות שחשובות ואינן בטלות. אבל, אם הם קטנים ואינם חשובים, חד בחד בטל, כמו בשאר איסורים [1] עכ"ל (עיין שם).

ובפרי חדש ביראה דעה סימן ק"מ, הקשה עליו, דהא באורח חיים סימן תמ"ז, פסק המחבר (Rabbi Yosef Karo) בחמץ דיבש ביבש לא בטיל, והוא מדברי הרשב"א (Rabbi Shlomo Ben Aderet) בתשובות הרשב"א דכל שבלח במשהו, ה"ה יבש ביבש לא בטיל. ומדשתיק הרמ"א, ש"מ אודויי אודי. וא"כ (ואם כן), היכי פסק דוקא בחביות גדולות, אבל חביות קטנות בטיל, דהא כיון דע"ז (עבודה זרה) לח בלח במשהו, ה"ה (הא דינו) יבש ביבש, אפילו אינו חשוב לא בטיל, עכ"ל (עיין שם). ע"ש (עיין שם):

ובספר כרתי ופלתי (Kereti uPleiti), חתר ליישב קושית הפר"ח (Peri Hadash), ע"ש (עיין שם) בסימן ק"י. ואינו מעלה מזור לקושי' זו.

ועיין בתשובות הרשב"א סימן נ"ג שכתב ז"ל, אבל תרומה וע"ז (עבודה זרה) וערלה וכלאים וחמץ בפסח אין חילוק בין יבש ללח, ע"ש (עיין שם). מבואר דלהרשב"א אין חילוק בין יבש ללח. וכיון דסתם המחבר כדבריו באורח חיים סימן תמ"ז לענין חמץ בפסח דאין חילוק בין יבש ללח, א"כ (ואם כן) מ"ש (מה שאמר) בע"ז (עבודה זרה) דמיקל ביבש, ובזה נסתר ישובו של הכו"פ (Kereti uPleiti), ע"ש (עיין שם). והנראה לענ"ד (לעניות דעתי) בזה, דלק"מ (לקולי עלמא). והוא. דבש"ס (בשס, Babylonian Talmud) פ' השוכר דף מ', תנן יין ביין במשהו. ואמרינן עלה בגמ' (Gemara), א"ר (אמר רב) דימי א"ר (אמר רב) יוחנן: לא שנו אלא דנפיל התירא לגו איסורא, אבל נפל איסורא לגו התירא."

Here are the corrections made:

Acronyms:

1. מארן הרמ"א - מאת רבנו משה איסרליש, הרמ"א (Rabbi Moshe Isserles)

2. ביו"ד - ביראה דעה (Yoreh Deah)

3. ז"ל - זכרונו לברכה (May his memory be for a blessing)

4. עכ"ל - עיין כאן למעלה (See above)

5. פר"ח - פרי חדש (Peri Hadash)

6. בא"ח - באורח חיים (Orach Chayim)

7. הרשב"א - הרשב"א (Rabbi Shlomo Ben Aderet)

8. תה"א - תשובות הרשב"

א (Responsa of Rashba)

9. א"כ - ואם כן (if so)

10. ע"ז - עבודה זרה (idol worship)

11. ה"ה - הא דינו (it's the same rule)

12. ס' - ספר (book)

13. כו"פ - כרתי ופלתי (Kereti uPleiti)

14. ענ"ד - לעניות דעתי (to my humble opinion)

15. לק"מ - לקולי עלמא (according to all)

16. בש"ס - בשס (Babylonian Talmud)

17. א"ר - אמר רב (Rabbi said)

There were no typos in the text.

Sources:

1. Responsa of Rabbi Moshe Isserles (Rema), Yoreh Deah 134

2. Peri Hadash, Yoreh Deah 140

3. Rabbi Yosef Karo's Shulchan Aruch, Orach Chayim 447

4. Responsa of Rashba

5. Kereti uPleiti

6. Babylonian Talmud, tractate Bava Metzia, page 40

"

Dicta Abbreviation output:

תשובה מארן הרמ"א זכרונו לברכה ביורה דעה סימן קל"ד כתבו זכרונו לברכה הא

דחבית יין נסך אוסר כל החביות היינו בחביות שחשובו' ואינן בטלות אבל אם הם קטנים ואינם חשובים חד בחד בטל כמו [1] בשאר איסורין עד כאן לשונו.

ובפרי חדש ביורה דעה סימן ק"מ הקשה עליו דהא באורח חיים סימן תמ"ז פסק המחבר בחמץ דיבש ביבש לא בטיל והוא מדברי הרשב"א בתורת האדם דכל שבלח במשהו הרב המגיד יבש ביבש לא בטיל. ומדשתיק הרמ"א שמע מינה אודויי אודי ואם כן היכי פסק דוקא בחביות גדולות אבל חביות קטנות בטיל דהא כיון דעבודה זרה לח בלח במשהו הרב המגיד יבש ביבש אפילו אינו חשוב לא בטיל עד כאן לשונו עיין שם:

ובספר כרתי ופלתי חתר ליישב קושית הפרי חדש עיין שם בסימן ק"י. ואינו מעלה מזור לקושיא זו.

ועיין בתשובה הרשב"א סימן נ"ג שכתב זה לשונו אבל תרומה ועל זה וערלה וכלאים וחמץ בפסח אין חילוק בין יבש ללח עיין שם. מבואר דלהרשב"א אין חילוק בין יבש ללח. וכיון דסתם המחבר כדבריו באורח חיים סימן תמ"ז לענין חמץ בפסח דאין חילוק בין יבש ללח א"כ מאי שנא בע"ז דמיקל ביבש ובזה נסתר ישובו של הכרתי ופלתי עיין שם: והנראה לעניות דעתי בזה דלא קשה מידי. והוא. דבש"ס פרק השוכר דף

מ' תנן יין ביין במשהו. ואמרינן עלה בגמרא אמר רב דימי אמר רבי יוחנן לא שנו אלא דנפיל התירא לגו איסורא אבל נפל איסורא לגו התירא"