GPTs are GPTs - を読んだので簡単にまとめ
GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models
を読んだ。まずこのタイトルの意味だが、ChatGPTの Generative Pre-trained Transformer が、General-Purpose Technologies つまり汎用的に利用できる技術、と掛かっている。はじめからある程度意識されていたのかな...
TL; DR
- ChatGPT及び周辺アプリケーション開発により、80%の労働者が10%のタスクに影響を受け、19%は半分のタスクに影響を受ける
- 高所得の仕事はより大きく影響を受ける可能性がある
Discraimer: 特に専門家でもないので、正確な内容は論文をあたってくださいませ
アブスト
アブストから
USでは、GPTs(ここではGPT-4)の導入により、少なくとも10%のタスクに影響を受ける労働者が80%に上り、1９％は最低でも50%のタスクが影響を受ける。
影響はすべての賃金レベルに及び、高所得の仕事はより大きな影響を受ける可能性がある。
-- Translated by GPT-4
なかなか衝撃的な内容だった。
ざっと理解した内容をメモしておく。
前提：影響の定義、Exposure "露出"
まず３章で、"Exposure" の定義を理解しておく必要がある。
we define exposure as a measure of whether access to a GPT or GPT-powered system would reduce the time required for a human to perform a specific DWA or complete a task by at least 50 percent.
"Exposure" をGPTまたはGPT搭載システムへのアクセスが、特定のDWA（Detailed Work Activity、詳細な作業活動）やタスクを実行するために人間が必要とする時間を少なくとも50％削減するかどうかの尺度として定義しています。
-- Translated by GPT-4
GPTsによりタスクにかかる時間が半分になる場合、これを Exposure (とりあえず露出と訳す)されている、と定義する。
さらにE0~E2まで、露出のレベルを定義する。（LLMはもちろんLerge-Language Modelの略）
- No exposure/露出なし (E0)
- タスクを完了するのに必要な時間がほとんど短縮されないか、まったく短縮されない
- Direct exposure/直接的な露出 (E1)
- GPT-4を単独で使用することで、タスクを完了するのに必要な時間を少なくとも半分（50％）短縮
- LLM+ Exposed (E2)
- LLMに追加のソフトウェアを開発することで、タスクに必要な時間を少なくとも半分短縮
これら E0 ~ E2 を用いて、以下の３つの尺度を定義する。
α -- E1
β -- E1 + 0.5 * E2 (補完的なツールやアプリケーションの開発に追加投資が必要)
ζ -- E1 + E2 (GPT + GPTパワードソフトウエアを用いた場合の最大露出上限)
α が ChatGPTのみを利用した場合、ζ が周辺サービスを利用したと仮定する最大影響上限くらいで思っとけばおｋと思う。これらの尺度を人間によるアノテーションと、機械学習モデルの２つで評価する。
これらを頭に入れておいて、４章のResultsをざっと見ていく。
4章 Result
4.2 Wages and Employment / 賃金と雇用
左が職業ベース、右が労働人口ベースの露出割合。 右の図から、人間のアノテータは α50露出(ChatGPTに直接50%のタスクが時間半減)される労働人口は ~2.4%程度だが、49.6%の労働人口は𝜁50露出(ChatGPT+周辺アプリで50%のタスクが時間半減)される、と見積もっている。
このグラフの縦の範囲が潜在的なChatGPT周辺アプリ開発によるインパクトを示唆している、とまあそうなんだけど宣伝的な文句が入っていて印象的。
4.3 Skill Importance/スキルの重要性
Our findings indicate that the importance of science and critical thinking skills are strongly negatively associated with exposure, suggesting that occupations requiring these skills are less likely to be impacted by current language models. Conversely, programming and writing skills show a strong positive association with exposure, implying that occupations involving these skills are more susceptible to being influenced by language models
調査結果から、科学や批判的思考スキルの重要性は、露出と強い負の関連があることが示されており、これらのスキルが必要な職業は、現行の言語モデルによる影響を受けにくいことが示唆されます。逆に、プログラミングやライティングスキルは、露出と強い正の関連があり、これらのスキルを含む職業は、言語モデルの影響を受けやすいことが示されています
-- Translated by GPT-4
プログラミングには科学や批判的思考スキルが必要だと思うが... という点はおいておいて、単純にコードを書く、という行為自体がGPTsによってタスク完了時間が半減するというのは想像に難くない。というかすでに起こっているし、もっと生産性は上がるだろうと考える。
4.4 Barriers to Entry/エントリーの障壁
Bariiers to Entry とは、特定の職種につくために必要な経験や教育レベルのことのようだ。 "ジョブゾーン" という職業レベル分類があるらしく、概ね以下の定義。
In the ONET database, there are 5 Job Zones, with Job Zone 1 requiring the least amount of preparation (3 months) and Job Zone 5 requiring the most extensive amount of preparation, 4 or more years. We observe that median income increases monotonically across job zones as the level of preparation needed also increases, with the median worker in Job Zone 1 earning $30, 230 and the median worker in Job Zone 5 earning $80, 980.
ONETデータベースには、ジョブゾーン1からジョブゾーン5までの5つのジョブゾーンがあり、ジョブゾーン1では最も少ない準備（3ヶ月）が必要で、ジョブゾーン5では最も多くの準備（4年以上）が必要です。準備に必要なレベルが増加するにつれて、ジョブゾーンごとに中央値の収入が単調に増加し、ジョブゾーン1の中央値の労働者が30,230ドルを稼ぎ、ジョブゾーン5の中央値の労働者が80,980ドルを稼いでいることがわかります。
-- Transaleted by GPT-4
ジョブゾーンの数字が上がるほど就業しづらい業種で、年収も高いという感じ。 そしてジョブゾーンごとに先程の β露出をプロットした結果がこれ。
exposure increases from Job Zone 1 to Job Zone 4, and either remains similar or decreases at Job Zone 5. Similar to Figure 3 in 5, we plot the percentage of workers at every threshold of exposure. We find that, on average, the percentage of workers in occupations with greater than 50% 𝛽 exposure in Job Zones 1 through 5 have 𝛽 at 0.00% (Job Zone 1), 6.11% (Job Zone 2), 10.57% (Job Zone 3), 34.5% (Job Zone 4), and 26.45% (Job Zone 5), respectively.
ジョブゾーン1からジョブゾーン4までの露出が増加し、ジョブゾーン5では同様か減少します。図5の図3に類似して、露出のすべてのしきい値で労働者の割合をプロットします。平均して、ジョブゾーン1から5までの職業で、50％以上の𝛽露出を持つ労働者の割合は、それぞれ0.00％（ジョブゾーン1）、6.11％（ジョブゾーン2）、10.57％（ジョブゾーン3）、34.5％（ジョブゾーン4）、および26.45％（ジョブゾーン5）であることがわかります。
-- Transaleted by GPT-4
知的労働の割合が大きいほど、GPTsによる影響を受けるくらいに思っておけばよいだろうか。(ジョブゾーン4-5は変わらないけど)まあそうだろうなという感想。
各指標での最も露出が高い職業。Blockchain Engineerが何度も出てくるのは謎。なぜBlockchainに限定されるのか...。。 Mathmatician(数学者だよね？)は意外に感じる。。普通にProgrammerやSoftwareEngineerがランクインしても良さそうだけど。仕事全体に対して、コードを書いている時間は意外と相対的に少ないのでそのあたりが影響しているんだろうか。なぜBlockchainEngineer...(再)
感想
あくまで "Exposure" を見積もっていて、その定義は "タスク完了に必要な時間が半分になる" なので、これが例えば α50 の露出が50%なら半分の人が仕事を失う、というわけではない認識。
しかしシンプルに、半分のタスク量が半分の時間で終われば、全体にかかる時間は75%になるわけだから生産性はそれだけで33%UPなわけで、仕事の総量が変わらないとすると最悪ケースで33%の人が職を失うリスクがある？
楽天的に考えれば週休3日実現、みたいなこともあり得るかもしれないけど。
6章に経済の混乱に対する警鐘が少しだけ記載されている。
6.2 Implications for US Public Policy
The introduction of automation technologies, including LLMs, has previously been linked to heightened economic disparity and labor disruption, which may give rise to adverse downstream effects.
自動化技術の導入、LLMを含む、は以前から経済格差の拡大や労働の混乱と関連しており、これが悪影響を及ぼす可能性があります。While it is outside the scope of this paper to recommend specific policy prescriptions to smooth the transition to an economy with increasingly widespread LLM adoption, prior work such as (Autor et al., 2022b) has articulated several important directions for US policy related to education, worker training, reforms to safety net programs, and more.
本稿の範囲を超えていますが、LLMの採用が広がる経済への移行をスムーズにするための具体的な政策提案をすることはできませんが、以前の研究（Autor et al., 2022b）では、教育、労働者研修、安全網プログラムの改革など、米国の政策に関連するいくつかの重要な方向性が明確にされています。
-- Transaleted by GPT-4
フム...
とりあえずざっと読んだだけだけど、定量的なサーベイに当たることができてよかった。これからどうなるかという議論のベースにできる情報の一部を得られたように感じる。
（GPT-4以降Twitterなどを眺めていて、根拠のない「これからどうなる」論に正直ちょっとうんざりしていたところもある）
ソフトウェアエンジニアとしての将来に不安がないといえば嘘になるが、今までと変わらず新しい技術と環境に適応し、変化を楽しんでいきたいと思う。
