アノテーションプロジェクトの価格設定で驚かないためには

なぜ単位当たりの価格設定は誤解を招くのか？

それは、基礎的な作業が異なる場合でも、2つのサプライヤーを比較可能に見せるからです。ラベルごとの価格は、キャリブレーションされたアノテーターが凍結されたルーブリックに基づいて意見の相違を裁定しながらラベルを作成したのか、利用可能な人が作成したのかについて何も示しません。

また、誤ったインセンティブを生み出します。固定価格で単位ごとに支払われるサプライヤーは、曖昧さを迅速かつ静かに解決することに直接的な利益を持ちますが、これはデータセットを台無しにする行動です。

見落とされがちな予算項目は何ですか？

ルーブリックの開発は実際の作業であり、資金がないと通常はうまく行われません。生産前のキャリブレーション。主観的なタスクでは、真の意見の相違の裁定は項目の意味のある割合を占めます。ゴールドアイテムの作成と維持。

そして再作業。プログラム中の仕様変更は最も一般的なコスト超過であり、これに対して予算をゼロとすることは、完全な最初の仕様を仮定することになりますが、これは決して起こりません。

• ルーブリックの開発と反復
• 生産前のアノテーターのキャリブレーション
• 真の意見の相違の裁定
• ゴールドアイテムの作成と更新
• 仕様変更による再作業

希少性はどのようにモデルを変えるべきか？

専門的な作業では、コストは実務者の時間であり、専門的な臨床医を安くする調達方法はありません。プロフェッショナルレートから予算を立てるべきです。

存在するレバーは、専門家の時間あたりのスループットであり、それは明確な仕様と良いツールから来ます。基礎的な時間単価が固定されているため、それに投資する価値があります。

商業的に何を合意すべきか？

変更の価格設定を、必要になる前に決めておくことです。仕様変更に合意されたメカニズムがないプログラムは、誰もが間違っていると知っている仕様を凍結するか、圧力の下で再交渉します。

Corpshoreはプロジェクトごと、受け入れられたタスクごと、時間ごとに価格を設定し、作業に応じてセットアップ料金を設定します。このミックスはスタッフと共に決定され、1つのモデルに強制されることはありません。重要なのは、ミックスが請求書の形ではなく作業の形に合っていることです。

アノテーションプロジェクトのコストを左右する要因は何ですか？

ルーブリックの複雑さとアノテーターの希少性であり、生のボリュームよりもはるかに重要です。専門的な作業は実務者の時間で価格設定され、調達モデルでは削減できません。

初めてのデータ予算で通常見落とされるのは何ですか？

ルーブリックの開発、アノテーターのキャリブレーション、真の意見の相違の裁定、ゴールドアイテムの維持、プログラム中の仕様変更による再作業です。

ベンダーを比較するのに単位当たりの価格設定は良い方法ですか？

ベンダーを比較可能に見せますが、ラベルがキャリブレーションされたアノテーターによって凍結されたルーブリックに基づいて作成されたかどうかを隠し、固定価格の下で曖昧さを静かに解決することを奨励します。