トップ «前の日記(2020-03-26) 最新次の日記(2020-04-24)» 編集

Orz日記 by Akio Morita

ToDo:

15 SAD Fit[]回りの障害事例の解析
10 smart pointer版PEGクラスの再実装(Left Recursionまわり)

2006|03|04|05|06|07|08|09|10|11|12|

2007|01|02|03|04|06|09|10|11|12|

2008|01|02|03|04|05|06|07|08|09|10|11|12|

2009|01|02|03|04|05|06|07|08|09|10|11|12|

2010|01|02|03|04|05|06|07|08|09|10|11|12|

2011|01|02|03|04|05|06|07|08|09|10|11|12|

2012|01|02|03|04|05|07|08|09|10|11|12|

2013|01|03|04|05|06|07|08|09|10|11|12|

2014|01|02|03|04|05|06|07|08|09|10|11|12|

2015|01|02|03|04|06|07|08|10|12|

2016|01|02|03|05|06|08|10|11|

2017|01|02|03|04|05|06|07|09|10|11|12|

2018|01|02|03|04|06|07|08|09|10|11|12|

2019|01|03|04|05|07|08|09|10|11|12|

2020|01|02|03|04|05|06|07|08|09|10|11|12|

2021|01|02|03|04|05|06|07|08|09|10|11|12|

2022|01|02|03|04|05|06|07|08|09|10|11|12|

2023|01|02|03|04|05|06|07|08|09|10|11|12|

2024|01|02|03|04|05|06|07|08|09|10|11|

2020-04-08 [長年日記]

_ [SAD]乱雑な数値リストの構成速度

乱数列からなるリストをToStringで文字列化したものと、Sharedによるシリアル化したものから再構成する時間を測ってみた

Stringのパースはシリアル化された符号列からの再構成に対して、400倍遅いことが判明

したがって、KEKBLogからの大規模読み出し時の処理のかなりの部分が、パースに費やされていることになるので、高速化にはバックトラック無しで読み出せる専用フォーマットと受け取りようの専用デコーダの実装が必要の模様

Sharedのシリアル化エンジンは、タグ等の符号化効率は目指していない＆整数型が未サポートなので、KEKBLogのデータを載せるならもう少し符号化効率を改善したデザインが必要

KEKBLogの格納データを前提とするなら、以下のデータの効率的な符号化をサポートすべき

16bit int
32bit int
float
32文字未満のString型
timestampの効率的な符号化
- timestampの基準定義・差分表現
将来の拡張に向けた 64bit intのサポート予約
8bit int (int型の縮約結果)

[ツッコミを入れる]

カテゴリー: Admin | Emacs | EPICS | Fortran | FreeBSD | GCC | hgsubversion | IPv6 | KEKB | LHC | Lisp | LLVM | MADX | Ryzen | SAD | samba | tDiary | unix | WWW | YaSAI | お仕事 | イベント | 出張 | 宴会 | 数学 | 艦これ | 買いもの | 追記 | 雑記