Richard隨手筆記 - 後端程式

依賴注入的心得筆記

2022-09-05T19:46:00+08:00

依賴注入的入門階段¶

自從被打槍不會ASP.NET Core 後，就不斷的學習新的NetCore技術，先後買了幾本書，

說實在的，這本書似乎不太適合我看，首先對於兩岸的文字描述，對我來講實在有點障礙，在專有名詞上，我還是偏好非中國那邊的用語，另外這本的講解，讓我覺得文字說明不夠簡單扼要，常常看了一個段落，然後實在看不明白到底要表達什麼，看過另外一本的依賴注入後才發覺這本書文字的累贅，不過其實還是不錯的書，至少把NetCore的最根本原理與NetCore如何實現跨平台與各個Middleware說明的很徹底，還是值得的一本，只不過我要看很久。

第二本：依賴注入：原理、實作與設計模式 (Dependency Injection: Principles, Practices, Patterns, 2/e)

這本在看了上面第一本ASP.NET Core 3 後，發現依賴注入是ASP.NET Core 核心概念，並且第一本的依賴注入講解的內容我覺得實在不懂，後來又買了這本。著實的認為這本真的是非常好的書，

依賴注入的概念假想¶

說道依賴注入，書上用插座的範例來說明設計模式的譬喻，來讓讀者能夠深刻體會設計模式是如何實現的。不免俗的我自己也有自己一套譬喻假想，常常人家說到依賴注入就會說到 IoC (控制反轉)，然後就是依賴注入的組合根，建構子注入，屬性注入，方法注入，DI容器，光是這麼多名詞，硬記也不知道在記什麼，但是讀到後面卻產生一個很相似的譬喻：{『武林的世界』

首先，要成為一個武林高手，必須內外兼修，內就是修煉內功心法，外就是修煉武學招式，對於依賴注入，IoC控制反轉就感覺是修煉內功心法，為何如此說法呢？先看看名詞定義，以下引用完全精通微軟Web架構: ASP.Net Core 3最新強實戰

控制反轉（Inverse of Control）¶

對於任何一項工作，不論大小，基本上都可以分解成對應的步驟，所以任何一項工作的實施都有固定的流程，而IoC的控制就是視作『針對流程的控制』。一般來講，設計模式是為了解決一個實際問題的方案，但是IoC沒有一個針對性的問題領域，本身也沒有提供一種可操作的解決方案，所以認為視為IoC是一種『設計原則』

由以上的定義可以瞭解，控制反轉是一個概念，一個設計原則，當我們在定義介面的時候，對於功能的切割是由哪些類別來注入，實際的控制權是由外部注入的，所以『針對流程的控制』要如何定義的靈活與彈性就要靠日後的練習，完全就是一個心法的概念。

什麼是『組合根』¶

可以組合應用程式中使用的類別。將需要實體物件的建立作業，全部集中化到一個地方，而這個負責處理作業的區塊就是『組合根』，通常是應用程式的啟動點，在NetCore就是Main方法中。

建構子注入¶

必須在Public 修飾子的建構子中以建構子參數的形式，定義這份依賴需求，要求外部提供物件。重要：建構子參數要增加必須在同一個建構子增加額外的參數，避免使用多載方式導致混淆。

屬性注入¶

接著讓我們來看看屬性注入，顧名思義就是從公開的屬性丟進去，因此有時候也會被叫做設值注入。通常我們會在 「外部使用者要能夠隨時切換依賴對象」或是「類別已經有預設值了，但希望提供使用者可以覆寫掉預設值的彈性」時用到屬性注入

方法注入¶

當依賴對象可能會隨著每次呼叫的方法不同，又或者是依賴對象不變但每次的使用方都有可能變化時，就需要透過方法參數的形式來設定依賴關係。

上述這些定義就是依賴注入的方法，組合根就是在定義如何引用各個類別，組合起所有的類別，這些方式就是類似拳腳基本功，有了基本的拳腳功夫，接下來就是討論到DI容器，DI容器可以說是各個門派的獨有的技能。

DI容器技術¶

所謂的DI容器技術指的就是一套軟體函式庫，協助我們將許多包括『物件關聯組合』，『管理物件生命週期』等作業自動化。

由上述的定義可瞭解到，使用依賴注入，會有許多相關的知識需要理解，在此不多講解，可參考依賴注入：原理、實作與設計模式 (Dependency Injection: Principles, Practices, Patterns, 2/e)
第七章到第九章的內容

然而DI容器其實是協助我們管理跟自動化，而提供許多的函式方法來協助我們，下面就會記錄與說明函式的方法。讓我們加入華山派的劍宗吧。

依賴注入的容器：Autofac的記錄¶

Autofac .NET Inversion of Control Container

public void ConfigureContainer(ContainerBuilder builder)
{
    Assembly domainAssembly = typeof(ITimeProvider).Assembly;

    builder.RegisterType<DefaultTimeProvider>().As<ITimeProvider>().SingleInstance();
    builder.RegisterInstance<IUserContext>(new AspNetUserContextAdapter());
    builder.Register(c => new CommerceContext(this.Configuration.ConnectionString))
        .InstancePerLifetimeScope();

    builder.RegisterAssemblyTypes(domainAssembly).AsClosedTypesOf(typeof(ICommandService<>));

    builder.RegisterGenericDecorator(
        typeof(AuditingCommandServiceDecorator<>), typeof(ICommandService<>));

    builder.RegisterGenericDecorator(
        typeof(SaveChangesCommandServiceDecorator<>), typeof(ICommandService<>));
    builder.RegisterGenericDecorator(
        typeof(SecureCommandServiceDecorator<>), typeof(ICommandService<>));

    // ---- Start code section 13.4.4 ----
    builder.RegisterAssemblyTypes(domainAssembly)
        .As(type =>
            from interfaceType in type.GetInterfaces()
            where interfaceType.IsClosedTypeOf(typeof(IEventHandler<>))
            select new KeyedService("handler", interfaceType));

    builder.RegisterGeneric(typeof(CompositeEventHandler<>))
        .As(typeof(IEventHandler<>))
        .WithParameter(
            (p, c) => true,
            (p, c) => c.ResolveNamed("handler", p.ParameterType));
    // ---- End code section 13.4.4 ----

    // Register adapters to external systems
    builder.RegisterAssemblyTypes(typeof(WcfBillingSystem).Assembly)
        .AsImplementedInterfaces();

    // Register repositories
    builder.RegisterAssemblyTypes(typeof(SqlProductRepository).Assembly)
        .Where(type => type.Name.EndsWith("Repository"))
        .AsImplementedInterfaces();
}

TODO：等待學習中…. RegisterType RegisterInstance RegisterAssemblyTypes RegisterGenericDecorator

[Dot Net Core](圖解系列與常用套件)

官方文檔

GIT錯誤：the remote end hung up unexpectedly

2022-07-28T17:20:00+08:00

最近修改專案，新增了許多packages，然後加入Git 清單內，但是當要PUSH時，就發生如下錯誤訊息， git小烏龜報錯如標題

Enumerating objects: 490, done.
Counting objects: 100% (381/381), done.
Delta compression using up to 12 threads
Compressing objects: 100% (288/288), done.
error: RPC failed; HTTP 400 curl 22 The requested URL returned error: 400
fatal: the remote end hung up unexpectedly
Writing objects: 100% (299/299), 7.85 MiB | 8.89 MiB/s, done.
Total 299 (delta 133), reused 16 (delta 1), pack-reused 0
fatal: the remote end hung up unexpectedly
Everything up-to-date

查詢google後，約略可能為如下原因所引發的，git上傳實際會將先檔案放入緩衝區，緩衝區如果設置的值比要上傳的內容小，那麼就會出現這個錯誤

修改提交緩存區大小為5GB，或者更大的數字，該方式全域生效，一勞永逸

git config --global http.postBuffer 5242880000

參考資料：git 推送出现 “fatal: The remote end hung up unexpectedly” 解决方案

ASP.NET MVC的參數驗證方式

2021-12-30T10:36:00+08:00

前言¶

有時提供廠商的API，明明沒有定義的參數卻帶入，或是已經是舊版不用的參數還是會帶入，使用這個方式來過濾並且阻擋，使用ASP.NET MVC 的 ActionFilterAttribute 方式

public class ParaFilterAttribute : ActionFilterAttribute
{
    /// <summary> 
    /// 交易類型 
    /// </summary> 
    public ParaType paraType { get; set; }
    /// <summary> 
    /// 比對Model名稱(MVC ModelBinding) 
    /// </summary> 
    public string ParameterName { get; set; }

    public override void OnActionExecuting(ActionExecutingContext filterContext)
    {
        //取得傳入Model ApiModel 
        ApiModel viewModel = filterContext.ActionParameters[ParameterName] as ApiModel;
        if (viewModel != null)
        {
            //抓出交易類別的Property 
            var props = typeof(ApiModel)
                    .GetProperties()
                    .Where(p => IsNotParameter(p));

            var errorList = GetErrorProps(viewModel, props);
            if (errorList.Count > 0)
            {
                filterContext.Result = new ContentResult()
                {
                    //返回錯誤
                };
            }
        }
    }

    /// <summary> 
    /// 取得比對不符的參數 
    /// </summary> 
    /// <param name="viewModel"></param> 
    /// <param name="props"></param> 
    /// <returns></returns> 
    private List<PropertyInfo> GetErrorProps(ApiModel viewModel, IEnumerable<PropertyInfo> props)
    {
        List<PropertyInfo> result = new List<PropertyInfo>();
        result.AddRange(DiffValueType(viewModel, props));
        result.AddRange(DiffRefType(viewModel, props));
        return result;
    }

    /// <summary> 
    /// 參考類型比較 
    /// </summary> 
    /// <param name="viewModel"></param> 
    /// <param name="props"></param> 
    /// <returns></returns> 
    private IEnumerable<PropertyInfo> DiffRefType(ApiModel viewModel, IEnumerable<PropertyInfo> props)
    {
        return props.Where(p => !p.PropertyType.IsValueType && p.GetValue(viewModel, null) != null);
    }

    /// <summary> 
    /// 值類型比較 
    /// </summary> 
    /// <param name="viewModel"></param> 
    /// <param name="props"></param> 
    /// <returns></returns> 
    private IEnumerable<PropertyInfo> DiffValueType(ApiModel viewModel, IEnumerable<PropertyInfo> props)
    {
        return props.Where(p => p.PropertyType.IsValueType && p.GetValue(viewModel, null).ToString() != p.PropertyType.GetDefault().ToString());
    }

    /// <summary> 
    /// 抓出要比較交易類別 
    /// </summary> 
    /// <param name="p"></param> 
    /// <returns></returns> 
    private bool IsNotParameter(PropertyInfo p)
    {
        ParaType paraVal = p.GetAttributeValue((ParamterAttribute attr) => attr.ParaType, false);
        return ((int)paraVal & (int)ParaType) == 0;
    }
}

欄位屬性這樣用¶

[Paramter(ParaType = 列舉物件)] 
public string SomeModelPara { get; set; }

Filter這樣用¶

[ParaFilter(ParaType = 列舉物件, ParameterName = "物件名稱")]

驗證的範例

2021-12-30T10:24:00+08:00

身份驗證¶

public static bool CheckIDNO(string id)
{
    int[] seed = new int[10];       //除了檢查碼外每個數字的存放空間 

    string[] charMapping = new string[] { "A", "B", "C", "D", "E", "F", "G", "H", "J", "K", "L", "M", "N", "P", "Q", "R", "S", "T", "U", "V", "X", "Y", "W", "Z", "I", "O" };

    //A=10 B=11 C=12 D=13 E=14 F=15 G=16 H=17 J=18 K=19 L=20 M=21 N=22 

    //P=23 Q=24 R=25 S=26 T=27 U=28 V=29 X=30 Y=31 W=32  Z=33 I=34 O=35 

    string target = id.Substring(0, 1);
    for (int index = 0; index < charMapping.Length; index++)
    {
        if (charMapping[index] == target)
        {
            index += 10;
            seed[0] = index / 10;       //10進制的高位元放入存放空間 
            seed[1] = (index % 10) * 9; //10進制的低位元*9後放入存放空間 
            break;
        }
    }
    for (int index = 2; index < 10; index++)
    {   //將剩餘數字乘上權數後放入存放空間 
        seed[index] = Convert.ToInt32(id.Substring(index - 1, 1)) * (10 - index);
    }
    //檢查是否符合檢查規則，10減存放空間所有數字和除以10的餘數的個位數字是否等於檢查碼 
    //(10 - ((seed[0] + .... + seed[9]) % 10)) % 10 == 身分證字號的最後一碼 
    return (10 - (seed.Sum() % 10)) % 10 == Convert.ToInt32(id.Substring(9, 1));
}

統編驗證¶

private bool CheckCompanyN(string CompanyId)
{
    int[] Logic = new int[] { 1, 2, 1, 2, 1, 2, 4, 1 };
    int addition, sum = 0, j = 0, x;
    for (x = 0; x < Logic.Length; x++)
    {
        int no = Convert.ToInt32(CompanyId.Substring(x, 1));
        j = no * Logic[x];
        addition = ((j / 10) + (j % 10));
        sum += addition;
    }
    if (sum % 10 == 0)
    {
        return true;
    }
    if (CompanyId.Substring(6, 1) == "7")
    {
        if (sum % 10 == 9)
        {
            return true;
        }
    }
    return false;
}

Email驗證¶

public const string RegExString = @"^((([A-Za-z]|\d|[!#\$%&'\*\+\-\/=\?\^_`{\|}~]|[\u00A0-\uD7FF\uF900-\uFDCF\uFDF0-\uFFEF])+(\.([A-Za-z]|\d|[!#\$%&'\*\+\-\/=\?\^_`{\|}~]|[\u00A0-\uD7FF\uF900-\uFDCF\uFDF0-\uFFEF])+)*)|((\x22)((((\x20|\x09)*(\x0d\x0a))?(\x20|\x09)+)?(([\x01-\x08\x0b\x0c\x0e-\x1f\x7f]|\x21|[\x23-\x5b]|[\x5d-\x7e]|[\u00A0-\uD7FF\uF900-\uFDCF\uFDF0-\uFFEF])|(\\([\x01-\x09\x0b\x0c\x0d-\x7f]|[\u00A0-\uD7FF\uF900-\uFDCF\uFDF0-\uFFEF]))))*(((\x20|\x09)*(\x0d\x0a))?(\x20|\x09)+)?(\x22)))@((([A-Za-z]|\d|[\u00A0-\uD7FF\uF900-\uFDCF\uFDF0-\uFFEF])|(([A-Za-z]|\d|[\u00A0-\uD7FF\uF900-\uFDCF\uFDF0-\uFFEF])([A-Za-z]|\d|-|\.|_|~|[\u00A0-\uD7FF\uF900-\uFDCF\uFDF0-\uFFEF])*([A-Za-z]|\d|[\u00A0-\uD7FF\uF900-\uFDCF\uFDF0-\uFFEF])))\.)+(([A-Za-z]|[\u00A0-\uD7FF\uF900-\uFDCF\uFDF0-\uFFEF])|(([A-Za-z]|[\u00A0-\uD7FF\uF900-\uFDCF\uFDF0-\uFFEF])([A-Za-z]|\d|-|\.|_|~|[\u00A0-\uD7FF\uF900-\uFDCF\uFDF0-\uFFEF])*([A-Za-z]|[\u00A0-\uD7FF\uF900-\uFDCF\uFDF0-\uFFEF])))\.?$";

手機驗證¶

public const string RegExString = @"[0-9\#\+\-\(\)]";

ASP.NET CORE 在IIS錯誤問題

2021-12-10T09:44:00+08:00

![[IIS錯誤問題.png]]

在IIS上執行ASP.NET core 需要安裝：

NET Core的程式 aspnetcore-runtime-3.1.11-win-x64
NET Core 裝載套件組合 dotnet-hosting-3.1.11-win

這是微軟的官方說明教學

內容管理系統CMS

2021-12-01T09:58:00+08:00

需求¶

需要建置一個快速的內容形象網站，最好的就是找CMS系統，以目前學的C#，還有新手Python程度，找到有幾個CMS來選擇

DjangoCMS WagtailCMS OrchardCodeCMS¶

OrchardCodeCMS
WagtailCMS
DjangoCMS

最後選擇使用WagtailCMS來處理我的需求以及找到一個套件能快速建構內容網站。

OrchardCodeCMS¶

使用ASP.NET Core 來建置CMS系統，.NET Core 目前還沒學到，而且我比較偏向使用Python來學習順便練習，但是這個OrchardCoreCMS內容功能蠻強大的，而且也蠻靈活的，由於NET Core 已經可以跨平臺，所以在我的Mac也可以建置。使用Visual Studio 2019 開啟，直接建置完成，啟動後，就直接一個設定頁面可以選擇，資料庫提供SQLite，SQL Server，還有一些基本的樣板，提供基本的Agency，Blog，ComingSoom 等的樣板。

![[OrchardCodeCMS開始設定頁面.jpg]]

![[可以設定版型.jpg]]

![[Pastedimage20211201104159.png]]

節錄一下官方文件的重點：

不同的網站建設策略¶ Orchard Core CMS支持所有主要的網站建設策略：

完整的CMS。在這種模式下，網站使用主題和模板來呈現您的內容，目的是實現很少甚至沒有自定義開發。

解耦CMS。除了內容管理後端之外，該網站一開始是空白。您可以使用Razor Pages或MVC操作創建所需的所有模板，並通過內容服務訪問內容。參考：https://www.youtube.com/watch?v=yWpz8p-oaKg

無頭CMS。該站點僅管理內容，並且您創建了一個單獨的應用程序，該應用程序將使用GraphQL或REST API來獲取託管內容。參考：https://www.youtube.com/watch?v=4o9zG17cfa0

解耦CMS比較適合拿來做客製化的樣板網站，對於OrchardCodeCMS功能的理解，另外鏈結一篇文章: [[OrchardCore CMS系統]] ，內容之多對於我只是想要簡單的內容展示形象網站似乎有點大，先放著以後再來學好了。

DjangoCMS與WagtailCMS¶

DjangoCMS之前有稍微研究一下官方提供的測試後臺，玩了一下，對於我這個Python新手而言，還有操作上，覺得有點不直覺，後來就跑去看WagtailCMS，對於想要快速建構一個Blog或是小型形象網站，WagtailCMS似乎比較能夠達成我的需求，而且還不太會寫Python的我

https://www.youtube.com/playlist?list=PLMQHMcNi6ocsS8Bfnuy_IDgJ4bHRRrvub

Youtube上的Wagtail學習系列影片，相關的教學還蠻多的，個人覺得WagtailCMS，也還是需要一點程式底子去處理細微的修改，但是後來發現一個好套件。

CodeRed CMS

這個CodeRed像是Wagtail的加強版，把很多想要的功能都做好了，

![[RedcodeCMS的功能項目.jpg]]

一開始還不太懂架構的堆疊，後來摸熟之後，就像是在玩疊積木一樣，能夠快速的建立一個小站臺，非要說缺點就是要精確的調整樣式的話，會比較麻煩，若是有設計的人員可能比較好，基本上CodeRed套件樣式是使用 https://bootswatch.com/lux/ 基本的版型。

以上就是碰過的內容管理系統，各個架構都感覺不錯，各有長處，但是以本業是微軟方面的我，OrchardCodeCMS可以好好學學看，可以學到蠻多東西，而且 .NET Core 是微軟較新的技術，順便練習。

Python爬蟲程式錯誤

2021-11-25T23:04:00+08:00

錯誤發生的Traceback¶

Traceback (most recent call last):

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/site-packages/urllib3/response.py", line 438, in _error_catcher

 yield

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/site-packages/urllib3/response.py", line 767, in read_chunked

 chunk = self._handle_chunk(amt)

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/site-packages/urllib3/response.py", line 711, in _handle_chunk

 value = self._fp._safe_read(amt)

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/http/client.py", line 625, in _safe_read

 chunk = self.fp.read(min(amt, MAXAMOUNT))

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/socket.py", line 704, in readinto

 return self._sock.recv_into(b)

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/ssl.py", line 1241, in recv_into

 return self.read(nbytes, buffer)

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/ssl.py", line 1099, in read

 return self._sslobj.read(len, buffer)

ConnectionResetError: [Errno 54] Connection reset by peer



During handling of the above exception, another exception occurred:



Traceback (most recent call last):

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/site-packages/requests/models.py", line 753, in generate

 for chunk in self.raw.stream(chunk_size, decode_content=True):

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/site-packages/urllib3/response.py", line 572, in stream

 for line in self.read_chunked(amt, decode_content=decode_content):

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/site-packages/urllib3/response.py", line 793, in read_chunked

 self._original_response.close()

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/contextlib.py", line 137, in __exit__

 self.gen.throw(typ, value, traceback)

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/site-packages/urllib3/response.py", line 455, in _error_catcher

 raise ProtocolError("Connection broken: %r" % e, e)

urllib3.exceptions.ProtocolError: ("Connection broken: ConnectionResetError(54, 'Connection reset by peer')", ConnectionResetError(54, 'Connection reset by peer'))



During handling of the above exception, another exception occurred:



Traceback (most recent call last):

 File "/Users/jarvis.zheng/FileSource/batch_stock.py", line 60, in <module>

 auto_update('otc_cap_reduction', crawl_otc_cap_reduction)

 File "/Users/jarvis.zheng/FileSource/batch_stock.py", line 47, in auto_update

 df = crawl_function()

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/site-packages/finlab/crawlers/api.py", line 454, in crawl_otc_cap_reduction

 res4 = requests_get(urs_crawl_otc_cap_reduction)

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/site-packages/finlab/crawlers/helper.py", line 363, in requests_get

 return ses.get(*args1, timeout=10, **args2)

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/site-packages/requests/sessions.py", line 555, in get

 return self.request('GET', url, **kwargs)

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/site-packages/requests/sessions.py", line 542, in request

 resp = self.send(prep, **send_kwargs)

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/site-packages/requests/sessions.py", line 697, in send

 r.content

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/site-packages/requests/models.py", line 831, in content

 self._content = b''.join(self.iter_content(CONTENT_CHUNK_SIZE)) or b''

 File "/Users/jarvis.zheng/miniforge3/envs/finlab/lib/python3.9/site-packages/requests/models.py", line 756, in generate

 raise ChunkedEncodingError(e)

requests.exceptions.ChunkedEncodingError: ("Connection broken: ConnectionResetError(54, 'Connection reset by peer')", ConnectionResetError(54, 'Connection reset by peer'))

問題原因¶

參考：

帶有請求模塊的 ConnectionResetError 在異常內部引發異常，使程序崩潰

由參考的資訊來看，我的發生也是依序發生

ConnectionResetError: [Errno 54] Connection reset by peer
urllib3.exceptions.ProtocolError: (“Connection broken: ConnectionResetError(54, ‘Connection reset by peer’)”, ConnectionResetError(54, ‘Connection reset by peer’))
requests.exceptions.ChunkedEncodingError: (“Connection broken: ConnectionResetError(54, ‘Connection reset by peer’)”, ConnectionResetError(54, ‘Connection reset by peer’))

由第三點的說明來看，是連線已經中斷了，而導致程式Crash，原本的程式在request的寫法

try:
    return ses.get(*args1, timeout=10, **args2)
except (ConnectionError, ReadTimeout) as error:
    print(error)
    ses = function()

看來只有ConnectionError或Timeout才會被忽略，再新增ConnectionResetError 再來觀察看看連線中斷的問題，避免程式因為斷線而Crash，在except內再重新request

ASCII認識

2021-11-22T18:27:00+08:00

錯誤¶

發生錯誤訊息如下，程式在使用XML的序列化時發生這樣的錯誤

ErrorMsg: System.InvalidOperationException: 產生 XML 文件時發生錯誤。 ---> System.ArgumentException: '' (十六進位值 0x08) 是無效的字元。

查詢問題後發現文字內有特殊的符號 EX ：

![[Pasted image 20211123110703.png]]

測試程式有特殊符號，會Exception在xmlSerializer.Serialize

public ActionResult test1(string xmlData = "")
{
    Data oData = new Data();
    try
    {
        oData.inputText = "測試_測試測試測試測試測試";

        // 序列化為XML。
        System.Xml.Serialization.XmlSerializer xmlSerializer = new System.Xml.Serialization.XmlSerializer(oData.GetType());
        XmlWriterSettings xmlSettings = new XmlWriterSettings();

        xmlSettings.Encoding = Encoding.GetEncoding("Big5");
        xmlSettings.Indent = false;
        xmlSettings.OmitXmlDeclaration = false;

        using (StringWriter szWriter = new StringWriter())
        {
            using (XmlWriter xmlWriter = XmlWriter.Create(szWriter, xmlSettings))
            {
                xmlSerializer.Serialize(xmlWriter, oData);
            }

            xmlData = szWriter.ToString();
        }
    }
    catch (Exception e)
    {
        return Content(e.Message);
    }


    return Content(xmlData);
}

其中的特殊符號在ASCII表轉換成 16進制的 08，是算ASCII的控制字元，無法轉換。

ASCII碼表¶

整理一下代碼的意義：

第0～32號及第127號(共34個)是控制字元或通訊專用字元
第33～126號(共94個)是字元
第48～57號為0～9十個阿拉伯數字
第65～90號為26個大寫英文字母
第97～122號為26個小寫英文字母，其餘為一些標點符號、運算符號

![[ASCII.gif]]

參考資料：

ASCII碼介紹

認識中文字元碼

使用Bokeh產生技術圖表

2021-11-03T11:05:00+08:00

參考資料： Bokeh 探索頻道(2)~客製化技術圖表升級在 Django 上使用数据可视化利器 Bokeh

![[bokeh指標views圖.png]]

參考老師的Blog文章，內附的程式碼就可以無痛升級美麗圖表，但是我架設在Django上，需要調整一下來顯示在Django頁面。

在Django的View.py 上收先引用：

from bokeh.embed import components

from bokeh.resources import CDN

在程式加入Blog內的function來產生資料跟已經畫好的圖表，使用components，產生javascript與 html區塊，最後在render頁面帶入參數 ![[bokeh指標views圖1.png]] ![[bokeh指標views圖2.png]]

在Django的templates頁面上，下圖是圖表的Html的Div區塊 ![[bokeh指標templates圖1.png]]

下圖是在script></script> 區塊中，先引用bokeh的js，我直接下載到我的本機，避免版本到時候又變了壞掉，最後使用bokeh產生的的javascript語法。 ![[bokeh指標templates圖2.png]]

就可以產生美美的圖了 ![[bokeh指標總圖.png]]

MacM1執行Tensorflow錯誤問題

2021-10-28T07:50:00+08:00

每當執行如下的語法時： model.fit(x_train, y_train, epochs=5)

就會出現以下錯誤：

2021-10-27 20:36:06.945996: I tensorflow/compiler/mlir/mlir_graph_optimization_pass.cc:185] None of the MLIR Optimization Passes are enabled (registered 2)

2021-10-27 20:36:06.948454: W tensorflow/core/platform/profile_utils/cpu_utils.cc:128] Failed to get CPU frequency: 0 Hz

Epoch 1/5

2021-10-27 20:36:07.052295: I tensorflow/core/grappler/optimizers/custom_graph_optimizer_registry.cc:112] Plugin optimizer for device_type GPU is enabled.

2021-10-27 20:36:07.079 python[8109:118092] -[MPSGraph adamUpdateWithLearningRateTensor:beta1Tensor:beta2Tensor:epsilonTensor:beta1PowerTensor:beta2PowerTensor:valuesTensor:momentumTensor:velocityTensor:maximumVelocityTensor:gradientTensor:name:]: unrecognized selector sent to instance 0x29ee0f660

2021-10-27 20:36:07.091 python[8109:118092] *** Terminating app due to uncaught exception 'NSInvalidArgumentException', reason: '-[MPSGraph adamUpdateWithLearningRateTensor:beta1Tensor:beta2Tensor:epsilonTensor:beta1PowerTensor:beta2PowerTensor:valuesTensor:momentumTensor:velocityTensor:maximumVelocityTensor:gradientTensor:name:]: unrecognized selector sent to instance 0x29ee0f660'

一開始以爲是只能執行在Python 3.8的環境，但是參考教學 https://www.youtube.com/watch?v=_CO-ND1FTOU

影片中也是能夠在Python3.9使用Tensorflow2.5，使用以下語法查看版本

import sys

import tensorflow.keras
import pandas as pd
import sklearn as sk
import tensorflow as tf

print(f"Tensor Flow Version: {tf.__version__}")
print(f"Keras Version: {tensorflow.keras.__version__}")
print()
print(f"Python {sys.version}")
print(f"Pandas {pd.__version__}")
print(f"Scikit-Learn {sk.__version__}")
gpu = len(tf.config.list_physical_devices('GPU'))>0
print("GPU is", "available" if gpu else "NOT AVAILABLE")

Tensor Flow Version: 2.6.0 Keras Version: 2.6.0

Python 3.9.6 | packaged by conda-forge | (default, Jul 11 2021, 03:35:11) [Clang 11.1.0 ] Pandas 1.3.0 Scikit-Learn 0.24.2 GPU is available

用另外一個環境一樣Python3.9，TensorFlow2.5就可以正確執行，看來需要降版本，只好先移除了

安裝參考： tensorflow-metal PluggableDevice 入門

AI - Apple Silicon Mac M1 原生支持 TensorFlow 2.6 GPU 加速（tensorflow-metal PluggableDevice）

參考第二個連接的處理，重新安裝 Xcode ，並且重新執行安裝語法就OK了

先解除安裝 python -m pip uninstall tensorflow-macos

python -m pip uninstall tensorflow-metal

執行重新安裝 conda install -c apple tensorflow-deps --force-reinstall

python -m pip install tensorflow-macos

python -m pip install tensorflow-metal

測試語法：

from tensorflow.keras import layers
from tensorflow.keras import models
model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.Flatten())
model.add(layers.Dense(64, activation='relu'))
model.add(layers.Dense(10, activation='softmax'))
model.summary()

from tensorflow.keras.datasets import mnist
from tensorflow.keras.utils import to_categorical
(train_images, train_labels), (test_images, test_labels) = mnist.load_data()
train_images = train_images.reshape((60000, 28, 28, 1))
train_images = train_images.astype('float32') / 255
test_images = test_images.reshape((10000, 28, 28, 1))
test_images = test_images.astype('float32') / 255
train_labels = to_categorical(train_labels)
test_labels = to_categorical(test_labels)
model.compile(optimizer='rmsprop',
              loss='categorical_crossentropy',
              metrics=['accuracy'])
model.fit(train_images, train_labels, epochs=5, batch_size=64)
test_loss, test_acc = model.evaluate(test_images, test_labels)
test_acc

上面處理已經完成但是會引發一個問題：

numpy 會被安裝成0.19的版本，而且會造成錯誤：

ValueError:
numpy.ndarray size changed, may indicate binary incompatibility. Expected 88 from C header, got 80 from PyObject

需要再更新Numpy

pip install --upgrade numpy

LineLogin串接

2021-10-08T08:38:00+08:00

參考資料：

使用 Django Allauth 套件 [Django教學13]Django Allauth套件整合Google登入驗證實作教學

首先安裝django-allauth

pip install django-allauth

在Django站臺的Settings設定相關的參數設定

在INSTALLED_APPS 裏面新增 allauth allauth.account …以下的資料
新增設定AUTHENTICATION_BACKENDS
新增設定SITE_ID ,數值要比對Django資料表內的 django_site 的ID值
SOCIALACCOUNT_PROVIDERS這是要設定讀取使用者的資料
在站臺的url.py設定路徑

![[settings設定參數1.png]] ![[settings設定參數二.png]]

from django.contrib import admin

from django.urls import path,include

from django.conf.urls import url

urlpatterns = [
    path('admin/', admin.site.urls),

    path('accounts/', include('allauth.urls')),
]

以上設定完成要執行Django語法來產生資料表：

python manage.py makemigrations

python manage.py migrate

python manage.py runserver

以上就是Django的設定部分，另外LineLogin的設定需要注意的細節，因爲django-allauth已經將送LineLogin授權路徑參數自動拼裝好了，裏面有些規範需要注意

在送授權的部分，django-allauth定義的callbackURL已經規範，如下圖 ![[djangoallauth.png]] https://django-allauth.readthedocs.io/en/latest/providers.html#line

上面的 Callback URL 必須與LINE Login 內的設定相同 ![[lineloginapi的設定.png]]

另外剩下的就是要設定KEY與ClientID:

去內部後臺設定LINE SecrtKEY ![[linelogin內部後臺設定.png]]

回到頁面去，雖然沒有寫什麼頁面，可是 django-allauth已經內建了許多頁面可以直接查看 ![[linelogin預設路徑頁面.png]] ![[linelogin預設登入畫面.png]]

以上就是完成初步的串街，內容套版需要再詳細實做與修改，另外在串街流程中發生的錯誤在導向到LineLogin畫面時出現 400 錯誤： ![[linelogin400錯誤情況.png]]

這個問題的發生原因先查看了LineLogin的文件說明

要求授權¶

為進行使用者認證，並為 app 要求權限，請透過所需的 query parameter，如下面例子所示將使用者重新導向授權 URL。

https://access.line.me/oauth2/v2.1/authorize?
response_type=code
&client_id=1234567890
&redirect_uri=https%3A%2F%2Fexample.com%2Fauth
&state=12345abcde
&scope=profile%20openid
&nonce=09876xyz

![[linelogin串街參數.png]]

URL 的查詢屬性

我的參數：

https://access.line.me/oauth2/v2.1/authorize?

client_id=U2c2bde960c5d7723082f2b9a491f51e1
&redirect_uri=http://linebot.richardrobot.xyz/accounts/line/login/callback/
&scope=
&response_type=code
&state=BBwcp2EEdqnJ

錯誤問題1：client_id不對 client_id ：LINE Login Channel 的 Channel ID 錯誤問題2：scope沒有值 scope：向用戶請求授予權限，也就是要求取得使用者的資料

修正： 1.在admin後臺修改設定 2.在settings.py新增如下參數： ![[linelogin新增參數.png]]

Blog發佈到netlify

2021-10-05T16:36:00+08:00

![[Blog發佈到netlify.png]]

Netlify 基本的說明：

netlify 超佛心的靜態網站hosting服務 - 不只做hosting還有更多

由 [[部落格建置]] 與 [[部落格建置-套件]] 兩個篇章的設定，已經把Pelican 可以在本機做測試查看了，接下來就要建置部署在網路上，首先就是要買個網域，看來看去還是 Namecheap 最便宜，詳細買過程可以參考：

Namecheap 網址註冊購買 DNS 設定教學網域綁定主機

https://richardrobot.xyz 一次買兩年才 NT$ 233 ，還蠻便宜，反正只是做Blog隨手記錄買好了網址接下來就是要把GitHub與Netlify綁定在一起參考流程如下Blog：

Pelican static site on Netlify

需要注意的是，Blog文章裏面的執行語法

Build command

pelican content -s publishconf.py

這個設定了反而不能，會出現錯誤，我的設定

![[Netlify設定發佈建置.png]]

另外需要把Netlify提供的Name Server 設定到 Namecheap 的DNS設定

Netlify的設定畫面： ![[Netlify設定Domain的畫面.png]]

然後對應到：NAMESERVERS 選CustomDNS

![[Namecheap設定的畫面.png]]

Pelican說明Metadata

2021-09-30T14:21:00+08:00

![[2021-10-01_PM4.46.58.png]]

您還可以在模板中使用自己的元數據鍵（只要它們不與保留的元數據關鍵字衝突）。下表包含保留的元數據關鍵字列表：

Metadata	Description
title	Title of the article or page
date	Publication date (e.g., YYYY-MM-DD HH:SS)
modified	Modification date (e.g., YYYY-MM-DD HH:SS)
tags	Content tags, separated by commas
keywords	Content keywords, separated by commas (HTML content only)
category	Content category (one only — not multiple)
slug	Identifier used in URLs and translations
author	Content author, when there is only one
authors	Content authors, when there are multiple
summary	Brief description of content for index pages
lang	Content language ID (en, fr, etc.)
translation	If content is a translation of another (true or false)
status	Content status: draft, hidden, or published
template	Name of template to use to generate content (without extension)
save_as	Save content to this relative file path
url	URL to use for this article/page

部落格建置-套件

2021-09-29T15:50:00+08:00

要使用Pelican的外掛套件，目前套件的來源有兩種：

在命名空間之下的Git，新版pelican-plugins
舊版的套件集合的Git，舊版pelican-plugins

導入套件的方式有兩種：如果您的插件不在可導入路徑中，您可以通過PLUGIN_PATHS設置指定路徑列表。如以下示例所示，PLUGIN_PATHS列表中的路徑可以是相對於設置文件的絕對路徑或相對路徑：

![[Pasted image 20210929155953.png]]

若是沒有依照設定的套件名稱放置程式會出現錯誤訊息：

(Pelican) jarvis.zheng@zhengruichangdeMac-mini Pelican % pelican content
WARNING: %s usage in CATEGORY_FEED_ATOM is deprecated, use {slug} instead.
ERROR: Cannot load plugin `related_posts`
  | Cannot import plugin `related_posts`
Done: Processed 7 articles, 0 drafts, 0 pages, 0 hidden pages and 0 draft pages in 0.20 seconds.

總結¶

套件的使用，在命名空間下的，要執行安裝語法，會直接搜尋環境下的套件程式，若是用舊版的，要去舊版git 去clone下來，並且對照名稱放程式資料夾在/pelican-plugins

部落格建置

2021-09-28T17:44:00+08:00

用Pelican套件建置部落格在GitHub Pages 上，首先需要安裝Pelican的環境¶

建立python的虛擬環境 conda create -n Pelican

啓動虛擬環境 conda activate Pelican

CD 到新開的資料夾，

當初已經在GitHub上建立好了Repository，所以就在本機建立資料夾然後Clone，在Pelican資料夾下，需要安裝pelican的相關套件，需要創建一個requirements.txt文件

touch requirements.txt

接下來安裝所有套件： pip install -r requirements.txt

若是還沒建立好預設開始環境需要執行以下語法，Pelican會建立基本的程式與資料夾，若是執行以下語法會需要回答一些預設環境的設定值 pelican-quickstart

資料夾架構如下 ![[Pasted image 20210929144934.png]] 每個文件的用途：

content/ - 存儲所有網站內容的目錄
task.py - 幫助我們自動化網站生成和發布的腳本
output/ - 存儲生成的靜態網站的 HTML 文件的目錄
pelicanconf.py - 包含網站所有配置的文件

生成網站¶

此語法會在 output/ 目錄產生所有html 的頁面 pelican content

此語法會產生一個臨時的站臺 127.0.0.1:8000 可以預覽頁面 pelican --listen

查看外掛套件清單： pelican-plugins

Obsidian 使用 Git 跨平台同步

2021-09-16T17:55:00+08:00

第一步先在Windows本機的建立一個資料夾，是拿來開啟Obsidian的Vault

![[Pasted image 20210914152609.png]] 像上面的資料路徑我新開了一個 ObsidianNote資料夾，然後Obisdian設定這個資料夾就會有一些設定檔 ![[Pasted image 20210914152831.png]]

第二步在GitHub建立一個repository，然後取名同樣的名稱ObsidianNote

第三步開啟CMD 然後CD至剛剛的資料夾，接下來就是執行GitHub上面的初始化語法

git init git commit -m "first commit" git remote add origin https://github.com/TernenceZheng/ObsidianNote.git

![[Pasted image 20210914153508.png]]

第四步安裝第三方外掛套件 Obsidian Git ![[Pasted image 20210914161351.png]]

安裝及啟用後，左方將出現 Obsidian Git 的設定，我有以下的建議：

將 Vault 備份時間改為 5 分鐘 (Backup Interval: 5)
每次打開軟件也從 Github Pull 所有的變更 (Pull updates on startup: ON)
Commit Message 增加電腦名稱以便識別 (Commit message: 開首加電腦名稱）
以及最重要的關掉 Disable Push（Disable Push: OFF)，才會自動把所有 Commit 推送到 Github 上，讓其他裝置可以同步。

參考鏈接：Obsidian上手及使用Git跨平台同步

另外的手機版本同步參考：[移動] 設置 iOS 與移動應用程序基於 git 的同步（使用工作副本）

使用VSCode遠端SSH開發

2020-08-25T18:22:00+08:00

產生SSH KEY¶

開啟 Terminal 執行以下語法，可以看到路徑預設在 /Users/你的名稱/.ssh 下

ssh-keygen

如下圖，要求輸入名稱或是直接按Enter產生預設名稱id_rsa，我輸入jarvis.zheng-GithHub

![[ssh-key產生.jpg]]

在Mac 下使用快捷鍵來查看隱藏資料夾： Command + Shift + .

公鑰 (jarvis.zheng-GithHub.pub) 以及私鑰 (jarvis.zheng-GithHub)，公鑰到時候要複製到GCP上，而私鑰則是自己用，雙方才能夠溝通。

![[產生的公鑰與私鑰.jpg]]

如下圖，是GCP的Compute Engine 上面設定公鑰的地方

![[在GCP上面把公鑰複製上去.jpg]]

如下圖在VSCode安裝外掛套件，Remote Development

![[VSCode安裝RemoteDevelopment.jpg]]

安裝完成後，在 VSCode介面的左下角可以看到圖標，按下去顯示清單，選擇Connect to Host，輸入要連線的伺服器，格式 username@server_host

就是GCP上面的：使用者名稱@外部IP

![[在VScode安裝並且連線GCP的外部IP.jpg]]

番外篇： SSH Key產生的時候權限問題，無法儲存檔案問題，

完美解決： https://stackoverflow.com/questions/51614552/google-cloud-platform-ssh-to-google-cloud-instance-will-have-permission-denied

參考資料：

VS Code 使用 Remote – SSH 開啟遠端 Linux 資料夾

VS 常用內建快速鍵

2016-03-08T12:43:00+08:00

![[Pasted image 20210917172329.png]]

環境¶

環境設定的組合快捷鍵¶

程式碼編輯器分頁切換：Ctrl+TAB 存檔：Ctrl + S 執行(debug)：F5 ==執行(non debug)==：Ctrl + F5 全部儲存：Ctrl + Shift + S 單步執行：F11 (F10) 切換斷點：F9 ==啟用/停用斷點==：Ctrl + F9 ==刪除所有斷點==：Ctrl + Shift + F9

編輯¶

編輯程式時的組合快捷鍵¶

==註解選取範圍==：Ctrl+K,C ==取消註解選取範圍==：Ctrl+K,U ==自動縮排==：選取範圍後，Alt + F8

選取文字改小寫：Ctrl + U 選取文字改大寫：Ctrl + Shift + U ==呼叫出類別成員==：Ctrl + J (編到一半時 tips 突然不見很好用)

收攏原始碼：Ctrl + M, O 展開原始碼：Ctrl + M, L ==刪除目前這行==：Ctrl + Shift + L 轉至定義： F12 檔案最前面：Shift + Home 檔案最後面：Shift + End ==選到最前面==：Ctrl + Shift + Home ==選到最後面==：Ctrl + Shift + End 檢查括號匹配：Ctrl + ] 跳至行號：Ctrl + G

VisualStudioCode¶

VSCode環境的編輯快捷鍵¶

Code Formatting Shortcut:

以下的設定在 VS2019 的設定是： Ctrl + K + D

Visual Studio Code on Windows ： Shift + Alt + F

Visual Studio Code on MacOS : Shift + Option + F

Visual Studio Code on Ubuntu : Ctrl + Shift + I